搪瓷日用器物最早为“舶来品”,通过几十年的发展,搪瓷产品已经融入人们的日常生活。以珐琅搪瓷盘为例,它是人们日常生活中盛放食物的常用器皿,但在其生产及转运过程中,表面瓷釉极易出现各种缺陷,如气泡、表面粗糙、杂质、掉瓷等[1],这些缺陷降低了产品的耐用度与美观度,给企业带来了很多损失。同时,因缺陷而破损的瓷釉会暴露出内部的金属瓷基材料,大大增加了重金属有害物污染食物的风险。虽然珐琅搪瓷盘的相关生产线已实现了半自动化,但其表面缺陷的检测依然主要采用传统的人工目检法,这一检测方法效率低、重复率高,受检测者主观影响较大,因此急需改进。近年来,随着国家加快推动工业再升级和智能化转型,机器视觉技术凭借其高效率、高准确率的特点,在无损检测领域得到了广泛应用[2]。李捷[3]使用改进的SURF(speeded-up robust features,加速稳健特征)匹配算法提高了贴花搪瓷盘的配准效率,实现了表面缺陷的自动化检测。林刚等[4]根据图像灰度值进行不同的线性变换,并使用多尺度融合的方法提高了KNN(k-nearest neighbor,k-最近邻)神经网络对不同光照条件下瓷盘检测的适用性。Junior等[5]使用改进U-Net(convolutional networks for biomedical image segmentation,用于生物医学图像的卷积网络)训练自收集数据集,提升了陶瓷板表面裂纹的检测准确率,为瓷盘表面缺陷的检测提供了一种新方法。
综上可知,国内外对瓷类物品的缺陷检测,多采用深度学习算法,但深度学习需采集海量训练样本,不仅开发的难度大、成本高,且单幅图像检测耗时长,暂不满足流水线应用。同时,相关研究多集中在陶瓷制品上,而对搪瓷日用品表面缺陷的视觉检测研究相对较少。常见的掉瓷、露黑、杂质这3类缺陷区域在无影光照射下受边缘区域纹理影响较小,且与正常区域存在较明显的灰度梯度差异,具备在相同环境下统一检测的条件。因此,为进一步提升3类缺陷的检测效率与准确性并降低检测成本,本研究提出一种基于机器视觉的珐琅搪瓷盘缺陷检测方法,通过搭建硬件平台采集多组被测物图像,并运用迭代算法和改进的去伪影算法进行多组试验。
1 检测系统硬件平台设计本研究以直径为16 cm的圆形珐琅搪瓷盘正面为检测对象,根据待检测对象凹凸的结构及表面光滑的物理特性来搭建视觉平台结构,如图1所示。BZ-R61型反射型红外传感器在珐琅搪瓷盘到达检测工位后,通过三菱FX-3U型PLC(programmable logic controller,可编程逻辑控制器)控制传送带电机的短时启停。相机选用大恒图像工业面阵相机MER-1070-10GM-P(分辨率为3 840×2 740像素),通过千兆位以太网接口与计算机进行图像数据的传输。光学镜头采用PANTAX公司的TV LENS 25 mm镜头,并配合GREENL公司生产的可调CPL(circular polarizer,圆偏光)滤镜(中心波长为(950±10)nm)以减少表面直射光反射的干扰。常规环形光源与直射光源易造成局部强烈反光,为提升采集图像的精细度,同时抑制釉面反光,本研究使用定制平板光源。该光源通过可移动支架固定于镜头下方,发射散射光来减少珐琅搪瓷盘表面直射光的干扰。
2 感兴趣区域提取2.1 阈值分割
图像阈值分割作为一种典型的区域分割技术,通过选取合适的阈值来实现图像前景与后景的分离[6],因此阈值的选取对图像分割效果起主要作用。为了降低后续获得完整的珐琅搪瓷盘盘体的ROI(region of interest,感兴趣区域)的难度,去除复杂背景可能存在的杂物与反光等干扰,需寻找合适的二值化方法进行阈值分割。由于瓷盘表面光滑,采集图像存在大面积反光,对最佳分割阈值的选取造成了一定的难度,故本研究使用大津阈值法。记前后景区域的分割阈值为T,图像中灰度值大于T的部分为前景区域,小于T的部分为背景区域。采用遍历T值的方式寻找前后景区域类间方差的最大值,此时对应的T值即为最佳分割阈值,算法公式如下:
g=w1×(μ0-μ1)2+w2×(μ0-μ2)2; (1)
μ0=μ1×w1+μ2×w2。(2)
式(1)~(2)中:g为前后景区域类间方差; w1为前景区域像素占比; μ0为全图平均灰度; μ1为前景区域平均灰度值; w2为背景区域像素占比; μ2为背景区域平均灰度值。
2.2 盘体边缘拟合在感兴趣区域的提取过程中,盘体边缘的拟合是珐琅搪瓷盘缺陷检测中极其重要的一环。本研究重点关注搪瓷盘为主体的圆形区域,而由于灰度图像背景存在干扰,精确的圆形拟合有助于实现主体与嘈杂背景的完全分离。目前,随机霍夫变换圆检测、最小二乘圆拟合、随机抽样一致圆拟合等均为常用的圆拟合方法[7],由于阈值分割后盘体边缘游离的干扰像素点较少,因此本研究选用最小二乘拟合圆法对阈值分割图像进行圆拟合。
设最小二乘拟合圆曲线的方程及变形展开如下:
R2=(x-x0)2+(y-y0)2; (3)
x2+y2+K1x+K2y+K3=0。(4)
式(3)~(4)中:R为外拟合圆半径; (x0,y0)为圆心坐标。R、(x0,y0)与K1、K2、K3的对应关系如下:
设外拟合圆上点坐标为(xi,yi),i=1,2,3,…,N,各点到圆心的对应距离为di,点(xi,yi)到外拟合圆边缘距离的平方与半径平方的差为δi,用Q(K1,K2,K3)表示∑δ2i,公式如下:
Q(K1,K2,K3)=∑δ2i=∑(x2i+y2i+K1xi+K2yi+K3)2。(6)
当Q(K1,K2,K3)达到最小值时,K1、K2、K3分别为x0、y0、R,最终提取出的ROI图像如图2所示。
3 缺陷提取经过初步试验,反光及边缘伪影的存在使得传统阈值分割法对珐琅搪瓷盘检测效果不佳,存在大面积连通域的情况。传统差影法虽可以通过差分后再阈值分割的方法实现伪影抑制,但效果不理想。因此本研究通过改进的去伪影设计了一种迭代检测算法,其原理如图3所示,详细步骤如下:1)对ROI提取中获得的阈值分割图像分别进行腐蚀操作与膨胀操作,将二者处理结果进行差分运算获得伪影粗区域R,利用八邻域孔洞填充方法消除小面积间隙,重设灰度值后与原始ROI图像进行图像相加,获得边缘伪影弱化图像; 2)将ROI区域图像、边缘伪影弱化图像进行图像融合,以白色像素占比作为判定条件进行限定次数的迭代融合,最终通过图像自乘的方法获得对比度增强后的表面缺陷图像。
3.1 改进的去伪影
由于个别样本存在轻微材料形变及图像采集过程中外界环境的干扰等情况,边缘轮廓伪影易被保留下来[3]39,而常规阈值分割法及差影法均难以解决,针对上述情况本研究对ROI提取中获取的阈值分割图像分别使用8×8的膨胀核与6×6的腐蚀核进行形态学膨胀操作与腐蚀操作,分别获得图像FD与FS,通过对两幅图像的差值取绝对值,消除背景图像中灰度相同的像素,获得两幅图像的最大差异区域[8],差分定义如下:
D(x,y)=|FD(x,y)-FS(x,y)|。(7)
式(7)中:D(x,y)为差分后图像的灰度函数; FD(x,y)、FS(x,y)分别为作差的两幅图像的灰度函数。通过图像差分将伪影区域进一步选定出来,伪影分布区域如图4所示。使用八领域边界追踪算法[9]将小面积连通域填充,通过将伪影界定在白色像素所在处的方法,获得边缘伪影精确区域。将获得的边缘伪影区域图与乘上灰度系数k后的ROI图像进行图像加操作,实现对边缘伪影的弱化,计算公式如下:
W(x,y)=R(x,y)+kD(x,y)。(8)
式(8)中:W(x,y)为伪影弱化图像的灰度函数; R(x,y)为原始ROI图像的灰度函数。灰度系数k的取值关乎伪影弱化的程度,k值太小伪影弱化效果不明显,而过大的k值易造成部分缺陷的细节丢失。经初步试验后,本研究k取0.3。
3.2 融合迭代图像融合的目的是最大程度获取不同图像中的信息,以提高图像信息的利用率[10]。由于ROI图像缺陷与背景对比度较高,可以较好地消除加权融合后对比度下降所带来的负面影响,符合图像加权融合的使用情况,因此本研究设计了以图像融合为基础的迭代算法对缺陷部分进行突出增强。算法公式如下:
式(9)中:Gn(x,y)为当前融合迭代结果图像的灰度函数,其中G0(x,y)为伪影弱化图像的灰度函数W(x,y); n为算法迭代的次数,为控制算法时间,取n=1,2,3; B为ROI图像融合系数,表示ROI图像灰度函数在每次迭代中的影响程度,经测试后取0.85; F0(x,y)为原始ROI图像的灰度函数; ∑GCwhite为当前融合图像所含白色像素数; Call为图像的总像素数。
4 试验结果及验证分析性能验证试验的具体环境配置如下:操作系统为Win10,CPU型号为Intel Core i5-6300HQ,内存为12 GB,编程语言为Python,视觉算法库为Opencv 2.4.9。
4.1 算法性能分析
为进一步对本研究提出的检测方法进行量化评估,对缺陷件样本数为25、合格件样本数为25,样本总数为50的珐琅搪瓷盘样本集进行批量试验。记普通阈值分割法为方法A,传统差影法为方法B,文献[4]改进的差影法为方法C。选用准确率P及平均检测耗时t两项指标,分别对方法A、B、C及本文方法进行测试评估。准确率P,即检测正确的样本数占所有测试样本的比例,是算法检测能力的重要体现。平均检测耗时t,即单幅样本平均检测耗时,是体现算法效率的主要指标。4种方法检测结果比较见表1。
本次进行测试的25件缺陷件样本,共含有露黑缺陷37个、杂质缺陷25个、掉瓷缺陷28个,试验就4种算法对3种缺陷的检测能力进行分析,主要通过漏检率体现,各缺陷检测结果比较见表2。
由表1~2可知,本文方法的平均检测准确率达到了92%,显著优于其他3种方法,同时单幅样本的平均检测耗时能控制在500 ms以内。漏检率方面,本文方法对比其他算法漏检率减少明显,综合所有缺陷的平均漏检率也仅有8.8%,而仍存在漏检的原因是受试验条件限制,部分缺陷由于光照不均匀导致反光强烈,所以造成了个别缺陷的误检测。
4.2 去伪影效果对比为更直观体现本研究提出的去伪影算法在检测珐琅搪瓷盘表面缺陷中的效果,选取部分有代表性的缺陷样本,使用方法A、B、C与本文方法进行试验效果对比,去伪影效果对比如图5所示。由图5可知:方法A易造成缺陷提取不全; 方法B和方法C虽能较完整提取缺陷,但对轮廓伪影抑制效果较差; 本文方法在完整提取缺陷的同时,对轮廓伪影的抑制效果均优于其他3种方法。同时统计4种方法的伪影样本率Q,即检测出含有伪影的样本数占所有测试样本的比例。由统计结果得本文方法的Q为4.00%,显著低于方法A的14.00%、方法B的58.00%及方法C的8.00%。
5 结 语
针对珐琅搪瓷盘的3类常见缺陷,本研究提出了一种缺陷检测方法。通过对灰度图像进行大津阈值二值化完成前后景的分离,利用最小二乘圆拟合将盘体区域精确提取,实现ROI的提取。为解决传统差影法效果差的问题,对腐蚀与膨胀后的二值图像进行差分,通过降低伪影区域灰度值的方法实现伪影的弱化。最终运用设计的融合迭代方法实现缺陷的精确提取。试验结果表明,本文方法检测准确率高、耗时少,具有实用性。虽然本文方法在检测准确率与效率上获得了较好的效果,但目前仅适用于圆形搪瓷盘,后期将对盘体边缘拟合部分进行改进,以实现多形状搪瓷盘的缺陷检测。同时针对个别缺陷反光严重导致误检的问题,需寻找更合适的光源以完善打光方案。
- [1] 施麟芸,石斌,马弋喃.珐琅的表面形貌特征[J].宝石和宝石学杂志,2017,19(4):60.
- [2] 李祥瑞.机器视觉研究进展及工业应用综述[J].数字通信世界,2021(11):79.
- [3] 李捷.基于机器视觉的贴花陶瓷盘表面缺陷检测方法研究[D].西安:西安理工大学,2019:39.
- [4] 林刚,冯浩,曹利钢,等.多尺度特征融合的陶瓷盘缺陷检测算法的研究[J].陶瓷学报,2021,42(1):144.
- [5] SANTOS J G, FERREIRA J, MILLN-ARIAS C, et al. Ceramic cracks segmentation with deep learning[J].Applied Sciences,2021,11(13):6017.
- [6] 项新建,王乐乐,曾航明.基于机器视觉的推力轴承垫圈缺陷检测系统研究[J].中国测试,2021,47(2):138.
- [7] 涂德浴,刘坤,朱庆,等.基于机器视觉的钢管壁厚在线检测方法研究[J].计算机工程与应用,58(16):250.
- [8] 化春键,邓朝省,陈莹.基于双掩模图像差影的工业产品表面缺陷检测[J].传感器与微系统,2015,34(5):128.
- [9] 曹义亲,武丹,黄晓生.基于改进蚁群算法的轨道缺陷图像分类[J].计算机科学,2019,46(8):294.
- [10] 赵丽梦.基于图像融合的绝缘子缺陷检测方法研究[D].西安:西安石油大学,2021:7.
- [11] LIU Q M, LI X. Machine vision detection on circle with non-uniform points[J].Applied Mechanics and Materials,2014,687:819.
- [12] SHOLEHKERDAR A, TAVAKOLI A, LIU Z. Theoretical analysis of Tsallis entropy-based quality measure for weighted averaging image fusion[J].Information Fusion,2020,58:69.
- [13] GONZALEZ R C, WOODS R E.数字图像处理[M].4版.阮秋琦,阮宇智,译.北京:电子工业出版社,2020:538.
- [14] 杨欧,彭艳,戴光智.基于人眼视觉特性的印刷品缺陷形态学检测方法[J].现代计算机(专业版),2012(5):32.
- [15] 亓宁宁,常敏,刘雨翰.基于机器视觉的玻璃缺陷检测[J].光学仪器,2020,42(1):26.