一种基于目标检测的陶瓷基板外观缺陷智能识别方法技术

本发明专利技术提供一种基于目标检测的陶瓷基板外观缺陷智能识别方法，包括采集陶瓷基板样本图像，进行有效区域的分割识别定位；对ROI区域图像的缺陷信息进行标注；缺陷数据图像训练模型搭建；陶瓷基板在线缺陷预测检测。该方法针对陶瓷基板外观类缺陷的多形态和多类别问题，保证陶瓷基板多类别缺陷检测周期的同时提高产品类型和缺陷形态的兼容性。产品类型和缺陷形态的兼容性。产品类型和缺陷形态的兼容性。

【技术实现步骤摘要】
一种基于目标检测的陶瓷基板外观缺陷智能识别方法


[0001]本专利技术涉及一种陶瓷基板外观类缺陷检测方法，具体涉及一种基于目标检测的陶瓷基板外观缺陷智能识别方法。

技术介绍

[0002]在陶瓷基板加工工艺中容易出现气泡、疙瘩、皱皮、亮斑等多种类别的缺陷形态，缺陷形态的多类别、发生频率、呈现位置具有随机性，现有的基于图像全局搜索和模板局部匹配策略无法较好地兼容多类别缺陷形态的检测，同时对应算法耗时周期较长。

技术实现思路

[0003]本专利技术提供一种基于目标检测的陶瓷基板外观缺陷智能识别方法，针对陶瓷基板外观类缺陷的多形态和多类别问题，目的在于保证陶瓷基板多类别缺陷检测周期的同时提高产品类型和缺陷形态的兼容性。具体技术方案如下。
[0004]一种基于目标检测的陶瓷基板外观类别缺陷智能识别方法，其特征在于，包括：采集陶瓷基板样本图像，进行有效区域的分割识别定位：采用图像全局阈值分割方法分离陶瓷基板和背景区域，运用形态学小阈值膨胀操作以及区域特征筛选操作进一步获取每片小枚的检测ROI区域，缩小缺陷检测区域；对ROI区域图像的缺陷信息进行标注：外观缺陷信息包括气泡、疙瘩、皱皮、亮斑、打痕和划伤六类缺陷信息，采用水平矩形框方式对待检测缺陷ROI图像中发生的缺陷类别信息进行标识；缺陷数据图像训练模型搭建：进行网络特征提取模块和分类预测模块的搭建，完成后导出作为外观预测模型文件；陶瓷基板在线缺陷预测检测：采集待检测的陶瓷基板图像，通过全局阈值分割和产品小枚匹配算法，获取待检测产品小枚缺陷区域，裁剪缺陷检测区域图像，调用外观缺陷检测模型文件，预测输出信息为不同缺陷类别信息的中心点横纵坐标以及预测缺陷影响范围半径，将不同缺陷预测信息以不同颜色标识绘制在采集陶瓷基板采集图像上，同时输出缺陷信息给下位机PLC信息，即可判断当前采集陶瓷基板是否发生已知外观类缺陷。
[0005]进一步，一幅陶瓷基板样本图像中包括M
×
N个小枚缺陷ROI区域，在全局阈值分割对背景和产品区域进行初步分离后，采用相关性匹配方法匹配所有小枚区域，相关性匹配方法公式一为，其中R为均值相关值的匹配系数，T为变换矩阵，(x,y)对应待匹配区域的像素横纵坐标信息，匹配完毕后对重复区域进行合并即完成小枚ROI区域的分割。
[0006]进一步，基于已识别匹配小枚ROI区域，此区域为待检测缺陷ROI图像区域，背景以
及外边框区域已屏蔽处理，在待检测缺陷ROI图像区域内对已发生缺陷进行类别划分标识，勾选对应缺陷发生类别然后对缺陷发生区域以矩形框进行框选标识，要求矩形框区域与真实缺陷发生区域比例不超过10%，选缺陷发生区域最小外接矩形进行框选绘制，缺陷标记信息记录内容包括当前缺陷类别以及对应标记框的四个端点坐标(x0,y0)、(x1,y1)、(x2,y2)、(x3,y3)。
[0007]进一步，图像缺陷信息标记完成后采用滑动窗口裁剪策略进行固定尺寸裁剪，裁剪尺寸不足设定数值后图像以128像素值进行填充，从而获取固定裁剪缺陷图像以及对应图像上的缺陷标识信息。
[0008]进一步，对于各个类别缺陷信息的特征提取模块，采用3个残差模块后接一个全局池化层和一个Flatten层搭建；缺陷特征识别和分类模块采用五个金字塔层进行搭建，包括P1，P2，P3，P4和P5层，其中P5为高维度信息特征层，P1为最低维度信息特征层，经过最后三层金字塔层模型预测图像维度恢复至原始尺寸，获取已标识缺陷区域x方向和y方向的回归计算系数累加计算为作为预测类别缺陷Circle半径信息，缺陷特征分类网络采用逻辑回归策略，对不同类别信息进行回归分类，有效判定所预测缺陷信息。
[0009]进一步，网络特征提取模块和分类预测模块搭建完成后，设置模型最大训练迭代次数为Total_Number，损失函数阈值为loss<1e
‑
8，当模型训练周期次数达到最大设置数值或者模型训练计算loss小于设置阈值后，将特征提取模块和分类预测模块中每层权重信息保存固化导出为陶瓷基板外观类预测模型文件。
[0010]进一步，陶瓷基板外观类别缺陷智能识别方法还包括人工干预和修改，人为缺陷判定的主观性和算法预测的客观性导致某些轻微缺陷严重影响产品外观质量，在外观类缺陷检测模型已检测缺陷区域图像基础上，人为进行筛选挑选严重缺陷，重新参与模型训练准备优化模型检测效果。
[0011]本专利技术的基于目标检测的陶瓷基板外观缺陷智能识别方法，适用于多类别缺陷的同时在线检测，在NVIDIA RTX 1660 Super 6G显卡设备上响应耗时<2.5s，采用残差网络模块对多类别缺陷图像信息进行提取，同时避免特征的高维度化和梯度的计算问题，特征提取网络模块采用多个金字塔层，不同金字塔层对应不同的图像尺寸，兼容处理多类别多尺寸缺陷图像，具有较好的产品缺陷兼容特征和检出能力。
[0012]本专利技术附加的方面和优点将在下面的描述中进一步给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0013]图1所示为陶瓷基板外观类缺陷检测方法流程图；图2所示为样本图像有效区域分割定位效果图；图3所示为检测图像区域内亮斑缺陷信息标注效果图；图4所示为检测图像区域内疙瘩缺陷信息标注效果图；图5所示为缺陷标记坐标关系示意图；图6所示为模型网络架构图；图7中从左到右从上到下依次所示为气泡、疙瘩、皱皮、亮斑、打痕、划伤不同缺陷识别效果图。
具体实施方式
[0014]下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。
[0015]参照图1，本实施例的一种基于目标检测的陶瓷基板外观类别缺陷智能识别方法，包括：S1：采集陶瓷基板样本图像，进行有效区域的分割识别定位：对于整板陶瓷基板样本图像，其中有效识别区域仅包括小枚产品区域，外边框以及多余残料区域为不检测区域，采用图像全局阈值分割方法分离陶瓷基板和背景区域，运用形态学小阈值膨胀操作以及区域特征筛选操作进一步获取每片小枚的检测ROI区域，缩小缺陷检测区域。
[0016]一幅完整的陶瓷基板样本图像中包括M
×
N个小枚产品，即小枚缺陷ROI区域，产品边框区域和载台背景区域，受产品自身平整度和产品表面属性的影响，不同小枚产品采集呈现效果不同，但是每个小枚内的分布结构是固定的，在全局阈值分割对背景和产品区域进行初步分离后，采用相关性匹配方法匹配所有小枚区域，相关性匹配方法可用公式一描述，公式一为 ，其中R为均值相关值的匹配系数，T为变换矩阵，(x,y)对应待匹配区域的像素横纵坐标信息，由于产品小枚区域较大，直接原始尺寸图像进行模板匹配较为耗时，所以将原始图像缩放scaleFactor=0.2倍后进行模板匹配，设置匹配区域分值>0.15即为已识别缺陷检测区域，匹配完毕后对重复区域进行合并即完成小枚缺陷ROI区域的分割，如图2中所示为全局待检测图像，图2中的a
‑
j的矩形区域为分割的小枚缺本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测的陶瓷基板外观类别缺陷智能识别方法，其特征在于，包括：采集陶瓷基板样本图像，进行有效区域的分割识别定位：采用图像全局阈值分割方法分离陶瓷基板和背景区域，运用形态学小阈值膨胀操作以及区域特征筛选操作进一步获取每片小枚的检测ROI区域，缩小缺陷检测区域；对ROI区域图像的缺陷信息进行标注：外观缺陷信息包括气泡、疙瘩、皱皮、亮斑、打痕和划伤六类缺陷信息，采用水平矩形框方式对待检测缺陷ROI图像中发生的缺陷类别信息进行标识；缺陷数据图像训练模型搭建：进行网络特征提取模块和分类预测模块的搭建，完成后导出作为外观预测模型文件；陶瓷基板在线缺陷预测检测：采集待检测的陶瓷基板图像，通过全局阈值分割和产品小枚匹配算法，获取待检测产品小枚缺陷区域，裁剪缺陷检测区域图像，调用外观缺陷检测模型文件，预测输出信息为不同缺陷类别信息的中心点横纵坐标以及预测缺陷影响范围半径，将不同缺陷预测信息以不同颜色标识绘制在采集陶瓷基板采集图像上。2.根据权利要求1中的基于目标检测的陶瓷基板外观类别缺陷智能识别方法，其特征在于：一幅陶瓷基板样本图像中包括M
×
N个小枚缺陷ROI区域，在全局阈值分割对背景和产品区域进行初步分离后，采用相关性匹配方法匹配所有小枚区域，相关性匹配方法公式一为，其中R为均值相关值的匹配系数，T为变换矩阵，(x,y)对应待匹配区域的像素横纵坐标信息，匹配完毕后对重复区域进行合并即完成小枚ROI区域的分割。3.根据权利要求2中的基于目标检测的陶瓷基板外观类别缺陷智能识别方法，其特征在于：基于已识别匹配小枚ROI区域，此区域为待检测缺陷ROI图像区域，在待检测缺陷ROI图像区域内对已发生缺陷进行类别划分标识，勾选对应缺陷发生类别然后对缺陷发生区域以矩形框进行框选标识，选缺陷发生区域最小外接矩形进行框选绘制，缺陷标记信息记录内容包括当前缺陷类别以及对应标记框的四个端点坐标...

【专利技术属性】
技术研发人员：宋瑞超，卢坤，
申请(专利权)人：深圳精创视觉科技有限公司，
类型：发明
国别省市：