一种实例分割与二次分类相结合的微小缺陷检测方法技术

本发明专利技术涉及透光照射检测技术领域，具体涉及一种实例分割与二次分类相结合的微小缺陷检测方法，包括：采集缺陷图像；图像标注，生成第一微小缺陷数据集；预训练，获得最优检测模型；获得最优EfficientNet模型；封装最优检测模型，完成一种实例分割与二次分类相结合的微小缺陷检测系统的构建；将系统部署到实际的生产线上，通过相机采集被测件图像，采用S1中的预处理方式减少图像噪声，随后输入到系统中进行缺陷检测，实现缺陷类别、位置及面积的输出。通过制作高质量缺陷数据集，基于yolov7

【技术实现步骤摘要】
一种实例分割与二次分类相结合的微小缺陷检测方法


[0001]本专利技术涉及透光照射检测
，具体涉及一种实例分割与二次分类相结合的微小缺陷检测方法。

技术介绍

[0002]在透光照射检测领域，缺陷识别常使用canny边缘检测算法，先对检测图片采用高斯滤波进行平滑图像，去除图像中的噪声，然后计算梯度幅值与角度图像，再对梯度应用非极大值抑制，最后使用双阈值处理和连接分析来检测边缘;识别到缺陷后，对缺陷位置进行最小面积矩形拟合，在上位机设定缺陷尺寸，当检测的缺陷尺寸大于设定尺寸时，判断为检测图片存在缺陷。
[0003]但因重力产生的条纹在视觉图像的灰度上表现与缺陷类似，对于canny算子，图像中的边缘只能标识一次，并且可能存在的图像噪声不应标识为边缘，并且基于边缘的检测对于小条纹或与具有与缺陷相似特征的非缺陷目标检测结果较差，容易出现误检测。最小面积矩形拟合对于形状不规则缺陷以及微小缺陷的拟合效果较差，矩形面积与实际缺陷面积存在偏差，但对于检测出的小条纹，矩形面积会大于实际缺陷面积，造成检测不准确。

技术实现思路

[0004]基于上述情况，本专利技术提供了一种一种实例分割与二次分类相结合的微小缺陷检测方法，解决现有技术中通过基于视觉的轮廓检测容易造成的含有近似缺陷特征的非缺陷目标的误检测，以及对于缺陷面积计算结果与实际相差较大问题。
[0005]本专利技术提供如下技术方案：一种实例分割与二次分类相结合的微小缺陷检测方法，包括如下步骤 ：S1、采集缺陷图像，对被测件进行图像采集，将采集的缺陷图像进行预处理后作为第一原始数据，获取不含缺陷的图像，作为第一原始背景图像使用；S2、图像标注，按照类别分别标注第一原始数据保存为含有图像信息的json格式标签，扩充原始数据与对应标签，并结合第一原始背景图像，生成第一微小缺陷数据集；S3、预训练，从第一微小缺陷数据集中分割出10%作为第一预训练数据集，训练yolov7—seg深度学习网络模型，获得第一初始检测模型，并对第一初始检测模型进行迁移学习、训练，获得最优检测模型；S4、第一图像获取程序A1通过获取的缺陷位置信息，裁剪微小缺陷数据集中的原始图像获得包含缺陷目标的224*224尺寸图像，结合获取的图像，基于获取到缺陷标注信息，制作第二缺陷分类数据集，训练快速分类模型EfficientNet，获得最优EfficientNet模型；S5、封装最优检测模型，并将图像获取程序A1与最优EfficientNet模型封装到最优检测模型之后，完成对最优检测模型的改进，将EfficientNet模型输出解码，获取分类信息与置信度，与最优检测模型解码的类别信息进行逻辑运算B1，获取最终类别信息，并结合
解码获得的最优检测模型的输出信息，完成全部检测结果的输出，完成一种实例分割与二次分类相结合的微小缺陷检测系统的构建；S6、将系统部署到实际的生产线上，通过相机采集被测件图像，采用S1中的预处理方式减少图像噪声，随后输入到系统中进行缺陷检测，最终实现缺陷类别、位置及面积的输出。
[0006]步骤S1中，对被测件进行图像采集时，通过光源透射的形式获取位于被测件内部不可直接观察到的微小缺陷及含有近似缺陷特征的非缺陷目标的信息，通过均值滤波降噪、自适应伽马矫正均衡图像亮度预处理后作为第一原始数据使用，对获取的第一原始数据进行筛选，按照缺陷尺寸、特征进行分类。
[0007]步骤S2中，采用数据扩充，采用旋转、放缩、镜像、亮度调整方式，扩充原始缺陷图像与对应标签，并结合第一原始背景图像，生成第一微小缺陷数据集，数据集尺寸为640*640，标签为txt格式。
[0008]第一原始数据总共5000张，采用随机顺、逆时针旋转0
‑
15度、随机放缩0.85
‑
1.15倍、镜像、随机亮度调整0.8
‑
1.1倍方式，扩充原始缺陷图像与对应标签，每种方式以50%概率对每张图片及标签应用，扩充至4倍数量。
[0009]步骤S3中，获得第一初始检测模型后，使用第一初始检测模型作为基础模型加载，采用迁移学习技术，使用除训练数据集外的数据进行训练，验证训练出模型的性能，选择最优检测模型。
[0010]封装最优检测模型时，调用模型输出，解码获取标注类别、标注框、mask等信息，以此实现同步输出缺陷种类、尺寸、位置、面积信息。
[0011]通过上述描述可以看出，本方案的有益效果：1、通过制作高质量缺陷数据集，基于精确标注信息训练yolov7
‑
seg模型，可以实现缺陷的实例分割，能够同步获取缺陷位置及mask掩码框，基于mask掩码框可以直接计算缺陷面积，并且计算结果更为接近实际面积。2、通过图像获取程序A1读取yolov7
‑
seg模型的缺陷类别及位置信息，完成高质量缺陷分类数据集制作，训练高精度EfficientNet模型用于缺陷的二次分类并通过解码获取yolov7
‑
seg模型输出中的类别信息及置信度，结合逻辑运算B1B1，实现对缺陷的精确区分，提高了检测的准确率，降低了含有近似缺陷特征的非缺陷目标的误检率；3、双模型使用能够在提高检出率的同时，通过对提取的两种模型结果信息进行逻辑运算降低误检率；4、通过实力分割分支输出的mask计算缺陷面积，比最小矩形法具有更高的准确性，计算所得更接近实际面积。
附图说明
[0012]图1为本专利技术具体实施方式的流程图。
[0013]图2为不同参数训练的PR曲线。
[0014]图3为第一图像获取程序A1流程图。
[0015]图4为EfficientNet训练结果。
[0016]图5为封装方式示意图。
[0017]图6为逻辑运算B1示意图。
[0018]图7为面积计算方式M1示意图。
具体实施方式
[0019]下面将结合本专利技术具体实施方式中的附图，对本专利技术具体实施方式中的技术方案进行清楚、完整地描述，显然，所描述的具体实施方式仅仅是本专利技术一种具体实施方式，而不是全部的具体实施方式。基于本专利技术中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他具体实施方式，都属于本专利技术保护的范围。
[0020]通过附图可以看出，本具体实施方式的实例分割与二次分类相结合的微小缺陷检测方法，包括如下步骤采集缺陷图像，对被测件进行图像采集，通过光源透射的形式获取位于被测件内部不可直接观察到的微小缺陷及含有近似缺陷特征的非缺陷目标的信息，通过均值滤波降噪、自适应伽马矫正均衡图像亮度预处理后作为第一原始数据使用。对获取的第一原始数据进行筛选，按照缺陷尺寸、特征进行分类。获取少数不含缺陷的图像，作为第一原始背景图像使用。
[0021]图像标注，对原始图像进行标注，按照类别分别标注第一原始数据，微小缺陷记为A、含有近似缺陷特征的非缺陷目标记为B，保存为含有图像信息的json格式标签，总共约5000张；数据扩充，采用随机顺、逆时针旋转0
‑
15度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实例分割与二次分类相结合的微小缺陷检测方法，其特征在于包括如下步骤 ：S1、采集缺陷图像，对被测件进行图像采集，将采集的缺陷图像进行预处理后作为第一原始数据，获取不含缺陷的图像，作为第一原始背景图像使用；S2、图像标注，按照类别分别标注第一原始数据保存为含有图像信息的json格式标签，扩充原始数据与对应标签，并结合第一原始背景图像，生成第一微小缺陷数据集；S3、预训练，从第一微小缺陷数据集中分割出10%作为第一预训练数据集，训练yolov7—seg深度学习网络模型，获得第一初始检测模型，并对第一初始检测模型进行迁移学习、训练，获得最优检测模型；S4、第一图像获取程序A1通过获取的缺陷位置信息，裁剪微小缺陷数据集中的原始图像获得包含缺陷目标的224*224尺寸图像，结合获取的图像，基于获取到缺陷标注信息，制作第二缺陷分类数据集，训练快速分类模型EfficientNet，获得最优EfficientNet模型；S5、封装最优检测模型，并将图像获取程序A1与最优EfficientNet模型封装到最优检测模型之后，完成对最优检测模型的改进，将EfficientNet模型输出解码，获取分类信息与置信度，与最优检测模型解码的类别信息进行逻辑运算B1，获取最终类别信息，并结合解码获得的最优检测模型的输出信息，完成全部检测结果的输出，完成一种实例分割与二次分类相结合的微小缺陷检测系统的构建；S6、将系统部署到实际的生产线上，通过相机采集被测件图像，采用S1中的预处理方式减少图像噪声，随后输入到系统中进行缺陷检测，最终实现缺陷类别、位置及面积的输出。2.根据权利要求1所述的实例分割与二次分类相结合的微小...

【专利技术属性】
技术研发人员：曹怀祥，黄元凤，袁涛，林心园，
申请(专利权)人：山东特检科技有限公司，
类型：发明
国别省市：