一种基于深度学习的引线框架划痕缺陷检测方法及装置制造方法及图纸

本发明专利技术提供一种基于深度学习的引线框架划痕缺陷检测方法及装置，所述方法包括：获取引线框架的小单元图像，将具有划痕缺陷的图像进行标注，构建引线框架划痕缺陷数据集；构建用于划痕缺陷检测的改进yolov5目标检测网络模型；将所述引线框架划痕缺陷数据集送入改进的yolov5网络模型进行训练，训练出具有提取划痕特征并检测的深度学习模型；利用训练得到的改进的yolov5网络模型进行引线框架划痕缺陷检测。本发明专利技术将深度学习模型应用到引线框架划痕缺陷检测检测中，大大提高了划痕缺陷的检出率，对引线框架缺陷检测提供了技术支持。对引线框架缺陷检测提供了技术支持。对引线框架缺陷检测提供了技术支持。

【技术实现步骤摘要】
一种基于深度学习的引线框架划痕缺陷检测方法及装置


[0001]本专利技术引线框架缺陷检测
，具体地，涉及一种基于深度学习的引线框架划痕缺陷检测方法及装置。

技术介绍

[0002]在工业流水线复杂场景下对引线框架进行缺陷检测是机器视觉中一种非常重要的应用技术。通过对引线框架生产过程中出现的例如引脚变形、划痕、沙孔等缺陷进行检出使得生产商能够控制和提高生产质量。目前现有的机器视觉算法对缺陷的检测主要依靠传统的图像处理技术，通过得到的模板图像对检测图像进行差分处理等方法，实现缺陷的检出。除此之外，阈值法也是有效的缺陷检测方法之一，利用像素差异，人工进行阈值调整或自适应动态阈值的方法实现对缺陷的检出。
[0003]然而，在实际场景下，通过上述算法对于引线框架划痕缺陷的检出率不高。不同于其他缺陷，划痕缺陷特征不明显，像素差异小，连通域面积窄，现有的算法无法对划痕缺陷进行有效的检出。
[0004]因此，鉴于上述问题，本专利技术从划痕缺陷的特征入手，考虑缺陷的长宽比和连通域像素大小，构建了适用于划痕缺陷的深度学习模型，研究了一种基于深度学习的引线框架划痕缺陷检测方法。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术的目的在于提供一种算法设计简单、检测精度高的基于深度学习的引线框架划痕缺陷检测方法。
[0006]为解决上述问题，本专利技术的技术方案为：
[0007]一种基于深度学习的引线框架划痕缺陷检测方法，包括以下步骤：
[0008]获取引线框架的小单元图像，将具有划痕缺陷的图像进行标注，构建引线框架划痕缺陷数据集；
[0009]构建用于划痕缺陷检测的改进yolov5目标检测网络模型；
[0010]将所述引线框架划痕缺陷数据集送入改进的yolov5网络模型进行训练，训练出具有提取划痕特征并检测的深度学习模型；
[0011]利用训练得到的改进的yolov5网络模型进行引线框架划痕缺陷检测。
[0012]优选地，所述获取引线框架的小单元图像，将具有划痕缺陷的图像进行标注，构建引线框架划痕缺陷数据集的步骤中，在创建引线框架划痕缺陷数据集时，利用labelimg软件对引线框架缺陷图像进行标注，在标注时，对于划痕缺陷要使得标注框为最小包围矩形框。
[0013]优选地，所述获取引线框架的小单元图像，将具有划痕缺陷的图像进行标注，构建引线框架划痕缺陷数据集的步骤中，在对较大的划痕缺陷进行标注时，采用多个小标注框分别对缺陷进行标注。
[0014]优选地，所述获取引线框架的小单元图像，将具有划痕缺陷的图像进行标注，构建引线框架划痕缺陷数据集的步骤中，根据引线框架小单元的对称特性，将图像分别裁剪左上、右上、左下、右下四张图象，并将图像经过镜像翻转后对所述图像进行图像拼接，从而丰富数据集。
[0015]优选地，所述构建用于划痕缺陷检测的改进yolov5目标检测网络模型步骤具体包括：根据划痕缺陷的特点，在特征提取网络中加入C3卷积模块和CoordAttention注意力机制，所述特征提取网络经过focus层，通过切片操作使得输入为640*640*3的图像变为320*320*12的图像，在focus模块之后继续经过Conv模块和C3模块将网络进行提取特征，在特征提取网络之后加入SPP空间金字塔池化模块，经过concat拼接再经过一个Conv层输出。
[0016]优选地，所述构建用于划痕缺陷检测的改进yolov5目标检测网络模型步骤具体还包括：经过两倍上采样，与特征提取网络的160*160特征层进行融合。
[0017]优选地，所述构建用于划痕缺陷检测的改进yolov5目标检测网络模型步骤具体还包括：当划痕中有些缺陷较小时，在yolov5检测头部分增加所述经过两倍上采样之后，感受野较小的检测头，从而使得网络有四个检测头，分别检测大、中、小三种缺陷大小的划痕缺陷。
[0018]优选地，所述构建用于划痕缺陷检测的改进yolov5目标检测网络模型步骤具体还包括：对所述检测头的anchor进行优化，对于感受野偏大的三个探测头重新增加长宽比较大的anchor，对于感受野较小的探测头重新增加目标体积较小的anchor。
[0019]优选地，所述利用训练得到的改进的yolov5网络模型进行引线框架划痕缺陷检测的步骤中，在计算yolov5的损失函数中的边界框损失函数时，通过和mask模板相乘，从而在计算时，只计算划痕出现的区域的损失。
[0020]进一步地，本专利技术还提供一种基于深度学习的引线框架划痕缺陷检测装置，其特征在于，所述装置包括处理器以及用于存储所述处理器的可执行指令的存储器，所述处理器配置为经由执行所述可执行指令来执行如上所述的基于深度学习的引线框架划痕缺陷检测方法。
[0021]与现有技术相比，本专利技术结合引线框架小单元的特性，在输入数据集时，进行裁剪、镜像翻转、拼接、从而丰富数据集，使得网络更好的提取图像特征。在提取特征时，本专利技术根据划痕缺陷自身的特点，在原有的深度学习网络上进行修改，在特征提取网络部分引入CoordAttention注意力机制模块，使得网络能够更好的获取缺陷的空间信息；并且对于体积较小的小划痕，经过多次卷积之后会更少的丢失较小的目标区域信息，从而提高网络对于小目标划痕的检测率。
[0022]另外，根据小目标的特性，在原有的yolov5检测头部分，增加上述经过两倍上采样之后，感受野较小的检测头，从而使得网络有四个检测头，分别检测大、中、小三种缺陷大小的划痕缺陷。对于探测头的anchor也进行改进，使得anchor能够适应划痕中体积较小的检测。
附图说明
[0023]通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：
[0024]图1为本专利技术实施例提供的基于深度学习的引线框架划痕缺陷检测方法流程框图；
[0025]图2a、2b、2c、2d为本专利技术实施例提供的引线框架部分单元示意图；
[0026]图3a、3b为本专利技术实施例提供的引线框架部分单元长宽比较大的划痕缺陷示意图；
[0027]图4为本专利技术实施例提供的引线框架长宽比较大的缺陷标注方式示意图；
[0028]图5a、5b、5c、5d为本专利技术实施例提供的引线框架分割图片示意图；
[0029]图6为本专利技术实施例提供的引线框架划痕缺陷检测方法的网络结构图；
[0030]图7为本专利技术实施例提供的CoordAttention注意力机制网络结构图；
[0031]图8为本专利技术实施例提供的引线框架划痕缺陷检测方法的数据集的标注框长宽对比图；
[0032]图9为本专利技术实施例提供的引线框架小单元的mask蒙版示意图；
[0033]图10a、10b、10c、10d为本专利技术实施例提供的引线框架划痕缺陷图像检测效果图。
具体实施方式
[0034]下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的引线框架划痕缺陷检测方法，其特征在于，所述方法包括以下步骤：获取引线框架的小单元图像，将具有划痕缺陷的图像进行标注，构建引线框架划痕缺陷数据集；构建用于划痕缺陷检测的改进yolov5目标检测网络模型；将所述引线框架划痕缺陷数据集送入改进的yolov5网络模型进行训练，训练出具有提取划痕特征并检测的深度学习模型；利用训练得到的改进的yolov5网络模型进行引线框架划痕缺陷检测。2.根据权利要求1所述的基于深度学习的引线框架划痕缺陷检测方法，其特征在于，所述获取引线框架的小单元图像，将具有划痕缺陷的图像进行标注，构建引线框架划痕缺陷数据集的步骤中，在创建引线框架划痕缺陷数据集时，利用labelimg软件对引线框架缺陷图像进行标注，在标注时，对于划痕缺陷要使得标注框为最小包围矩形框。3.根据权利要求2所述的基于深度学习的引线框架划痕缺陷检测方法，其特征在于，所述获取引线框架的小单元图像，将具有划痕缺陷的图像进行标注，构建引线框架划痕缺陷数据集的步骤中，在对较大的划痕缺陷进行标注时，采用多个小标注框分别对缺陷进行标注。4.根据权利要求1所述的基于深度学习的引线框架划痕缺陷检测方法，其特征在于，所述获取引线框架的小单元图像，将具有划痕缺陷的图像进行标注，构建引线框架划痕缺陷数据集的步骤中，根据引线框架小单元的对称特性，将图像分别裁剪左上、右上、左下、右下四张图象，并将图像经过镜像翻转后对所述图像进行图像拼接，从而丰富数据集。5.根据权利要求1所述的基于深度学习的引线框架划痕缺陷检测方法，其特征在于，所述构建用于划痕缺陷检测的改进yolov5目标检测网络模型步骤具体包括：根据划痕缺陷的特点，在特征提取网络中加入C3卷积模块和CoordAttention注意力机制，所述特征提取网络经过focus层，通过切片操作使得输入为640*640*...

【专利技术属性】
技术研发人员：李志伟，孙霆瑞，苏骞，殷志祥，张仕兵，肖新杰，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：