基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法技术

本发明专利技术公开了一种基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法，包括如下步骤，利用高速工业相机采集工电子元器件表面缺陷图像；利用图像标注具LabelImg对电子元器件表面图像进行缺陷位置和类型的标注，构建缺陷数据集；对构建的训练数据集D进一步进行数据扩充，得到扩充后的训练数据集Dk；基于YOLOv5卷积神经网络基本框架，构建用于缺陷检测的深度学习网络模型；用训练数据集Dk来训练所述深度学习网络模型；获取电子元器件生产流水线上多路摄像头所采集的电子元器件表面图像，然后输入到训练好的深度学习网络模型中，进行缺陷检测，得到检测结果；本发明专利技术所提出的自动化电子元器件外观缺陷检测方法的检测效率更高，检测速度更快，泛化能力更强。泛化能力更强。

【技术实现步骤摘要】
基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法


[0001]本专利技术涉及电子元器件表面缺陷检测
，具体为基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法。

技术介绍

[0002]电子元器件生产是电子信息制造业中最基础也是最核心的一环。目前，随着电子信息技术的高速发展，对电子元器件的质量和性能要求也日益提升。而在电子元器件生产线上的各个环节中，由于设备的差异性以及自然磨损，不可避免的会生产出一些带有表面缺陷的电子元器件。因此，如何高效并及时的发现并剔除这些有缺陷的电子元器件，对保证后端产品质量以及性能发挥有着非常关键的作用，是生产过程中不可或缺的一环。
[0003]在早期，针对这种电子元器件表面缺陷，主要是依靠人工抽样目检的方式，通过肉眼来观察是否存在缺陷。这种方式易受检测工人的主观影响，缺乏规范性，从而导致容易出现漏检或误检，并且需要大量的人工参与，人力成本高而效率又十分低下。
[0004]后来，随着计算机和图像处理技术的发展，开始出现通过CCD相机采集光学图像，然后输入计算机通过传统图像处理算法和机器学习方法来进行自动化检测的设备。这种方法虽然在一定程度上实现了自动化检测，有效提升了检测效率，但是由于传统的图像处理算法是依靠手工设计的特征来进行模板匹配或基于SVM进行分类的操作方式，这种方法的场景适应能力差，检测性能不稳定，易受手工设计特征优劣的影响，并且计算速度慢，检测效率低。
[0005]最近，随着深度学习技术的发展，开始出现基于深度神经网络的电子元器件缺陷检测方法。中国专利(CN113267508A)中公开了一种电子元器件缺陷检测设备和检测方法，该方法通过利用多个神经网络来提取电子元器件的缺陷图像特征，然后再通过数据对比模块来进行电子元器件的缺陷检测。这个方法虽然利用神经网络来自动提取图像特征进一步提升了缺陷检测效率和性能，但是该方法中多个神经网络模型的组合使用，增加了模型的复杂度，影响了模型的检测速度。另外通过数据对比的方式来进行缺陷检测，限制了检测模型的泛化能力。因此，亟需一种检测效率更高，检测速度更快，泛化能力更强的自动化电子元器件外观缺陷检测方法。。

技术实现思路

[0006]针对
技术介绍
中提到的问题，本专利技术的目的是提供一种基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法，以解决
技术介绍
中提到的问题。
[0007]本专利技术的上述技术目的是通过以下技术方案得以实现的：
[0008]基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法，具体包括以下步骤：
[0009](1)利用高速工业相机采集工厂流水线上不同种类的电子元器件表面缺陷图像；
[0010](2)利用图像标注工具LabelImg对电子元器件表面图像进行缺陷位置和类型的标注，构建缺陷数据集，并将其分为训练数据集D和测试数据集T；
[0011](3)由于生产过程中出现缺陷的电子元器件数量较少，为了得到足够多的缺陷样本用于训练深度学习网络模型，避免发生过拟合现象，同时增强网络的鲁棒性，对2)中构建的训练数据集进一步进行数据扩充，得到扩充后的训练数据集Dk；
[0012](4)基于YOLOv5卷积神经网络基本框架，构建用于缺陷检测的深度学习网络模型；
[0013](5)用步骤(3)中得到的训练数据集Dk来训练步骤(4)中构建的深度学习网络模型；
[0014]6)采用多线程并行的方式并行获取电子元器件生产流水线上多路摄像头所采集的电子元器件表面图像，并将多个通道的图像数据进行三维叠加，然后输入到训练好的深度学习网络模型中，进行缺陷检测，得到检测结果。
[0015]进一步的，步骤(1)中不同种类的电子元器件表面缺陷主要包括：划痕、破损、污渍、断脚、开裂5个类别，每个类别各采集1000张图像，其中每张图像大小为640*480，共得到5000张缺陷数据图像作为初始数据集；
[0016]进一步的，步骤(2)中利用LabelImg标注图像中的缺陷，记录相应的缺陷位置坐标和类别信息，然后按照8:2的比例将整个数据集划分为训练集D和测试集T；
[0017]进一步的，步骤(3)中数据扩充的具体方式为对训练集中的图像进行随机水平翻转、垂直翻转、角度旋转、亮度变化、对比度变化等操作，得到扩充后的训练数据集Dk，数量为20000张；
[0018]进一步的，步骤(4)中基于YOLOv5卷积神经网络基本框架，搭建用于缺陷检测的深度学习网络模型，其主要分为输入端、特征提取Backbone网络、特征处理Neck网络、输出端四个部分，具体如下：
[0019]输入端具体结构依次为：输入图像
→
Mosaic数据增强模块
→
自适应锚框计算
→
自适应图片缩放；
[0020](1a)所述Mosaic数据增强模块是将输进网络的图片以4张为单位，通过随机缩放、随机裁剪、随机排列等方式进行拼接，从而极大的扩充了训练数据集，增加了背景了多样性，提升了检测网络的鲁棒性。
[0021](2a)所述自适应锚框计算模块是针对不同的数据集，在训练之前自适应的计算不同训练集中的最佳锚框值。此最佳锚框值用来构成初始锚框，网络训练时，在初始锚框的基础上输出检测框，然后与真实框真值进行比较，计算两者的误差，再反向传播，更新迭代网络参数。
[0022](3a)所述自适应图片缩放模块是将输进网络的原始图片统一缩放到一个标准尺寸N*N，然后再送入Backbone主干网络中，在本专利技术中N＝416。
[0023]特征提取Backbone网络
[0024]特征提取Backbone网络结构依次为：Focus模块
→
第二CBL模块
→
第一CSP1
‑
1模块
→
第七CBL模块
→
第一CSP1
‑
3模块
→
第十六CBL模块
→
第二CSP1
‑
3模块
→
第二十四CBL模块
→
SPP模块；
[0025](2a)所述Focus模块的具体结构依次为：切片模块
→
拼接模块
→
第一CBL模块；其中切片模块将输入图片切成4块，拼接模块将切片模块输出的4块图片进行拼接；
[0026](2b)所述CBL模块的具体结构依次为：卷积层
→
批归一化层
→
激活函数层，其中，激活函数为LeakyReLU，其表达式为：
[0027][0028]其中,a在本专利技术中取值为0.1。
[0029](2c)所述第一CSP1
‑
1模块的具体结构依次为：支路1)第三CBL模块
→
第一残差模块
→
卷积层；支路2)卷积层；合路)第一拼接模块
→
批归一化层
→
激活函数层<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法，包括试验机壳体(1)，其特征在于：具体包括以下步骤：(1)利用高速工业相机采集工厂流水线上不同种类的电子元器件表面缺陷图像；(2)利用图像标注工具LabelImg对电子元器件表面图像进行缺陷位置和类型的标注，构建缺陷数据集，并将其分为训练数据集D和测试数据集T；(3)对步骤(2)中构建的所述训练数据集D进一步进行数据扩充，得到扩充后的训练数据集D
k
；(4)基于YOLOv5卷积神经网络基本框架，构建用于缺陷检测的深度学习网络模型；(5)用步骤(3)中得到的所述训练数据集D
k
来训练步骤(4)中构建的所述深度学习网络模型；(6)采用多线程并行的方式并行获取电子元器件生产流水线上多路摄像头所采集的电子元器件表面图像，并将多个通道的图像数据进行三维叠加，然后输入到训练好的深度学习网络模型中，进行缺陷检测，得到检测结果。2.根据权利要求1所述的基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法，其特征在于：步骤(1)中不同种...

【专利技术属性】
技术研发人员：刘静，杨智伟，毋朝阳，刘晓涛，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：