一种基于深度学习的电子元器件质量检测方法与系统技术方案

本发明专利技术涉及一种基于深度学习的卷积神经网络电子元器件质量检测方法，属于故障诊断技术与信号处理分析技术领域。本发明专利技术首先搜集不合格电子元器件的图像，如元件缺脚、错误打标，将收集到的图像分为训练集、验证集和测试集，并对数据集中的图像进行不合格区域标注，包括坐标信息和分类信息；其次构建用于电子元器件质量检测的卷积神经网络模型；然后利用训练数据集中的图像对用于不合格元器件图像检测的卷积神经网络模型进行训练；利用训练好的用于裂纹图像检测的卷积神经网络模型，对测试数据集中的不合格元器件图像进行质量检测。本发明专利技术使得网络模型能够有效增加不合格元器件的选择，并且比传统的多步图像检测方法速度更快，可以在短时间内处理更多的图像；使得网络模型可以获得更精细的局部细节；使得整个网络可以实现有效的递进式特征传递，提高了网络模型的电子元器件质量检测精度。

A quality inspection method and system for electronic components based on deep learning

【技术实现步骤摘要】
一种基于深度学习的电子元器件质量检测方法与系统
本专利技术涉及一种基于深度学习的卷积神经网络电子元器件质量检测方法，属于故障诊断技术与信号处理分析

技术介绍
电子元器件常见的质量不合格有：柱脚的断裂或缺失、标注信息错误，以及元器件表面由于材料特殊属性并在加工过程中产生的裂纹等。而由于精密的电子元器件在参与后续制造和应用过程中的任何缺陷都有可能导致其无法正常工作，甚至引发重大事故，造成灾难性后果。所以，及时检测电子元器件的质量缺陷对于提高生产厂家的产品合格率及应用范围起着至关重要的作用。然而，由于技术的限制，传统的检测方法，如人工目视、声学、光学、射线、电磁和微波等无损检测方法的实现还是需依靠高灵敏度检测器件辅助完成，并且依赖大量人力资源。甚至，这些方法仅对判断质量缺陷的有无有所帮助，难以对缺陷进行定性的分类以及尺寸的度量。随着社会经济和自动化技术的不断进步，基于计算机视觉和图像处理的设备外观质量检测技术开始逐渐应用于钢材、交通运输、能源、汽车、电子、通用零部件、建筑、食品、生活用品等诸多行业与领域，但当前电子元器件的质量检测研本文档来自技高网...

【技术保护点】
1.一种基于深度学习卷积神经网络的电子元件质量检测的方法，其特征在于，包括以下步骤：/nStep1：搜集不合格电子元件图像，首先用Labelimg或其他类似工具对训练数据集中的图像进行区域和类别的标注，包括真实框，类别信息，即缺陷的坐标和分类，然后对图像进行预处理，将图像按比例变为800*600大小，对边长不足的情况进行黑色填充，将改变尺寸后的图像分为训练集、验证集和测试集；/nStep2：以Faster RCNN网络为基础，通过更改特征提取网络部分的结构来做出一个速度和精度都比较平衡的网络；/nStep3：利用训练数据集中的图像对用于电子元器件质量检测的卷积神经网络模型进行训练；/nStep...

【技术特征摘要】
1.一种基于深度学习卷积神经网络的电子元件质量检测的方法，其特征在于，包括以下步骤：
Step1：搜集不合格电子元件图像，首先用Labelimg或其他类似工具对训练数据集中的图像进行区域和类别的标注，包括真实框，类别信息，即缺陷的坐标和分类，然后对图像进行预处理，将图像按比例变为800*600大小，对边长不足的情况进行黑色填充，将改变尺寸后的图像分为训练集、验证集和测试集；
Step2：以FasterRCNN网络为基础，通过更改特征提取网络部分的结构来做出一个速度和精度都比较平衡的网络；
Step3：利用训练数据集中的图像对用于电子元器件质量检测的卷积神经网络模型进行训练；
Step4：利用训练好的卷积神经网络进行不合格电子元器件的质量检测，包括图像区域识别和目标分类；
所述步骤Step2中，具体修改网络基础可以分为如下步骤：
Step2.1：首先修改FasterRCNN中的backbone，即卷积神经网络的结构，去掉传统VGG16卷积神经网络中运用的池化层操作，而是用Stride＝2(步长为2)的3X3卷积层进行卷积，以达到降维的效果，并且又加入残差模块，使得卷积的层数可以更深，达到更好的特征提取效果。本发明还取消了传统的全连接层和全局池化层。所以backbone的构建又可以具体分为以下步骤：
Step2.1.1：首先，本网络用的是Conv_BN_LeakyReLU(下文称为CBL)模块作为基本模块构建，其中包含Conv2D模块、BN(批标准化，加速网络收敛，解决梯度消失)模块、LeakyReLU(激活函数)模块，而引入的残差模块(下文称为ResBlock)实际上是2个CBL其中第一个加了0填充(padding＝1)；
Step2.1.2：然后本网络的构建方式是：设置模型Layerl的结构为CBL，CBL，ResBlock，其中CBL中滤波器尺寸分别为：[3，3，3，32]，[3，3，32，64]和一个ResBlock，其中滤波器的尺寸是[1，1，64，32]，[3，3，32，64]；
Step2.1.3：设置模型Layer2的结构为CBL，ResBlock*2，其中CBL中滤波器尺寸分别为：[3，3，64，128]，和2个Resblock，其中滤波器的尺寸是[1，1，128，64]，[3，3，64，128]；
Step2.1.4：设置模型Layer3的结构为CBL，ResBlock*8，其中CBL中滤波器尺寸分别为：[3，3，256，512]，和8个ResBlock，其中滤波器的尺寸是[1，1，256，128]，[3，3，128，256]；
Step2.1.5：设置模型Layer4的结构为CBL，ResBlock*8，其中CBL中滤波器尺寸分别为：[3，3，256，512]，和8个ResBlock，其中滤波器的尺寸是[1，1，512，256]，[3，3，256，512]；
Step2.1.6：设置模型Layer5的结构为CBL，ResBlock*4，其中CBL中滤波器尺寸分别为：[3，3，512，1024]，和4个ResBlock，其中滤波器的尺寸是[1，1，1024，512]，[3，3，512，1024]；
所述步骤Step3中，利用训练数据集中的图像对用于电子元器件质量检测的全卷积神经网络模型进行训练的主要步骤如下：
Step3.1：设置全卷积神经网络模型的初始权重和初始偏置的参数；
Step3.2：然后将输入的图片按比例缩放为800X600，如果边的长度不够，则进行黑色补充；
Step3.3：接着，分别将Layer4，Layer5和最后输出的权重张量进行拼接，并...

【专利技术属性】
技术研发人员：顾慎凯，何帆，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：江苏;32