一种基于多模型融合卷积神经网络的PCB缺陷图像识别方法技术

本发明专利技术公开一种基于改进卷积神经网络的PCB缺陷图像识别方法。针对现有ResNet50深度卷积神经网络模型的不足，引入名为Res2Net的新型CNN模块，并更改残差连接结构和激活函数，来提高网络多层的非线性扩展能力。基于改进ResNet50模型，融入DenseNet169卷积神经网络，基于多模型提取的图像特征进行融合，并对融合特征输出网络结构进行改进，建立了一种多模型融合的PCB缺陷图像识别的卷积神经网络框架。本发明专利技术方法可对不同类型的PCB缺陷图像进行识别，较单一模型具有识别准确率、敏感性高的特点，并且能够实现PCB缺陷类别的自动化和智能化识别。化识别。化识别。

【技术实现步骤摘要】
一种基于多模型融合卷积神经网络的PCB缺陷图像识别方法


[0001]本专利技术涉及缺陷检测领域，具体涉及一种基于多模型融合卷积神经网络的PCB缺陷图像识别方法。

技术介绍

[0002]印刷电路板(Printed Circuit Board，PCB)作为电子信息产业发展的基础支柱被广泛应用在工业控制、通讯、医疗、航空等领域。随着我国科学技术以及产业升级的推进，PCB缺陷检测技术已经成为经济生产环节中至关重要的一环。然而基于自动光学检查系统的外观检查机在PCB缺陷检测方面的误报率很高，导致后续验证和修复系统站的人工视觉检查的成本较高，而且工作效率低。因此利用深度学习技术进行PCB缺陷识别显得尤为重要。
[0003]近年来，利用人工智能方法对缺陷检测方面取得了显著进展，这些缺陷检测系统将人工智能、模式识别理论以及PCB生产知识与经验集于一体。目前，已有针对PCB缺陷图像分类任务的相关研究，但用于PCB生产研究较少，该研究可以减少后序验证和修复系统站上人工视觉检查成本，提高生产效率。

技术实现思路

[0004]本专利技术的目的在于针对已有技术的不足，提供一种基于多模型融合卷积神经网络的PCB缺陷图像识别方法，作用于多种类的PCB缺陷图像，克服传统人工PCB缺陷检测劳动强度大、工作效率低等问题，可减少后序验证和修复系统站上人工视觉检查成本，提高生产效率，实现PCB缺陷类别的自动化和智能化识别。
[0005]为实现以上目的，本专利技术采用下述技术方案：
[0006]一种基于多模型融合卷积神经网络的PCB缺陷图像识别方法，该方法包括以下操作步骤：
[0007](1)建立图像数据集：获取多种类PCB缺陷图像和无缺陷图像，建立PCB图像数据集，并按各缺陷种类分好类；
[0008](2)ResNet50模型改进；针对现有深度卷积神经网络模型的不足进行改进，建立适合PCB缺陷图像识别的卷积神经网络框架；
[0009](3)特征融合：为了进一步提高PCB缺陷分类识别效果，提出一种多模型融合的PCB缺陷识别方法；基于多模型提取的图像特征进行融合，并对融合特征输出网络结构进行改进；
[0010](4)模型训练，实现PCB缺陷识别：将PCB图片集划分为训练集、验证集和测试集，利用改进后的融合模型进行训练、测试，实现PCB缺陷类别的自动化和智能化识别。
[0011]优选地，所述的步骤(1)具体包括：
[0012](1.1)对PCB缺陷图像进行缺陷分类，由经验丰富的工作人员对残渣、异物等PCB缺陷图像以及无缺陷PCB图像进行细致分类整理；
[0013](1.2)在步骤(1.1)整理好的PCB图像数据集基础上进行镜像、旋转等数据增强方式以扩充数据集样本，为提高图像识别精度打下基础。
[0014]优选地，所述的步骤(2)具体包括：
[0015](2.1)针对现有的ResNet50深度卷积神经网络模型的不足进行改进，建立适合PCB缺陷图像识别的卷积神经网络框架。
[0016]ResNet50网络结构共由四个大的BottleNeck组成，每个block中分别对应有3、4、6、3个小的残差块组成，每个小的残差块都是由1
×
1、3
×
3、1
×
1三个卷积层串联组成。另外在网络的最前端和最后端分别是由1个7
×
7的卷积层、maxpool层以及平均池化层组成。模型提取的特征的能力越强，分类得到正确结果的能力越强。因此本专利技术对ResNet50的网络结构进行了改善。
[0017]优化改进后的ResNet50模型引入了一种名为Res2Net的新型CNN模块，Res2Net模块不同于之前的网络结构，其利用不同分辨率的特征来提高多尺度能力。该模块在单个残差块内构造具有等级制度的类似残差连接，在更细粒度级别上表示多尺度特征，用一组更小的滤波器组替换了n个通道的3
×
3卷积核，同时以分层的类残差方式来连接不同的过滤器组；在原本残差块第一个1
×
1卷积后，将输入划分到s个子集，定义为：
[0018]x
i
,i∈{1,2,3...,s}
[0019]每个特征都有相同的尺寸大小，但通道是输入特征的1/s。除了x1，其他的子特征都有相应的3
×
3卷积核，将其定义为k
i
()，其输出为y
i
。为了在增加子集个数s同时减小模型中参数数量，省略了x1的3
×
3卷积核。因此，输出y
i
可以写作：
[0020][0021]每一个3
×
3的卷积操作都可以潜在地接受上一层所有输出的特征信息，每一个输出都能增大感受野，所以每一个Res2Net都能获取不同数量和不同感受野大小的特征组合。
[0022]因此，将本专利技术原本ResNet50中含有1
×
1、3
×
3、1
×
1卷积层的残差块替换为更多分层式的残差连接结构，并分别将第二个和第三个大的BottleNeck中的多个小block替换成Res2Net模块，然后将剩下的2个大BottleNeck按原本顺序进行连接。另外，在每一个大的BottleNeck后面采用ReLU作为激活函数提高网络多层的非线性扩展能力。
[0023]优选地，所述的步骤(3)具体包括：
[0024](3.1)针对改进后的ResNet50深度卷积神经网络模型，引入DenseNet169模型网络，利用两个模型网络特征提取器提取输入图片的特征，并进行特征融合，在其基础上对融合后模型结果进行优化改进。
[0025](3.2)在预处理时，将所有输入图片都归一化为224
×
224的大小。利用改进后的ResNet50和DenseNet169模型特征提取器对输入图片进行特征提取，其中改进后的ResNet50特征提取器提取到2048幅7
×
7大小的特征图，DenseNet169特征提取器提取到1664幅7
×
7大小的特征图。为了压缩模型参数数量，提高计算速度，分别在两个特征提取器后接一个全局平均池化层，得到2048幅1
×
1大小的特征图和1664幅1
×
1大小的特征图，之后再将两个全局平均池化层的输出进行拼接(Concatenate)，得到新的分类网络的输出。经
过模型融合后，最终得到的特征图大小为1
×1×
3712。由于最终需要将PCB图像分为NG和OK两种类别，因此需要将1
×1×
3712大小的特征图转变为1
×1×
2大小的特征图。考虑到这样特征图的数量过渡上稍显剧烈，可能会引起模型在收敛时由于变化过于剧烈而导致了训练结果不好或是训练效果有限。改进后的多模型融合网络结构在融合特征输出前与原多模型融合网络结构一致，区别在于改进后的多模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模型融合卷积神经网络的PCB缺陷图像识别方法，其特征在于：操作步骤如下：(1)建立图像数据集：获取多种类PCB缺陷图像，建立PCB图像数据集，并按各缺陷种类分好类；(2)ResNet50模型改进：建立适合PCB缺陷图像识别的卷积神经网络框架；(3)特征融合：对PCB缺陷分类识别，采用多模型融合的PCB缺陷识别方法，基于多模型提取的图像特征进行融合，并对融合特征输出网络结构进行改进；(4)通过模型训练实现PCB缺陷识别：将PCB图片集划分为训练集、验证集测试集，利用在所述步骤(3)中进行改进后的融合模型进行训练、测试，对PCB缺陷类别进行自动化和智能化识别。2.根据权利要求1所述基于多模型融合卷积神经网络的PCB缺陷图像识别方法，其特征在于：所述步骤(1)包括如下步骤：(1.1)对PCB缺陷图像进行缺陷分类，对包括残渣、异物在内的PCB缺陷图像以及无缺陷PCB图像进行细致分类整理；(1.2)在步骤(1.1)整理好的PCB图像数据集基础上进行包括镜像、旋转在内的数据增强方式以扩充数据集样本。3.根据权利要求1所述基于多模型融合卷积神经网络的PCB缺陷图像识别方法，其特征在于：在所述步骤(2)中，建立适合PCB缺陷图像识别的卷积神经网络框架：采用ResNet50网络结构共由四个大的BottleNeck组成，每个block中分别对应有3、4、6、3个小的残差块组成，每个小的残差块都是由1
×
1、3
×
3、1
×
1三个卷积层串联组成；另外在网络的最前端和最后端分别是由1个7
×
7的卷积层，maxpool层以及平均池化层组成；优化改进后的ResNet50模型引入了一种名为Res2Net的新型CNN模块，将原本ResNet50中含有1
...

【专利技术属性】
技术研发人员：张健滔，瞿栋，汪鹏宇，黄允，徐海达，
申请(专利权)人：上海大学，
类型：发明
国别省市：