一种基于卷积神经网络的PCB板缺陷检测算法制造技术

本发明专利技术涉及一种基于卷积神经网络的PCB板缺陷检测算法，对PCB板图像依次进行图像预处理、数据处理、数据扩张、缺陷检测，图像预处理和数据处理有效降低噪声的负面影响；数据扩张旨在增加数据容量，避免模型过拟合；缺陷检测部分对已有的Inception‑ResNet‑v2卷积神经模型结构进行改进，所添加的SE模块能对特征图权重再次标注，增加有效缺陷特征的权重，降低无用背景权重，显著提升了模型泛化能力，激活函数由原有的ReLU替换为Leaky ReLU，规避了反向传播过程中梯度消失的问题，网络模型的鲁棒性增强，检测精度提高。

【技术实现步骤摘要】
一种基于卷积神经网络的PCB板缺陷检测算法
本专利技术涉及深度学习及工业图像检测领域，具体为一种基于卷积神经网络的PCB板缺陷检测算法。
技术介绍
如今电子信息时代发展之快，搭载电路元器件的PCB板布局集成度大大增加，在生产印刷中，时常出现多铜、短路、孔洞、短路等缺陷问题，为此PCB板的缺陷检测环节必不可少。传统PCB板缺陷检测主要采用人工与机器简单结合的方式，弊端显现：工人易疲劳、专用检测设备昂贵、受环境因素影响较大，已达不到现代智能化，高精度，低价格的产业需求。自2012年以来，深度学习在图像识别领域革新速度突飞猛进，而经典机器学习算法主要采用提取图像的纹理、边缘、梯度方向等相关特征进行图像分类，准确率和识别种类数量上相形见绌。因此，我们提出一种基于深度学习中卷积神经网络的PCB板缺陷检测算法。
技术实现思路
专利技术目的：针对传统检测方法和经典机器学习算法的缺点，本专利技术的目的是提供一种基于卷积神经网络的PCB板缺陷检测算法。技术方案：一种基于卷积神经网络的PCB板缺陷检测算法，包括以下步骤：(a)对参考PCB板图像与待测PCB板图像采取图像预处理操作：使用工业相机拍摄所得无缺陷PCB板图像和包含缺陷的待测PCB板图像，对两者分别使用预处理算法，得到处理后的PCB板图像；(b)对参考PCB图像和待测PCB图像进行数据处理操作：将预处理完成的参考PCB板图像和待测PCB板图像进行图像配准操作，得到图像配准特征点信息，对配准后PCB板图像采用图像差分操作提取出包含缺陷的感兴趣区域(ROI),进行形态学处理，将缺陷区域分割出像素大小为64*64的PCB板图像作为数据集；(c)数据扩张：对数据集采用图像扩张操作，贴上对应缺陷种类标签，将图像按4:1的比例随机划分成训练集与测试集；(d)缺陷检测：对Inception-ResNet-v2卷积神经模型结构进行改进，将扩张后数据集送入卷积神经网络，在深度学习框架上训练，根据训练优化所得网络模型特征权重信息，对PCB板图像中缺陷进行分类检测。在优选的实施方案中，所述步骤(a)中具体方法为：预处理操作包括图像增强和图像降噪，对工业相机拍摄到的三通道PCB板图像转换为单通道灰度图像，使用直方图均衡化增加图像对比度，采用均值滤波消除细小缺陷获得滤波后图像。在优选的实施方案中，所述步骤(b)中图像配准采取的算法为加速鲁棒特征(SURF)，形态学处理为先腐蚀，后膨胀。在优选的实施方案中，所述步骤(d)中，Inception-ResNet-v2卷积神经网络结构主要改进为：将每五个Inception模块中最后一个Inception模块与SE(Sequeeze-and-Excitation)模块相结合；激活函数由原有的ReLU替换为LeakyReLU。在优选的实施方案中，所述改进后的Inception-ResNet-v2卷积神经网络中的特征权重优化方式为：使用Windows操作系统，以Pytorch为深度学习框架,使用随机梯度下降算法结合动量优化特征值，连续微调修正反向传播参数得出最优模型权重。有益效果：本专利技术在收集数据集时，对参考无缺陷PCB板图像和待测有缺陷PCB板图像采用图像预处理操作，进行单通道灰度图像转换，使用直方图均衡化增加图像对比度，采用均值滤波去除细小缺陷获得滤波后图像，有效降低无用背景噪声带来的影响；通过采取加速鲁棒特征方式将参考图像与待测图像配准，消除相机拍摄方向和角度的偏差；对配准后图像差分处理得出感兴趣区域，使用形态学处理进一步减少光照等环境因素的负面作用；分割出的缺陷区域作为数据集，采取数据扩张降低网络过拟合程度；对Inception-ResNet-v2卷积神经网络结构改进，所添加的SE模块能对特征图权重再次标注，增加有效缺陷特征的权重，降低无用背景权重，显著提升了模型泛化能力，激活函数由原有的ReLU替换为LeakyReLU，ReLU函数在输入特征值小于零的情况会将输入全部设置为零，而LeakyReLU在输入特征值小于零时将输入保留为较小的数，避免了反向传播过程中梯度消失的问题，网络模型的鲁棒性提高。相较于传统PCB板检测方法，本技术方案能够对复杂环境中的PCB板图像提取缺陷特征，有效识别多种PCB板缺陷，检测精度显著提升，实时性较好。附图说明图1是本专利技术实施例提供的基于卷积神经网络的PCB板缺陷检测算法主要流程示意图；图2是本专利技术实施例提供的Inception-ResNet-v2卷积神经网络结构改进后模型示意图。图3是本专利技术实施例提供的PCB板缺陷检测结果示意图。图4是本专利技术实施例提供的不同卷积神经网络模型训练结果示意图。具体实施方式下面将结合本专利技术实施例的中附图，对本专利技术实施例的技术方案进行细致、清楚地描述，显然，所述的实施例仅是本专利技术其中一部分实施例，而不是全部的实施例。以下对附图的详细描述并非限制要求本专利技术的保护范围，而是仅仅表示本法名的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下面将参照附图1-2和具体实施例对本专利技术作进一步的说明。本专利技术提供的技术方案如下：一种基于卷积神经网络的PCB板缺陷检测算法，包括以下步骤：(a)对参考PCB板图像与待测PCB板图像采取图像预处理操作：使用工业相机拍摄所得无缺陷PCB板图像和包含缺陷的待测PCB板图像，对两者分别使用预处理算法，得到处理后的PCB板图像；(b)对参考PCB图像和待测PCB图像进行数据处理操作：将预处理完成的参考PCB板图像和待测PCB板图像进行图像配准操作，得到图像配准特征点信息，对配准后PCB板图像采用图像差分操作提取出包含缺陷的感兴趣区域(ROI),进行形态学处理，将缺陷区域分割出像素大小为64*64的PCB板图像作为数据集；(c)数据扩张：对数据集采用图像扩张操作，图像经过仿射、偏移等变换增加了缺陷数据集大小，贴上对应缺陷种类标签，将图像按4:1的比例随机划分成训练集与测试集；(d)缺陷检测：对Inception-ResNet-v2卷积神经模型结构进行改进，将扩张后数据集送入卷积神经网络，在深度学习框架上训练，根据训练优化所得网络模型特征权重信息，对PCB板图像中缺陷进行分类检测。所述步骤(a)中具体方法为：预处理操作包括图像增强和图像降噪，对工业相机拍摄到的三通道PCB板图像转换为单通道灰度图像，使用直方图均衡化增加图像对比度，采用均值滤波消除细小缺陷获得滤波后图像。所述步骤(b)中图像配准采取的算法为加速鲁棒特征(SURF)，获得参照图像和缺陷图像特征点信息，计算两者缩放角度，经过校正使得两张图像重合。形态学处理为先腐蚀，后膨胀，最大化消除微小噪声。所述步骤(d)中，Inception-ResNet-v2卷积神经网络结构主要改进为：将每五个Inception模块中最后一个Inception模块与SE(Sequee本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的PCB板缺陷检测算法，其特征在于：包括以下步骤：/n(a)对参考PCB板图像与待测PCB板图像采取图像预处理操作：使用工业相机拍摄所得无缺陷PCB板图像和包含缺陷的待测PCB板图像，对两者分别使用预处理算法，得到处理后的PCB板图像；/n(b)对参考PCB图像和待测PCB图像进行数据处理操作：将预处理完成的参考PCB板图像和待测PCB板图像进行图像配准操作，得到图像配准特征点信息，对配准后PCB板图像采用图像差分操作提取出包含缺陷的感兴趣区域(ROI),进行形态学处理，将缺陷区域分割出大小为64*64单位像素的PCB板图像作为数据集；/n(c)数据扩张：对数据集采取图像扩张操作，贴上对应缺陷种类标签，将图像按4:1的比例随机划分成训练集与测试集；/n(d)缺陷检测：选取Inception-ResNet-v2卷积神经网络为基础模型，并对Inception-ResNet-v2模型结构进行改进，将扩张后数据集送入卷积神经网络，在深度学习框架上训练，根据训练优化所得网络模型特征权重信息，对PCB板图像中缺陷进行分类检测。/n

【技术特征摘要】
1.一种基于卷积神经网络的PCB板缺陷检测算法，其特征在于：包括以下步骤：
(a)对参考PCB板图像与待测PCB板图像采取图像预处理操作：使用工业相机拍摄所得无缺陷PCB板图像和包含缺陷的待测PCB板图像，对两者分别使用预处理算法，得到处理后的PCB板图像；
(b)对参考PCB图像和待测PCB图像进行数据处理操作：将预处理完成的参考PCB板图像和待测PCB板图像进行图像配准操作，得到图像配准特征点信息，对配准后PCB板图像采用图像差分操作提取出包含缺陷的感兴趣区域(ROI),进行形态学处理，将缺陷区域分割出大小为64*64单位像素的PCB板图像作为数据集；
(c)数据扩张：对数据集采取图像扩张操作，贴上对应缺陷种类标签，将图像按4:1的比例随机划分成训练集与测试集；
(d)缺陷检测：选取Inception-ResNet-v2卷积神经网络为基础模型，并对Inception-ResNet-v2模型结构进行改进，将扩张后数据集送入卷积神经网络，在深度学习框架上训练，根据训练优化所得网络模型特征权重信息，对PCB板图像中缺陷进行分类检测。


2.根据权利要求1所述的一种基于卷积神经网络的PCB板缺陷检测算法，其特征在于，所述步骤(a)中具体方法为：预...

【专利技术属性】
技术研发人员：邓小颖，朱金荣，李斌，孙灿，夏长权，李扬，
申请(专利权)人：扬州小纳熊机器人有限公司，扬州大学，
类型：发明
国别省市：江苏;32