基于图像处理的印刷电路板分类方法、装置及储存介质制造方法及图纸

本发明专利技术提出了一种基于图像处理的印刷电路板分类方法，包括以下步骤：S1，获取电路板板材表面图片；S2，对图片进行预处理；S3，将预处理后的图片输入至ResNet

【技术实现步骤摘要】
基于图像处理的印刷电路板分类方法、装置及储存介质


[0001]本专利技术属于电子产品视觉检测的
，更具体地说是涉及一种基于图像处理的印刷电路板分类方法、装置及储存介质。

技术介绍

[0002]印刷电路板是由多个电子元器件和多个功能模块组成固定在矩形基板上，传统的印刷电路板的质量检测主要以人工抽查为主，在各工艺环节抽样，检测工艺是否符合要求。考虑到人眼容易疲劳，经常出现误检、漏检等情况，且部分贴片元件的印刷密度较高，经常出现压线或错印的情况，仅靠肉眼难以观察，一般要在显微镜上放大观察，降低了抽检效率。
[0003]随着机器学习的不断发展，具有强大特征提取能力的卷积神经网络被引入。诞生了像R
‑
CNN、Fast R
‑
CNN、Faster R
‑
CNN等一阶段检测网络，以及像SSD系列和YOLO系列等这样的一阶段检测模型，两者在检测精度和速度上都有很好的提升。目前网络在训练过程中对中间层的每一个feature map都是同等对待的，使得模型很难收敛，使得模型训练异常困难。这使得一些困难样本的缺陷难以识别，而且由于印刷电路板存在复杂的表面特征以及背景特征，以及一般瑕疵都比较小且细微的很难识别，因此，当图像的前景和背景区域严重不均匀、细微时，目前方法的模型很难收敛，使得模型训练异常困难，因此存在检测误差，精度不高的问题。

技术实现思路

[0004]本专利技术提出一种基于图像处理的电路板板材表面瑕疵检测及分类方法，克服了现有技术缺陷瑕疵检测中对小目标检测精确度不高的问题，本专利技术基于注意力机制和多尺度最大池化对图片进行训练， 注意力机制在这种情况下是非常有效的，它可以将有限的计算资源分配给难以检测的部件，并增强该部件的特性；多尺度最大池化模块将输入特征图池化为几种不同尺度，最后合成几个不同感受野的特征图，以克服单一感受野的模型不能很好地检测不同尺度的目标缺陷，导致精度较低的问题。
[0005]本专利技术的技术方案是这样实现的：一种基于图像处理的印刷电路板分类方法，包括以下步骤：S1，获取电路板板材表面图片；S2，对图片进行预处理；S3，将预处理后的图片输入至ResNet
‑
50网络模型中训练，所述ResNet
‑
50网络模型中第二至四层的残差模块中加入注意力机制模块，第五层采用多尺度最大池化模块；S4，利用RPN网络获取候选框，将得到的提议和特征映射输入到Roi
‑
Pooling模块中获取定长特征；S5，利用两个全连接层分别进行分类和回归操作，分类操作获取缺陷的类别信息，回归操作获取缺陷的位置信息；
S6，确定电路板板材的最终分类结果并显示。
[0006]优选地，步骤S2中所述预处理包括倾斜矫正、缩放、裁剪及标准化处理，所述倾斜矫正步骤具体包括：S2.1，以图像处理坐标中左上角原点（0,0），横坐标向右增加，纵坐标向下增加，待测产品的印刷电路板图像边缘轮廓处于坐标轴中；S2.2，确定左上和右下坐标：图像轮廓中设定距离原点最近的点为图像左上点，距离原点最远的点为图像右下点；S2.3，确定图像的倾斜方向：将图像轮廓中图像左下和右上分别定为点簇而非具体的某个点；假设图像的“右上”点簇中的所有点的纵坐标都等于左上点的纵坐标，则判定该图是“端正”；假设图像的“右上”点簇中的所有点的纵坐标都大于左上点的纵坐标，则判定该图是“向右倾斜”；否则，判定该图为“向左倾斜”；S2.4，确定右上和左下坐标：根据步骤S2.3判定图像为“端正”状态时，横坐标最小且纵坐标最大为左下点，横坐标最大且纵坐标最小为右上点；根据步骤S2.3判定图像为“向右倾斜”状态时，对“右上”点簇中的所有点按照横坐标降序排列，横坐标最大的点判定为右上点；对“左下”点簇中的所有点按照横坐标升序排列，横坐标最小的点判定为左下点；根据步骤S2.3判定图像为“向左倾斜”状态时，对“右上”点簇中的所有点按照纵坐标升序排列，纵坐标最小的点判定为右上点；对“左下”点簇中的所有点按照纵坐标降序排列，纵坐标最大的点判定为左下点；S2.5将步骤S2.4中准确确定四角的图像通过透视变换进行校正，并适配标准模块化图像大小和方向。
[0007]优选地，步骤S3中所述注意力机制模块是通过全局池化操作将输入的特征图转化为一维特征向量，即对每个通道上所有位置的值进行相加求均，每个值为特征图上每个通道的权重，通过对转换后的一维特征向量进行一维卷积来实现多通道交互；一维卷积运算前后的特征向量的维数一致，然后通过sigmoid激活函数得到通道注意力权重，最后用原始特征图乘以有注意力的特征图。
[0008]优选地，步骤S3中所述多尺度最大池化模块是将输入特征图池化为四种不同尺度：15
×
15、9
×
9、5
×
5和1
×
1原始特征图，再合成四个不同感受野的特征图。
[0009]优选地，为了保持池化特征图的大小不变，使用填充方法将边界填充为零。
[0010]优选地，步骤S4中所述利用RPN网络是将多尺度最大池化模块输出的特征图通过1
×
1卷积一次，调整通道数得到特征图，经过 3
×
3 卷积后特征图分别进行 9 通道 1
×
1 卷积和 36 通道 1
×
1 卷积。
[0011]优选地，在模型训练之前对锚进行编码， 9个通道的1
×
1卷积用于预测特征图上每个网格中是否存在缺陷目标，输出为检测目标的置信度，36个通道的1
×
1卷积用于预测特征图上每个网格上每个锚坐标的偏移量。
[0012]优选地，检测目标的置信度小于置信阈值时，再次执行训练步骤。
[0013]一种基于图像处理的印刷电路板分类的装置，所述装置包括：
视觉相机，用于获取待测印刷电路板的图像；存储器、处理器及存储在所述存储器上并可在所述处理器上运行的印刷电路板瑕疵检测分类程序，所述印刷电路板瑕疵检测分类程序被所述处理器执行时实现上述的方法的步骤。
[0014]显示面板，用于显示获取的图像以及处理器处理后的图像。
[0015]一种计算机存储介质，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现上述的方法。
[0016]本专利技术产生的有益效果为：（1）本专利技术使用Resnet50作为预训练网络，在此基础上引入注意力机制。现有各种手段网络在训练过程中对中间层的每一个feature map都是同等对待的，这使得一些困难样本的缺陷难以识别，而且，当图像的前景和背景区域严重不均匀时，模型很难收敛，使得模型训练异常困难。而注意力机制在这种情况下是非常有效的，它可以将有限的计算资源分配给难以检测的部件，并增强该部件的特性。同时，还能有效抑制背景信息对最终检测的干扰。因此，注意力机制可以增强Resnet50各阶段提取的特征图的特征，使网络集中于最终检测结果的有效区域，而忽略无效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像处理的印刷电路板分类方法，其特征在于，包括以下步骤：S1，获取电路板板材表面图片；S2，对图片进行预处理；S3，将预处理后的图片输入至ResNet
‑
50网络模型中训练，所述ResNet
‑
50网络模型中第二至四层的残差模块中加入注意力机制模块，第五层采用多尺度最大池化模块；S4，利用RPN网络获取候选框，将得到的提议和特征映射输入到Roi
‑
Pooling模块中获取定长特征；S5，利用两个全连接层分别进行分类和回归操作，分类操作获取缺陷的类别信息，回归操作获取缺陷的位置信息；S6，确定电路板板材的最终分类结果并显示。2.如权利要求1所述的基于图像处理的印刷电路板分类方法，其特征在于，步骤S2中所述预处理包括倾斜矫正、缩放、裁剪及标准化处理，所述倾斜矫正步骤具体包括：S2.1，以图像处理坐标中左上角原点（0,0），横坐标向右增加，纵坐标向下增加，待测产品的印刷电路板图像边缘轮廓处于坐标轴中；S2.2，确定左上和右下坐标：图像轮廓中设定距离原点最近的点为图像左上点，距离原点最远的点为图像右下点；S2.3，确定图像的倾斜方向：将图像轮廓中图像左下和右上分别定为点簇而非具体的某个点；假设图像的“右上”点簇中的所有点的纵坐标都等于左上点的纵坐标，则判定该图是“端正”；假设图像的“右上”点簇中的所有点的纵坐标都大于左上点的纵坐标，则判定该图是“向右倾斜”；否则，判定该图为“向左倾斜”；S2.4，确定右上和左下坐标：根据步骤S2.3判定图像为“端正”状态时，横坐标最小且纵坐标最大为左下点，横坐标最大且纵坐标最小为右上点；根据步骤S2.3判定图像为“向右倾斜”状态时，对“右上”点簇中的所有点按照横坐标降序排列，横坐标最大的点判定为右上点；对“左下”点簇中的所有点按照横坐标升序排列，横坐标最小的点判定为左下点；根据步骤S2.3判定图像为“向左倾斜”状态时，对“右上”点簇中的所有点按照纵坐标升序排列，纵坐标最小的点判定为右上点；对“左下”点簇中的所有点按照纵坐标降序排列，纵坐标最大的点判定为左下点；S2.5将步骤S2.4中准确确定四角的图像通过透视变换进行校正，并适配标准模块化图像大小和方向。3.如权利要求1所述的基于图像处理的印刷电路板分类方法，其特征在于，步骤S3中所述注意力机制模块是通过全局池化操作将输入的特征图转化为一...

【专利技术属性】
技术研发人员：王小平，曹万，熊波，梁世豪，
申请(专利权)人：武汉飞恩微电子有限公司，
类型：发明
国别省市：