一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法技术

本发明专利技术涉及数据处理与识别技术领域，具体涉及一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，该方法利用简单电子设备识别PCB板缺陷，提高了神经网络的识别能力，包括：对含缺陷的所有PCB图像人工标注所有缺陷的包围框和缺陷类型；获得PCB上每个缺陷的关注热度图；根据所有缺陷关注热度图得到综合关注热度图；利用综合关注热度图构建第一损失函数，结合PCB图像训练自编码网络，得到对应缺陷特征图；将PCB图像输入待训练的缺陷定位识别神经网络，获得指定卷积层输出的目标特征图，结合缺陷特征图构建第二损失函数，并进行神经网络的训练；利用缺陷电子识别装置运行缺陷定位识别神经网络，根据识别结果自动控制分拣过程，分拣存在缺陷的PCB板。分拣存在缺陷的PCB板。分拣存在缺陷的PCB板。

【技术实现步骤摘要】
一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法


[0001]本专利技术涉及数据处理与识别
，具体涉及一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法。

技术介绍

[0002]PCB在生产制造过程中会出现各种各样的缺陷，如短路、凸铜、开路等缺陷。为了实现对多种类型缺陷的检测。现有的技术往往是通过训练神经网络来进行多种类型的缺陷检测。但是由于PCB板上存在多种类型的电子元器件，即输入神经网络的图像上包含复杂的纹理，且缺陷区域较小，使得神经网络不能准确快速的获得缺陷。此外，由于PCB上缺陷种类较多，数据集难以全部标注，因此难以获得大规模的完备数据集，导致网络的准确率低；而现有的准确率较高的神经网络参数较多，使得神经网络运行速度慢，导致识别缺陷的电子设备难以简化。
[0003]因此本专利技术提供了一种准确率高且参数量少的神经网络，该神经网络能够运行在简单的电子识别设备来上来实现PCB板上的缺陷识别和定位，从而实现存在缺陷的PCB板的自动分拣。

技术实现思路

[0004]本专利技术提供一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，该方法用于缺陷识别，利用简单电子设备识别PCB板缺陷，提高神经网络的识别能力，包括：本专利技术涉及人工智能领域，具体涉及一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，该方法用于缺陷识别，利用简单电子设备识别PCB板缺陷，提高了神经网络的识别能力，包括：对含缺陷的所有PCB图像人工标注所有缺陷的包围框和缺陷类型；获得PCB图像上每个缺陷的关注热度图；根据所有缺陷关注热度图得到综合关注热度图；利用综合关注热度图构建第一损失函数，结合PCB图像训练自编码网络，得到对应缺陷特征图；将PCB图像输入待训练的缺陷定位识别神经网络，获得指定卷积层输出的目标特征图，结合缺陷特征图构建第二损失函数，并进行神经网络的训练；利用缺陷电子识别装置运行缺陷定位识别神经网络，根据检测结果自动分拣存在缺陷的PCB板。本专利技术提高了神经网络缺陷检测的准确度，并且能够使神经网络在少量数据集中学习有效特征，并根据神经网络的检测结果实现缺陷PCB板的自动分拣。
[0005]为达到上述目的，本专利技术采用以下技术方案，一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，包括：对含有缺陷的所有PCB图像进行灰度化处理，并进行人工标注，标注出每个PCB图像上所有缺陷的包围框和缺陷类型；对于每个PCB图像上每个缺陷的包围框，根据所述包围框内的所有像素和所述PCB图像上不同区域内的所有像素获得每个PCB图像上每个缺陷的关注热度图；对每个PCB图像上所有缺陷的关注热度图求均值获得每个PCB图像的综合关注热
度图；利用每个PCB图像的综合关注热度图构建第一损失函数，利用所述第一损失函数以及所述PCB图像训练一个自编码网络，得到每个PCB图像的缺陷特征图；构建一个待训练缺陷定位识别神经网络，将每个PCB图像输入所述缺陷定位识别神经网络，并获得所述缺陷定位识别神经网络指定卷积层输出的每个PCB图像对应的目标特征图，然后利用每个PCB图像对应的目标特征图和每个PCB图像的缺陷特征图构建第二损失函数，最后以所有PCB图像为数据集，利用第二损失函数训练所述的待训练缺陷定位识别神经网络；将训练完成的缺陷定位识别神经网络运行在缺陷电子识别装置上，缺陷电子识别装置采集实际生产环境中的待检测PCB图像，将待检测PCB图像输入训练完成的缺陷定位识别网络中，并输出检测结果，根据检测结果自动分拣出存在缺陷的PCB板。
[0006]进一步的，所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特征在于，所述每个PCB图像上每个缺陷的关注热度图是按照如下方式得到：对于每个PCB图像上的每个缺陷，获取所述缺陷的包围框，获取所述包围框内的所有像素构成的第一子图像；以所述PCB图像上每个像素点为中心，获取与所述包围框大小相等的窗口区域，将所述窗口区域内所有像素构成子图像称为每个像素的第二子图像，计算所述第一子图像与每个像素的第二子图像的相似度，同理，将所述第一子图像与所有像素的第二子图像之间的相似度作为对应像素的灰度值，构建成一张单通道灰度图像，然后将所述的单通道灰度图像进行归一化处理，获得所述PCB图像上的所述缺陷的关注热度图。
[0007]进一步的，所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特征在于，所述第一子图像与每个像素的第二子图像的相似度是按照如下方式获取的：利用KM匹配算法将第一子图像与第二子图像中的像素进行一一匹配，获得所有匹配的像素对，使得所有像素对中像素之间的灰度值差异最小；将每组像素对中像素之间的灰度差值的绝对值称为每个像素对的相似指标，计算所有像素对的相似指标的均值，将所述均值的倒数称为第一子图像与每个像素的第二子图像的相似度。
[0008]进一步的，所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特征在于，所述第一损失函数是按照如下方式获取的：获取综合关注热度图中每个像素点的灰度值；构建第一损失函数：其中为所述PCB图像中像素点的个数，为自编码网络输入的PCB图像中第个像素点的灰度值；为自编码网络输出图像中第个像素点的灰度值；为均方差损失函数；为所述PCB图像的综合关注热度图中第个像素点的灰度值。
[0009]进一步的，所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特
征在于，所述待训练缺陷定位识别神经网络的网络结构与YOLOv3神经网络的网络结构一样，但是设置待训练缺陷定位识别神经网络的网络层数为YOLOv3网络层数的一半。
[0010]进一步的，所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特征在于，所述第二损失函数是按照如下方式获得的：其中为所述缺陷定位识别神经网络指定卷积层输出的所述PCB图像对应的目标特征图；为所述PCB图像的缺陷特征图；为目标特征图与缺陷特征图之间差值的L2范数；为YOLOv3神经网络的损失函数。
[0011]进一步的，所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特征在于，所述缺陷电子识别装置包含但不限于：一个RGB相机、一个光源、一个嵌入式系统；所述的嵌入式系统能够读取RGB相机采集的图像数据，且嵌入式系统可运行缺陷定位识别神经网络。
[0012]本专利技术的有益效果在于：本专利技术结合神经网络，利用电子设备采集图像，通过对不同类型的缺陷对PCB图像的不同区域的关注程度进行分析，使得神经网络在训练过程中可以尽可能多的学习缺陷特征以及正常区域特征，减少对无用特征的学习，从而实现了神经网络能够在少量的数据集上学习到有效特征，提高了神经网络的识别能力，使得神经网络能够运行在简单的电子识别设备来上来实现PCB板上的缺陷识别和定位，并实现存在缺陷的PCB板的自动分拣。
附图说明
[0013]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特征在于，包括：对含有缺陷的所有PCB图像进行灰度化处理，并进行人工标注，标注出每个PCB图像上所有缺陷的包围框和缺陷类型；对于每个PCB图像上每个缺陷的包围框，根据所述包围框内的所有像素和所述PCB图像上不同区域内的所有像素获得每个PCB图像上每个缺陷的关注热度图；对每个PCB图像上所有缺陷的关注热度图求均值获得每个PCB图像的综合关注热度图；利用每个PCB图像的综合关注热度图构建第一损失函数，利用所述第一损失函数以及所述PCB图像训练一个自编码网络，得到每个PCB图像的缺陷特征图；构建一个待训练缺陷定位识别神经网络，将每个PCB图像输入所述缺陷定位识别神经网络，并获得所述缺陷定位识别神经网络指定卷积层输出的每个PCB图像对应的目标特征图，然后利用每个PCB图像对应的目标特征图和每个PCB图像的缺陷特征图构建第二损失函数，最后以所有PCB图像为数据集，利用第二损失函数训练所述的待训练缺陷定位识别神经网络；将训练完成的缺陷定位识别神经网络运行在缺陷电子识别装置上，缺陷电子识别装置采集实际生产环境中的待检测PCB图像，将待检测PCB图像输入训练完成的缺陷定位识别网络中，并输出检测结果，根据检测结果自动分拣出存在缺陷的PCB板。2.根据权利要求1所述的一种应用于PCB板自动分拣过程中的PCB板缺陷识别方法，其特征在于，所述每个PCB图像上每个缺陷的关注热度图是按照如下方式得到：对于每个PCB图像上的每个缺陷，获取所述缺陷的包围框，获取所述包围框内的所有像素构成的第一子图像；以所述PCB图像上每个像素点为中心，获取与所述包围框大小相等的窗口区域，将所述窗口区域内所有像素构成子图像称为每个像素的第二子图像，计算所述第一子图像与每个像素的第二子图像的相似度，同理，将所述第一子图像与所有像素的第二子图像之间的相似度作为对应像素的灰度值，构建成一张单通道灰度图像，然后将所述的单通道灰度图像进行归一化处理，获得所述PC...

【专利技术属性】
技术研发人员：张小灵，
申请(专利权)人：南通透灵信息科技有限公司，
类型：发明
国别省市：