PCB焊接缺陷检测方法、装置及存储介质制造方法及图纸

本申请公开了一种PCB焊接缺陷检测方法、装置及存储介质，涉及自动检测技术领域。该PCB焊接缺陷检测方法包括：获取检测点图像；将检测点图像输入像素分类器，得到检测点图像对应的像素级分割结果；像素级分割结果用于指示检测点图像中焊盘和填充异常区域的边界、引脚的所在区域；像素级分类器在构建过程中引入了先验知识；根据检测点图像对应的像素级分割结果和缺陷检测图片分类器，得到检测点的缺陷判别信息，缺陷判别信息包括产品识别结果；解决了目前自动化检测PCB时，焊锡填充异常缺陷和引脚不过板缺陷容易出现误报的问题；达到了提高缺陷检测准确度的效果。缺陷检测准确度的效果。缺陷检测准确度的效果。

【技术实现步骤摘要】
PCB焊接缺陷检测方法、装置及存储介质


[0001]本申请涉及自动检测
，具体涉及一种PCB焊接缺陷检测方法、装置及存储介质。

技术介绍

[0002]随着科学技术和经济的不断发展，人们对电子产品的需求也越来越大，PCB(printed circuit board，印刷电路板)产品的应用也越来越广泛。
[0003]PCB产品的加工工序中通常涉及到贴片元件的回流焊接工艺和分立插件元件的选择性波峰焊接工艺。在焊接后，为保证PCB产品质量，需要对焊接后的PCB产品进行检测。目前，AOI(Automated Optical Inspection，自动光学检测)取代了大部分的人工检测。产线上通常会用到线边的AOI设备来检测可能的焊接缺陷，比如：翘脚、缺件、桥接、贴反等。传统的AOI设备供应商，比如会用到传统的机器视觉检测技术，大量使用手工特征作为检测依据。
[0004]在选择焊的缺陷自动化检测中，有两种焊接缺陷较难被机器理解，一种是焊锡填充异常(solder skips)，另一种是引脚不过板(pin not over component)，即机器在检测这两种缺陷时的关注区域不稳定，针对这两种缺陷，机器检测结果容易出现误报。

技术实现思路

[0005]为了解决相关技术中的问题，本申请提供了一种PCB焊接缺陷检测方法、装置及存储介质。该技术方案如下：
[0006]第一方面，本申请实施例提供了一种PCB焊接缺陷检测方法，该方法包括：
[0007]获取检测点图像；
[0008]将检测点图像输入像素分类器，得到检测点图像对应的像素级分割结果；像素级分割结果用于指示检测点图像中引脚、焊盘和填充异常区域的边界、背景的所在区域；像素分类器在构建过程中引入了先验知识；
[0009]根据检测点图像对应的像素级分割结果和缺陷检测图片分类器，得到检测点的缺陷判别信息，缺陷判别信息包括产品识别结果。
[0010]通过获取检测点图像，将检测点图像输入像素分类器，得到检测点图像对应的像素级分割结果，根据检测点图像对应的像素级分割结果和缺陷检测图片分类器得到检测点的缺陷判别信息；像素分类器在构建过程中引入了先验知识，规整了检测过程中对检测点图像的关注区域，解决了目前自动化检测PCB时，焊锡填充异常缺陷和引脚不过板缺陷容易出现误报的问题；达到了提高缺陷检测准确度的效果。
[0011]可选的，将检测点图像输入像素分类器之前，该方法还包括：
[0012]获取样本检测点图像；
[0013]对样本检测点图像进行人工标注，得到样本检测点图像对应的标注样张；
[0014]根据样本检测点图像对应的标注样张生成样本检测点图像对应的像素级分割结
果；
[0015]构建语义分割网络模型；
[0016]基于样本检测点图像和样本检测点图像对应的像素级分割结果，训练语义分割网络模型，得到像素分类器。
[0017]可选的，当样本检测点图像对应的检测点的缺陷类型为焊锡填充异常时，标注样张包括标注引脚的样张、标注焊盘的样张、标注填充异常区域的样张；
[0018]当样本检测点图像对应的检测点的缺陷类型为引脚不过板时，标注样张包括标注引脚的样张。
[0019]可选的，语义分割网络模型包括编码模块、embedding模块、解码模块，编码模块的输入为检测点图像，编码模块具有n个编码输出，每个编码输出与解码模块之间设置有一个embedding模块；n为正整数，2
n
不大于所述检测点图像的尺寸大小；
[0020]在解码模块中，n个编码输出分别进行上卷积处理；第i个编码输出进行i次上卷积，i＝1,2,...,n；
[0021]解码模块的输出为像素级分割结果；
[0022]其中，每个embedding模块包括2个级联的embedding block，每个embedding block依次包括一层pixel卷积层、一层batch normalization层、一层非线性激活层。
[0023]可选的，编码模块对检测点图像进行的处理包括Max Pooling处理、Conv处理、Bottleneck处理。
[0024]可选的，解码模块进行的处理依次为上卷积处理、Conv处理、Softmax处理、Argmax处理。
[0025]可选的，解码模块进行的处理依次为上卷积处理、Conv处理、Softmax处理。
[0026]可选的，根据检测点图形对应的像素级分割结果和缺陷检测图片分类器得到检测点的缺陷判别结果，包括：
[0027]根据检测点图像对应的像素级分割结果提取手工特征，手工特征至少包括孔径大小、成像算法类别、预测引脚区域的像素个数、预测引脚区域凸包区域的外周长、预测引脚区域的圆度、预测焊盘和填充异常区域边界部分的像素数目、预测焊盘和填充异常区域部分的发散角、图片像素灰度分布的偏度、图片的前景比率、引脚法向扩展特征；
[0028]将手工特征输入缺陷检测图片分类器，得到检测点的缺陷判别信息；
[0029]其中，引脚法向扩展特征为在像素级分割结果中，对引脚沿外轮廓法向拓展K个像素后，得到的扩展区域中的灰度中值与引脚区域最大灰度值之差。
[0030]可选的，将手工特征输入缺陷检测图片分类器，得到检测点的缺陷判别信息之前，该方法还包括：
[0031]根据样本检测点图像对应的像素级分割结果和样本检测点图像的元信息提取样本手工特征；
[0032]根据样本手工特征和人工经验设计缺陷检测图片分类器。
[0033]可选的，将手工特征输入缺陷检测图片分类器，得到检测点的缺陷判别信息之前，该方法还包括：
[0034]根据样本检测点图像对应的像素级分割结果和样本检测点图像的元信息提取样本手工特征；
[0035]构建缺陷检测分类模型；
[0036]基于样本手工特征和样本检测点的产品识别结果训练缺陷检测分类模型，得到缺陷检测图片分类器。
[0037]可选的，根据检测点图像对应的像素级分割结果和缺陷检测图片分类器得到检测点的缺陷判别信息之前，该方法还包括：
[0038]获取样本检测点图像和样本检测点图像对应的像素级分割结果；
[0039]构建缺陷检测分类模型；
[0040]基于样本检测点图像对应的像素级分割结果和样本检测点的产品识别结果训练缺陷检测分类模型，得到缺陷检测图片分类器。
[0041]第二方面，本申请实施例提供了一种PCB焊接缺陷检测装置，该装置包括：
[0042]图像获取模块，用于获取检测点图像；
[0043]分割模块，用于将检测点图像输入像素分类器，得到检测点图像对应的像素级分割结果；像素级分割结果用于指示检测点图像中焊盘和填充异常区域的边界、引脚的所在区域；像素分类器在构建过程中引入了先验知识；
[0044]判别模块，用于根据检测点图像对应的像素级分割结果和缺陷检测图片分类器，得到检测点的缺陷判本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种PCB焊接缺陷检测方法，其特征在于，所述方法包括：获取检测点图像；将所述检测点图像输入像素分类器，得到所述检测点图像对应的像素级分割结果；像素级分割结果用于指示检测点图像中焊盘和填充异常区域的边界、引脚的所在区域；所述像素分类器在构建过程中引入了先验知识；根据所述检测点图像对应的像素级分割结果和缺陷检测图片分类器，得到检测点的缺陷判别信息，所述缺陷判别信息包括产品识别结果。2.根据权利要求1所述的方法，其特征在于，所述将所述检测点图像输入像素分类器之前，所述方法还包括：获取样本检测点图像；对所述样本检测点图像进行人工标注，得到所述样本检测点图像对应的标注样张；根据所述样本检测点图像对应的标注样张生成所述样本检测点图像对应的像素级分割结果；构建语义分割网络模型；基于所述样本检测点图像和所述样本检测点图像对应的像素级分割结果，训练所述语义分割网络模型，得到所述像素分类器。3.根据权利要求2所述的方法，其特征在于，当所述样本检测点图像对应的检测点的缺陷类型为焊锡填充异常时，所述标注样张包括标注引脚的样张、标注焊盘的样张、标注填充异常区域的样张；当所述样本检测点图像对应的检测点的缺陷类型为引脚不过板时，所述标注样张包括标注引脚的样张。4.根据权利要求2所述的方法，其特征在于，所述语义分割网络模型包括编码模块、embedding模块、解码模块；所述编码模块的输入为检测点图像，所述编码模块具有n个编码输出，每个编码输出与所述解码模块之间设置有一个embedding模块；n为正整数，2
n
不大于所述检测点图像的尺寸大小；在所述解码模块中，所述n个编码输出分别进行上卷积处理；第i个编码输出进行i次上卷积，i＝1,2,...,n；所述解码模块的输出为像素级分割结果；其中，每个embedding模块包括2个级联的embedding block，每个embedding block依次包括一层pixel卷积层、一层batch normalization层、一层非线性激活层。5.根据权利要求4所述的方法，其特征在于，所述编码模块对所述检测点图像进行的处理包括Max Pooling处理、Conv处理、Bottleneck处理。6.根据权利要求4或5所述的方法，其特征在于，所述解码模块进行的处理依次为上卷积处理、Conv处理、Softmax处理、Argmax处理。7.根据权利要求4或5所述的方法，其特征在于，所述解码模块进行的处理依次为上卷积处理、Conv处理、Softmax处理。8.根据权利要求1至7任一所述的方法，其特征在于，所述根据所述检测点图形对应的像素级分割结果和缺陷检测图片分类器，得到检测点的缺陷判别结果，包括：
根据所述检测点图像对应的像素级分割结果和所述检测点图像的元信息，提取手工特征，所述手工特征至少包括孔径大小、成像算法类别、预测引脚区域的像素个数、预测引脚区域凸包区域的外周长、预测引脚区域的圆度、预测焊盘和填充异常区域边界部分的像素数目、预测焊盘和填充异常区域部分的发散角、图片像素灰度分布的偏度、图片的前景比率、引脚法向扩展特征；将所述手工特征输入所述缺陷检测图片分类器，得到所述检测点的缺陷判别信息；其中，所述引脚法向扩展特征为在所述像素级分割结果中，对引脚沿外轮廓法向拓展K个像素后，得到的扩展区域中的灰度中值与引脚区域最大灰度值之差。9.根据权利要求8所述的方法，其特征在于，所述将所述手工特征输入所述缺陷检测图片分类器，得到所述检测点的缺陷判别信息之前，所述方法还包括：根据样本检测点图像对应的像素级分割结果和所述样本检测点图像的元信息提取样本手工特征；根据所述样本手工特征和人工经验设计所述缺陷检测图片分类器。10.根据权利要求8所述的方法，其特征在于，所述将所述手工特征输入所述缺陷检测图片分类器，得到所述检测点的缺陷判别信息之前，所述方法还包括：根据样本检测点图像对应的像素级分割结果和所述样本检测点图像的元信息提取样本手工特征；构建缺陷检测分类模型；基于所述样本手工特征和样本检测点的产品识别结果训练所述缺陷检测分类模型，得到所述缺陷检测图片分类器。11.根据权利要求1至7任一所述的方法，其特征在于，所述根据所述检测点图像对应的像素级分割结果和缺陷检测图片分类器，得到检测点的缺陷判别信息之前，所述方法还包括：获取样本检测点图像和所述样本检测点图像对应的像素级分割结果；构建缺陷检测分类模型；基于样本检测点图像对应的像素级分割结果和样本检测点的产品识别结果训练所述缺陷检测分类模型，得到所述缺陷检测图片分类器。12.一种PCB焊接缺陷检测装置，其特征在于，所述装置包括：图像获取模块，用于获取检...

【专利技术属性】
技术研发人员：陆唯佳，刘鹏，李兵洋，刘创，沈崴，葛欢，金昱，张洁，王琦，曹雨，
申请(专利权)人：联合汽车电子有限公司，
类型：发明
国别省市：