一种基于多维信息融合的PCBA缺陷检测方法技术

本发明专利技术公开了一种基于多维信息融合的PCBA缺陷检测方法，包括以下步骤：步骤1：获取PCBA可见光图像和深度图像，形成数据集；步骤2：构建多维融合学习的轻量级缺陷检测网络模型，模型以Yolov5m为基础框架，可见光特征提取模块、深度特征提取模块、多维融合模块、Neck模块和Head模块；步骤3：采用数据集对多维融合学习的轻量级缺陷检测网络模型进行训练，得到训练后的模型；将所需检测的信息输入训练后的模型即可得到缺陷的位置、类别和置信度信息；本发明专利技术在可见光图像的基础上结合深度图像，引入元件高度信息，提高了在3D空间信息相关缺陷的检测精度；模型尺寸相对轻量化，在保证运行速度的同时检测精度更高。

【技术实现步骤摘要】

本专利技术涉及图像处理，具体涉及一种基于多维信息融合的pcba缺陷检测方法。

技术介绍

1、pcba(printed circuit board+assembly)为已经安装好电子元件的pcb，在生产过程中，pcba会产生诸如尺寸不良、元件偏移、元件缺失等与元器件相关的缺陷。随着工业化加速推进，对pcba生产效率和质量保证的需求与日俱增，传统的人工目测缺陷方法不适用于大规模工业生产的pcba缺陷检测。

2、而现有的基于深度学习的表面缺陷检测方法对缺陷样本量和上位机性能都有很高的要求，而pcba一般缺少足够的缺陷样本。如对可见光图像使用基于神经网络架构的传统机器学习或深度学习方法，从大量缺陷数据集中训练以学习缺陷特征，分阶段或者直接获得缺陷的位置和类别，对于缺陷类型多样且难以明确定义或产品外观可能存在显着差异的任务特别有效。但是这种方法无法准确识别在三维空间发生的某些类型缺陷，比如翘起的引脚或元件；没有结合pcba的设计文件如gerber文件进行检测，导致一些缺陷的误检。

3、如对可见光图像2d数据使用模式匹配方法与储存的参考图像进行本文档来自技高网...

【技术保护点】

1.一种基于多维信息融合的PCBA缺陷检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于多维信息融合的PCBA缺陷检测方法，其特征在于，所述步骤2中可见光特征提取模块包括CBS模块和四个α模块，分别为α1、α2、α3和α4；其中CBS模块包括卷积层、归一化层和激活函数；α模块包括CBS模块和C3模块。

3.根据权利要求2所述的一种基于多维信息融合的PCBA缺陷检测方法，其特征在于，所述深度特征提取模块包括CBS模块和四个β模块，分别为β1、β2、β3和β4；其中CBS模块包括卷积层、归一化层和激活函数；β模块包括CBS模块和C3模块。

<...

【技术特征摘要】

1.一种基于多维信息融合的pcba缺陷检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于多维信息融合的pcba缺陷检测方法，其特征在于，所述步骤2中可见光特征提取模块包括cbs模块和四个α模块，分别为α1、α2、α3和α4；其中cbs模块包括卷积层、归一化层和激活函数；α模块包括cbs模块和c3模块。

3.根据权利要求2所述的一种基于多维信息融合的pcba缺陷检测方法，其特征在于，所述深度特征提取模块包括cbs模块和四个β模块，分别为β1、β2、β3和β4；其中cbs模块包括卷积层、归一化层和激活函数；β模块包括cbs模块和c3模块。

4.根据权利要求3所述的一种基于多维信息融合的pcba缺陷检测方法，其特征在于，所述多维融合模块包括依次设置的三个tb模块和两个cbs模块；三个tb模块分别为tb-1、tb-2、tb-3；tb-1对经α2和β2处理得到的特征矩阵进行融合得到m1，然后经cbs模块后，输入tb-2模块；tb-2模块对tb-1融合信息和经α3和β3处理得到的特征矩阵进行融合得到m2，然后经cbs模块后输入tb-3模块；tb-3模块对tb-2融合信息和经α4和β4处理得到的特征矩阵进行融合得到m3，然后m1、m2和m3输入neck模块进行处理。...

【专利技术属性】
技术研发人员：申俊飞，陈泽方，张启灿，吴周杰，荆海龙，刘国栋，
申请(专利权)人：四川大学，
类型：发明
国别省市：