一种高效快速的双目3D点云焊点缺陷检测方法技术

本发明专利技术涉及一种高效快速的双目3D点云焊点缺陷检测方法，所述检测方法包括：建立双目视觉系统来高效快速地采集焊点的视图1和视图2的点云，相较于单目视觉系统采集的3D点云焊点更加完整；设计3D模板匹配方法对双目3D点云焊点定位，所述匹配方法包括：基于语义分割方法获取印刷电路板的视图1和视图2的点云、基于齐次坐标变换对齐视图1和视图2的点云、基于快速点特征直方图方法配准对齐后的点云和标准模板；构建基于细粒度方法的3D点云焊点缺陷检测技术，该技术通过全局特征预测焊点关键区域，并提取关键区域的特征进行缺陷分类，实现了高效快速的焊点缺陷分类，对工业中印刷电路板的质量检测具有重要意义。板的质量检测具有重要意义。板的质量检测具有重要意义。

【技术实现步骤摘要】
一种高效快速的双目3D点云焊点缺陷检测方法


[0001]本专利技术属电路板焊点缺陷检测
，涉及一种高效快速的双目3D点云焊点缺陷检测方法。

技术介绍

[0002]随着科技的迅速发展，印刷电路板广泛的应用于各行各业。在印刷电路板的生产制造过程中，焊点的焊接质量检测是其中的关键环节。传统的焊点缺陷检测主要依赖人工检测，即操作员通过事先指定的标准结合经验判断印刷电路板的焊接是否合格。人工检测涉及主观评价，并且重复性劳动导致人工检测效率低、成本高。因此自动检测技术被应用在焊点的缺陷检测中，现存的自动检测技术主要是基于图像进行缺陷分类。图像质量的好坏直接关系缺陷检测的结果，因此基于图像的方法通常对检测环境的光源要求较高。
[0003]最近，由于低成本的扫描仪和高速计算设备的出现，点云在许多领域得到了广泛的应用。相比较于图像，点云提供了丰富的几何、形状和空间信息来表征3D物体，并且点云的获取对光源不敏感。印刷电路板的缺陷检测实际上是3D结构的焊点的形状检测，3D点云对焊点形状的表征是优于2D图像对其的表征。并且随着深度学习在点云上取得突破性的发展，深度神经网络可以高效快速的处理点云数据，这为实际生产应用提供了基础。
[0004]现存焊点缺陷的自动检测方法主要是基于图像数据，通过多色光采集图像，并使用机器学习、深度学习等方法进行特征提取并分类。主要可分为如下三种方法：1)基于图像处理的方法，设计不同的图像提取算子提取特征，并根据提取的特征设计对应分类器。2)基于机器学习的方法处理图像并提取特征，并使用特征训练分类器。3)基于数据驱动的深度学习方法同时提取特征并分类。因为这些基于图像的技术在采集图像时对光照敏感，因此这些技术通常对光照不具有鲁棒性。本专利技术使用激光雷达采集数据，可以避免光照对检测结果的影响。

技术实现思路

[0005]本专利技术要解决的技术问题，基于3D点云对3D物体的有效表征，提出一种高效快速的双目3D点云焊点缺陷检测方法。本专利技术采用不同于现存的技术在于设计了双目视觉系统快速采集焊点点云，并构建了基于细粒度的方法检测3D焊点点云缺陷。
[0006]为了达到上述目的，本专利技术的方案如下：
[0007]一种高效快速的双目3D点云焊点缺陷检测方法，步骤如下：
[0008](1)构建双目视觉系统采集待测样本的3D点云；
[0009]所述待测样本为塑料材质封装的印刷电路板；
[0010]所述双目视觉系统是指：两个三角测距激光雷达位于所述待测样本的正上方，且二者形成的直线与所述待测样本的印刷电路板部分所在的平面平行(两者之间的距离为所述激光雷达对应的使用说明书中的正常工作时的扫描高度)；两个三角测距激光雷达以镜像对称的方式放置同时二者之间无间隙；每个三角测距激光雷达在沿着所述直线的方向运
动时，所述三角测距激光雷达的发射器发射的激光垂直扫描过焊点，然后由焊点反射激光至对应三角测距激光雷达的接收器；(该测试原理图如图2所示)
[0011]所述采集的过程为：使用逻辑控制器(即PLC)控制两个三角测距激光雷达的开始扫描信号，并同时控制两个三角测距激光雷达在所述直线上匀速运动，沿一个方向一次性采集待测样本的3D点云，再通过以太网传输两个三角测距激光雷达采集的数据到上位机中；
[0012]所述匀速运动过程中，两个三角测距激光雷达的相对位置保持不变；
[0013]所述待测样本的3D点云由视图1形成的3D点云和视图2形成的3D点云组成；视图1形成的3D点云由一个三角测距激光雷达采集得到，视图2形成的3D点云由另一个三角测距激光雷达采集得到；
[0014]本专利技术中采用的三角测距激光雷达存在发射器和接收器，通常情况下，发射器发射激光照射到物体，物体表面以一定角度反射激光，接收器接收激光。如果反射的激光被物体本身遮挡，如图3中的C所示，则采集的该部分点云会缺失。针对焊点问题，因为其形状多变导致焊点顶部易缺失，并且缺失严重影响检测结果。因此，本专利技术将三角测距激光雷达设计为所述双目视觉系统，可以克服因三角测距激光雷达自身存在的采集数据不完全的缺陷。
[0015](2)采用3D模板匹配方法定位焊点位置：先采用语义分割方法对视图1形成的3D点云和视图2形成的3D点云进行分割，得到视图1中印刷电路板部分的3D点云，记为Y1，视图2中印刷电路板部分的3D点云，记为Y2；再采用齐次坐标变换将Y2与Y1对齐，得到与Y1对齐的视图2的印刷电路板部分的3D点云，记为最后使用快速点特征直方图将Y1或者与标准模板配准获取每个焊点的位置信息；因为Y1与对齐，两者焊点位置信息相同，因此可通过上述焊点的位置信息获取Y1和中属于各个焊点的点云，分别记为记为Z1和Z2；
[0016](3)基于细粒度方法逐个检测步骤(2)中Z1和Z2中对应焊点是否为合格焊点；
[0017]所述焊点的3D点云包括X1和X2；其中，X1为该焊点在Z1中的3D点云，X2为该焊点在Z2中的3D点云；
[0018]所述检测的过程为：
[0019](3.1)先使用深度神经网络分别对该焊点的X1和X2进行点云到点特征的变换得到X1和X2的点特征，再使用对称函数保持输入的置换不变性对X1和X2点特征进行处理，得到X1和X2的全局特征；所述X1和X2的全局特征，表示如下：
[0020]f(X1)≈g(m(X1))；
[0021]f(X2)≈g(m(X2))；
[0022]其中，f(X1)和f(X2)分别为X1和X2的全局特征，g(
·
)为对称函数，m(
·
)为点云到点特征的变换。“≈”的意思表示是：X的全局特征可以近似通过右边的式子得到，在模型训练结束后，就是完全相等的。
[0023]对称函数对共享的多层感知机I的输出进行处理，得到X1和X2的全局特征(X1和X2的全局特征表征焊点的全局特征)。
[0024](3.2)通过f(X1)和f(X2)确定该焊点的关键区域，并得到所述关键区域内X1和X2的点特征和所述关键区域是对该焊点的顶部对应的球形区域采用指数函数进
行切割得到；
[0025]对于每个焊点而言，操作人员通常通过判断焊点顶部形状作为评判焊点质量(即焊点是否合格)的依据，而步骤(3.1)中获取的是焊点的全局特征，包含了焊点上所有点的位置信息，因此，本专利技术通过以下过程获取焊点关键区域(即焊点顶部区域)的细节特征作为分类器的输入提升分类效果。总体看，是使用全局特征估计焊点的关键区域，并使用指数函数从焊点的3D点云切割关键区域，确保关键区域可以在反向传播中被优化。特别地，此处通过掩码获取关键区域内的点特征来间接达到切割关键区域的目的。
[0026](3.3)使用步骤(3.2)所得关键区域内X1和X2的点特征和作为分类器多层感知机的输入，预测该焊点属于合格焊点的概率，其数学表达式如下：
[0027][0028]其中，p(
·
)指该焊点属于合格焊点的概率，cls(
·
...

【技术保护点】

【技术特征摘要】
1.一种高效快速的双目3D点云焊点缺陷检测方法，其特征是步骤如下：(1)构建双目视觉系统，采集待测样本的3D点云；所述待测样本为塑料材质封装的印刷电路板；所述双目视觉系统是指：两个三角测距激光雷达位于所述待测样本的正上方，且二者形成的直线与所述待测样本的印刷电路板部分所在的平面平行；两个三角测距激光雷达以镜像对称的方式放置；每个三角测距激光雷达在沿着所述直线的方向运动时，所述三角测距激光雷达的发射器发射的激光垂直扫描过焊点，然后由焊点反射激光至对应三角测距激光雷达的接收器；所述采集的过程为：使用逻辑控制器控制两个三角测距激光雷达的开始扫描信号，并同时控制两个三角测距激光雷达在所述直线上匀速运动，沿一个方向一次性采集待测样本的3D点云；所述匀速运动过程中，两个三角测距激光雷达的相对位置保持不变；所述待测样本的3D点云由视图1形成的3D点云和视图2形成的3D点云组成；(2)采用3D模板匹配方法定位焊点位置：先采用语义分割方法对视图1形成的3D点云和视图2形成的3D点云进行分割，得到视图1中印刷电路板部分的3D点云，记为Y1，视图2中印刷电路板部分的3D点云，记为Y2；再采用齐次坐标变换将Y2与Y1对齐，得到与Y1对齐的视图2的印刷电路板部分的3D点云，记为最后使用快速点特征直方图将Y1或者与标准模板配准获取每个焊点的位置信息；通过所述焊点的位置信息获取Y1和中属于各个焊点的点云，分别记为记为Z1和Z2；(3)基于细粒度方法逐个检测步骤(2)中Z1和Z2中对应焊点是否为合格焊点；所述焊点的3D点云包括X1和X2；其中，X1为该焊点在Z1中的3D点云，X2为该焊点在Z2中的3D点云；所述检测的过程为：(3.1)先使用深度神经网络分别对该焊点的X1和X2进行点云到点特征的变换得到X1和X2的点特征，再使用对称函数保持输入的置换不变性对X1和X2点特征进行处理，得到X1和X2的全局特征；所述X1和X2的全局特征，表示如下：f(X1)≈g(m(X1))；f(X2)≈g(m(X2))；其中，f(X1)和f(X2)分别为X1和X2的全局特征，g(
·
)为对称函数，m(
·
)为点云到点特征的变换；(3.2)通过f(X1)和f(X2)确定该焊点的关键区域，并得到所述关键区域内X1和X2的点特征和所述关键区域是对该焊点的顶部对应的球形区域采用指数函数进行切割得到；(3.3)使用步骤(3.2)所得关键区域内X1和X2的点特征和作为分类器多层感知机的输入，预测该焊点属于合格焊点的概率，其数学表达式如下：其中，p(
·
)指该焊点属于合格焊点的概率，cls(
·
)指分类器多层感知机；
如果p(X1,X2)>0.5则认为该焊点为合格焊点。2.根据权利要求1所述的一种高效快速的双目3D点云焊点缺陷检测方法，其特征在于，所述控制两个三角测距激光雷达的开始扫描信号是指：当三角测距激光雷达的激光能够扫描到待测样本时，启动开始扫描信号，当三角测距激光雷达的激光不再扫描到待测样本时，停止开始扫描信号。3.根据权利要求1所述的一种高效快速...

【专利技术属性】
技术研发人员：郝矿荣，胡启明，李海剑，隗兵，张平，唐妙奇，
申请(专利权)人：东华大学，
类型：发明
国别省市：