一种元件完整形貌的点云检测方法、系统、设备及介质技术方案

本发明专利技术公开了一种元件完整形貌的点云检测方法、系统、设备及介质，所述方法包括以下步骤：确认待检测元件，获取待检测元件的全域视场；确认全域视场中的待配准视场；对待配准视场执行基于二维配准的点云拼接操作，得到拼接深度图；基于拼接深度图拼接待检测元件的元件全域形貌深度图；本发明专利技术能够基于全域扫描以及二维配准的点云拼接操作，实现PCB的完整形貌进行点云检测，最终产出了PCB整个形貌的深度图，全域扫描的方式时效性高，且基于2D图进行二维配准，提高了配准的精确度和计算时间，同时基于非锡膏区域的平面拟合及锡膏区域的高度值填充，在生成精准的深度图同时，又保证了深度图的平整性，兼顾了较高的点云拼接精度和速度。速度。速度。

【技术实现步骤摘要】
一种元件完整形貌的点云检测方法、系统、设备及介质


[0001]本专利技术涉及视觉检测
，具体的，本专利技术应用于电路板制造时的锡膏检测中，特别是涉及一种元件完整形貌的点云检测方法、系统、设备及介质。

技术介绍

[0002]目前，锡膏检测（Solder Paste Inspection，SPI）设备广泛用于高端制造业中印刷电路板（Printed Circuit Board，PCB）上元件焊接前的锡膏3D缺陷检测；由于锡膏尺寸小，因此锡膏检测的测量精度要求较高，传统方法中会通过3D结构光相机恢复出锡膏3D形貌，由于为了获得较高的空间分辨率，提高精度，3D结构光相机的镜头视野通常被设计较小，但是PCB板的尺寸是较大的，而且PCB板上元件密集，若为实现整块PCB板的测量，则需要将PCB板划分成不同的视场（Field Of View，FOV），采用3D结构光相机对每一块FOV进行检测，而且不同FOV之间必然会存在有重合区域，最终需要把不同FOV的3D点云进行对应拼接，才能得到最终PCB板的整体形貌；在这个过程中，分块检测的方法无法直接得到PCB板的完整点云，这种分块检测的点云易存在误差，且易影响点云拼接的精度，而且分块检测所消耗的时长较久，影响了SPI的检测效率；再者，上述过程中所采用点云拼接方法的精度和效率，也会直接影响最终SPI的检测精度与效率；目前，现有的点云拼接方法为：从两个点云数据集中按照相同的准侧提取关键点，对所有关键点进行特征描述；根据特征描述相似度，寻找两个点云集中关键点的一一对应关系；后续利用对应关键点估算刚体变换，通过配准算法对旋转平移矩阵进行迭代优化，得到最优解，完成点云配准拼接；在现有的方法中，点云拼接的精度和效率主要受到所采用配准算法的影响；目前，常用的配准算法有ICP（Iterative Closest Point）算法和NDT（Normal Distribution Transform）算法；以下对这两种算法进行进一步的解释：ICP算法，主要通过点云间对应点对的变换实现配准，其过程中会估计变换后配准点云与源点云的距离误差函数，并根据该函数迭代配准运算至满足要求；ICP方法主要优化的是源点云和配准点云间的距离；NDT算法，主要优化的是概率密度，其主要根据配准点云变换到源点云中新点的概率密度，对点云的转换矩阵进行不断优化，以至满足转换要求；这两种算法中，各有优劣：对于ICP算法，其采用最小二乘估算变换矩阵，原理简单且具有较好的精度，但是由于采用了迭代计算，导致算法的计算速度较慢，而且采用ICP进行配准计算时，其对待配准点云的初始位置有一定要求，若所选初始位置不合理，则会导致算法陷入局部最优，其时效性较差，且具有一定的局限性；对于NDT算法，其对初始值的要求低于ICP方法，且NDT算法的计算速度比ICP算法快，但是NDT算法的算法精度略低，在数据量较大时依然会耗时较久；再者，基于3D点云配准的拼接方法中需要源点云具有很高的精度，因此需要保证
每个FOV中边界处的点云没有翘曲，这对3D结构光相机的测量精度要求极高；而通常在SPI中相邻的FOV之间只有边界处具有共同视场，如果边界处的点云精度较差，或者镜头畸变没有被很好地校正，那么微小的拼接误差也会导致配准FOV的远端边缘出现较大的翘曲变形，在这种条件下，多个FOV连续拼接时，误差会不断累积，最终导致所形成的PCB板整体形貌教差，平整性较低；综上所述，现有的分块式FOV检测方法的检测效率较低，易影响点云拼接精度，而且目前基于点云配准的点云拼接方法对系统标定精度、3D成像质量的要求较高，且现有配准算法的时效性和算法精度无法兼顾。

技术实现思路

[0003]本专利技术的目的在于，针对现有技术中的上述问题，提供一种元件完整形貌的点云检测方法、系统、设备及介质，进而解决现有技术中分块式FOV检测方法的检测效率较低，易影响点云拼接精度，而且目前基于点云配准的点云拼接方法对系统标定精度、3D成像质量的要求较高，且现有配准算法的时效性和算法精度无法兼顾的问题。
[0004]为解决上述技术问题，本专利技术的具体技术方案如下：一方面，本专利技术提供一种元件完整形貌的点云检测方法，包括以下步骤：确认待检测元件，获取所述待检测元件的全域视场；获取所述待检测元件的与所述全域视场相对应的RGB图像；设置深度补全网络，基于所述RGB图像和所述深度补全网络对所述全域视场进行点云深度补全处理，得到新全域视场；确认所述新全域视场中的待配准视场；对所述待配准视场执行基于二维配准的点云拼接操作，得到拼接深度图；基于所述拼接深度图拼接所述待检测元件的元件全域形貌深度图；所述基于二维配准的点云拼接操作，包括：二维配准步骤：确认待配准视场的重叠区域；根据所述重叠区域计算坐标转换策略；基平面建立步骤：根据所述待配准视场获取待配准3D点云集；根据所述待配准3D点云集建立关于所述待配准视场的二维拼接基平面；坐标转换拼接步骤：根据所述坐标转换策略、所述待配准3D点云集和所述二维拼接基平面执行基于高度值填充和点云融合的二维坐标转换操作，得到拼接深度图。
[0005]作为一种改进的方案，所述待配准视场包括：基准视场和待拼接视场；所述重叠区域为所述基准视场和所述待拼接视场间的共有部分；所述根据所述重叠区域计算坐标转换策略，包括：获取所述基准视场中所述重叠区域的第一2D图像；获取所述待拼接视场中所述重叠区域的第二2D图像；根据所述第一2D图像和所述第二2D图像执行基于形状及特征点匹配的矩阵操作，
得到所述坐标转换策略。
[0006]作为一种改进的方案，所述基于形状及特征点匹配的矩阵操作，包括：对所述第一2D图像和所述第二2D图像分别进行边缘检测，得到第一边缘和第二边缘；基于所述第一边缘和所述第二边缘的形状匹配性，确认所述基准视场与所述待拼接视场间的重叠点对区域；基于特征点检测算法确认所述重叠点对区域中具有重叠关系的匹配点对；基于所述匹配点对计算所述待拼接视场与所述基准视场间的旋转平移矩阵，令所述旋转平移矩阵作为所述坐标转换策略。
[0007]作为一种改进的方案，所述根据所述待配准视场获取待配准3D点云集，包括：获取关于所述基准视场的第一3D点云；获取关于所述待拼接视场的第二3D点云；令所述第一3D点云和所述第二3D点云组成所述待配准3D点云集。
[0008]作为一种改进的方案，所述根据所述待配准3D点云集建立关于所述待配准视场的二维拼接基平面，包括：确认所述待配准视场中的非锡膏区域；识别所述待配准3D点云集中与所述非锡膏区域对应的非锡膏3D点云；基于所述非锡膏3D点云进行平面拟合，得到所述二维拼接基平面。
[0009]作为一种改进的方案，所述基于高度值填充和点云融合的二维坐标转换操作，包括：确认所述基准视场中的第一锡膏区域；识别所述待配准3D点云集中与所述第一锡膏区域对应的第一锡膏3D点云，确认所述第一锡膏3D点云在所述待配准3D点云集中的第一点云对应关系；按照所述第一点云对应关系，将所述第一锡膏3D点云所对应的第一二维坐标转换至所述二维拼接基平面中，并将所述第一锡膏3D点云所对应的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种元件完整形貌的点云检测方法，其特征在于，包括以下步骤：确认待检测元件，获取所述待检测元件的全域视场；获取所述待检测元件的与所述全域视场相对应的RGB图像；设置深度补全网络，基于所述RGB图像和所述深度补全网络对所述全域视场进行点云深度补全处理，得到新全域视场；确认所述新全域视场中的待配准视场；对所述待配准视场执行基于二维配准的点云拼接操作，得到拼接深度图；基于所述拼接深度图拼接所述待检测元件的元件全域形貌深度图；所述基于二维配准的点云拼接操作，包括：二维配准步骤：确认待配准视场的重叠区域；根据所述重叠区域计算坐标转换策略；基平面建立步骤：根据所述待配准视场获取待配准3D点云集；根据所述待配准3D点云集建立关于所述待配准视场的二维拼接基平面；坐标转换拼接步骤：根据所述坐标转换策略、所述待配准3D点云集和所述二维拼接基平面执行基于高度值填充和点云融合的二维坐标转换操作，得到拼接深度图。2.根据权利要求1所述的一种元件完整形貌的点云检测方法，其特征在于：所述待配准视场包括：基准视场和待拼接视场；所述重叠区域为所述基准视场和所述待拼接视场间的共有部分；所述根据所述重叠区域计算坐标转换策略，包括：获取所述基准视场中所述重叠区域的第一2D图像；获取所述待拼接视场中所述重叠区域的第二2D图像；根据所述第一2D图像和所述第二2D图像执行基于形状及特征点匹配的矩阵操作，得到所述坐标转换策略。3.根据权利要求2所述的一种元件完整形貌的点云检测方法，其特征在于：所述基于形状及特征点匹配的矩阵操作，包括：对所述第一2D图像和所述第二2D图像分别进行边缘检测，得到第一边缘和第二边缘；基于所述第一边缘和所述第二边缘的形状匹配性，确认所述基准视场与所述待拼接视场间的重叠点对区域；基于特征点检测算法确认所述重叠点对区域中具有重叠关系的匹配点对；基于所述匹配点对计算所述待拼接视场与所述基准视场间的旋转平移矩阵，令所述旋转平移矩阵作为所述坐标转换策略。4.根据权利要求2所述的一种元件完整形貌的点云检测方法，其特征在于：所述根据所述待配准视场获取待配准3D点云集，包括：获取关于所述基准视场的第一3D点云；获取关于所述待拼接视场的第二3D点云；令所述第一3D点云和所述第二3D点云组成所述待配准3D点云集。
5.根据权利要求1所述的一种元件完整形貌的点云检测方法，其特征在于：所述根据所述待配准3D点云集建立关于所述待配准视场的二维拼接基平面，包括：确认所述待配准视场中的非锡膏区域；识别所述待配准3D点云集中与所述非锡膏区域对应的非锡膏3D点云；基于所述非锡膏3D点云进行平面拟合，得到所述二维拼接基平面。6.根据权利要求3所述的一种元件完整形貌的点云检测方法，其特征在于：所述基于高度值填充和点云融合的二维坐标转换操作，包括：确认所述基准视场中的第一锡膏区域；识别所述待配准3D点云集中与所述第一锡膏区域对应的第一锡膏3D点云，确认所述第一锡膏3D点云在所述待配准3D点云集中的第一点云对应关系；按照所述第一点云对应关系，将所述第一锡膏3D点云所对应的第一二维坐标转换至所述二维拼接基平面中，并将所述第一锡膏3D点云所对应的第一高度值填充至所述二维拼接基平面中的第一二维坐标处，得到初始深度图；确认所述待拼接视场中的第二锡膏区域；基...

【专利技术属性】
技术研发人员：程克林，张振，
申请(专利权)人：苏州赫芯科技有限公司，
类型：发明
国别省市：