焊缝点云动态重建方法、装置、系统、设备及存储介质制造方法及图纸

本发明专利技术公开了一种焊缝点云动态重建方法、装置、系统、设备及存储介质，所述方法包括：获取待测焊缝的示教轨迹；运行所述示教轨迹，同时，获取运行时所述示教轨迹的多帧激光线图像；对激光线图像进行激光线的中心线提取，以获得图像坐标系下的中心线点集；基于所述中心线点集，根据焊接机器人位姿和线结构光视觉传感器标定结果，将图像坐标系下的二维点转换为空间点；对不断输入的空间点进行更新和显示，直至完成待测焊缝的点云重建。本发明专利技术可以实现焊接机器人对焊缝的动态三维重建，焊缝的三维点云具有比图像更加全面的信息，为从三维点云的角度分析焊缝奠定了研究基础。的角度分析焊缝奠定了研究基础。的角度分析焊缝奠定了研究基础。

【技术实现步骤摘要】
焊缝点云动态重建方法、装置、系统、设备及存储介质


[0001]本专利技术涉及一种焊缝点云动态重建方法、装置、系统、设备及存储介质，属于机器视觉


技术介绍

[0002]随着智能制造的发展和人工成本的上升，自动化及精密化焊接的需求日渐增大。由于焊接参数的选择不当，比如：使用潮湿的焊丝、保护气供给不足、焊接速度过快等因素，焊好的焊缝往往具有表面缺陷，这将引发质量问题。
[0003]随着三维重建技术的发展，使用三维重建技术对焊缝表面进行点云重建，从三维整体的角度分析焊缝的形貌特征，将为焊缝的表面缺陷检测提供一种新的检测方案。但是，目前结构光三维重建多使用编码结构光，依赖于三角测量原理，进而获得物体相对于扫描仪的深度信息。但在焊接场景中，编码结构光往往不能适用于结构复杂的工件，从而会使三维重建效果不佳。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种焊缝点云动态重建方法、装置、系统、计算机设备及存储介质，其可以实现焊接机器人对焊缝的动态三维重建，焊缝的三维点云具有比图像更加全面的信息，为从三维点云的角度分析焊缝奠定了研究基础。
[0005]本专利技术的第一个目的在于提供一种焊缝点云动态重建方法。
[0006]本专利技术的第二个目的在于提供一种焊缝点云动态重建装置。
[0007]本专利技术的第二个目的在于提供一种焊缝点云动态重建系统。
[0008]本专利技术的第四个目的在于提供一种计算机设备。
[0009]本专利技术的第五个目的在于提供一种存储介质。
[0010]本专利技术的第一个目的可以通过采取如下技术方案达到：
[0011]一种焊缝点云动态重建方法，所述方法包括：
[0012]获取待测焊缝的示教轨迹，其中，所述示教轨迹通过焊接机器人及线结构光视觉传感器对初始安装工件进行示教而得；
[0013]运行所述示教轨迹，同时，获取运行时所述示教轨迹的多帧激光线图像；
[0014]对激光线图像进行激光线的中心线提取，以获得图像坐标系下的中心线点集，其中，所述中心线点集包括多个二维点；
[0015]基于所述中心线点集，根据焊接机器人位姿和线结构光视觉传感器标定结果，将图像坐标系下的二维点转换为空间点；
[0016]对不断输入的空间点进行更新和显示，直至完成待测焊缝的点云重建。
[0017]进一步的，所述对激光线图像进行激光线的中心线提取之前，还包括：
[0018]将每帧激光线图像存入预设的图像队列中；
[0019]判断所述图像队列是否为空集，并输出判断结果；
[0020]若判断结果为否，则以先进先出的原则输出激光线图像。
[0021]进一步的，所述对激光线图像进行激光线的中心线提取，以获得图像坐标系下的中心线点集，包括：
[0022]根据中值滤波算法，对激光线图像进行处理；
[0023]为处理后的激光线图像的每个像素点建立矩阵H，其中，所述矩阵H，如下式：
[0024][0025]其中，g(x，y)表示处理后的激光线图像；
[0026]根据条件计算所述矩阵H的特征值λ
i
和特征向量
[0027]根据最大特征值所对应的特征向量和每个像素点，得到所述中心线点集。
[0028]进一步的，所述根据最大特征值所对应的特征向量和每个像素点，得到所述中心线点集，具体包括：
[0029]将最大特征值所对应的特征向量记为(n
x
，n
y
)；
[0030]以像素点(x0，y0)为例，则对应激光线的中心点位置(p
x
，p
y
)，如下式：
[0031](p
x
，p
y
)＝(x0+tn
x
，y0+tn
y
)
[0032][0033]其中，g
x
表示x方向梯度，g
y
表示y方向梯度，g
xy
表示二阶梯度，先对x求导，再对y求导，g
xx
和g
yy
同理；
[0034]若tn
x
和tn
y
的绝对值小于或等于阈值，则像素点(x0，y0)为激光线的中心点，保存像素点(x0，y0)对应的亚像素坐标(p
x
，p
y
)并作为中心线点；
[0035]对其余像素点重复以上操作，得到所述中心线点集。
[0036]进一步的，所述线结构光视觉传感器包括相机；
[0037]所述基于所述中心线点集，根据焊接机器人位姿和线结构光视觉传感器标定结果，将图像坐标系下的二维点转换为空间点，包括：
[0038]获取所述中心线点集所对应的焊接机器人手眼关系矩阵和相机标定矩阵；
[0039]基于二维点，根据所述焊接机器人手眼关系矩阵和相机标定矩阵，计算相对于焊接机器人基座坐标系的空间点。
[0040]进一步的，在所述对不断输入的空间点进行更新和显示，直至完成待测焊缝的点云重建中，包括：
[0041]使用可视化开源库对不断输入的空间点进行更新并显示；
[0042]在显示过程中，通过不断重置可视化开源库的内部参数，使点云保持在相机视野中央。
[0043]本专利技术的第二个目的可以通过采取如下技术方案达到：
[0044]一种焊缝点云动态重建装置，所述装置包括：
[0045]第一获取模块，用于获取待测焊缝的示教轨迹，其中，所述示教轨迹通过焊接机器
人及线结构光视觉传感器对初始安装工件进行示教而得；
[0046]第二获取模块，用于运行所述示教轨迹，同时，获取运行时所述示教轨迹的多帧激光线图像；
[0047]提取模块，用于对激光线图像进行激光线的中心线提取，以获得图像坐标系下的中心线点集，其中，所述中心线点集包括多个二维点；
[0048]转换模块，用于基于所述中心线点集，根据焊接机器人位姿和线结构光视觉传感器标定结果，将图像坐标系下的二维点转换为空间点；
[0049]动态重建模块，用于对不断输入的空间点进行更新和显示，直至完成待测焊缝的点云重建。
[0050]本专利技术的第三个目的可以通过采取如下技术方案达到：
[0051]一种焊缝点云动态重建系统，所述系统包括终端设备、焊接机器人和线结构光视觉传感器，所述终端设备与焊接机器人连接，所述线结构光视觉传感器安装在焊接机器人的焊接执行机构上；
[0052]所述线结构光视觉传感器包括相机；
[0053]所述终端设备，用于实现上述的焊缝点云动态重建方法。
[0054]本专利技术的第四个目的可以通过采取如下技术方案达到：
[0055]一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的焊缝点云动态重建方法。
[0056]本专利技术的第五个目的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种焊缝点云动态重建方法，其特征在于，所述方法包括：获取待测焊缝的示教轨迹，其中，所述示教轨迹通过焊接机器人及线结构光视觉传感器对初始安装工件进行示教而得；运行所述示教轨迹，同时，获取运行时所述示教轨迹的多帧激光线图像；对激光线图像进行激光线的中心线提取，以获得图像坐标系下的中心线点集，其中，所述中心线点集包括多个二维点；基于所述中心线点集，根据焊接机器人位姿和线结构光视觉传感器标定结果，将图像坐标系下的二维点转换为空间点；对不断输入的空间点进行更新和显示，直至完成待测焊缝的点云重建。2.根据权利要求1所述方法，其特征在于，所述对激光线图像进行激光线的中心线提取之前，还包括：将每帧激光线图像存入预设的图像队列中；判断所述图像队列是否为空集，并输出判断结果；若判断结果为否，则以先进先出的原则输出激光线图像。3.根据权利要求1所述方法，其特征在于，所述对激光线图像进行激光线的中心线提取，以获得图像坐标系下的中心线点集，包括：根据中值滤波算法，对激光线图像进行处理；为处理后的激光线图像的每个像素点建立矩阵H，其中，所述矩阵H，如下式：其中，g(x，y)表示处理后的激光线图像；根据条件计算所述矩阵H的特征值λ
i
和特征向量根据最大特征值所对应的特征向量和每个像素点，得到所述中心线点集。4.根据权利要求3所述方法，其特征在于，所述根据最大特征值所对应的特征向量和每个像素点，得到所述中心线点集，具体包括：将最大特征值所对应的特征向量记为(n
x
，n
y
)；以像素点(x0，y0)为例，则对应激光线的中心点位置(p
x
，p
y
)，如下式：(p
x
，p
y
)＝(x0+tn
x
，y0+tn
y
)其中，g
x
表示x方向梯度，g
y
表示y方向梯度，g
xy
表示二阶梯度，先对x求导，再对y求导，g
xx
和g
yy
同理；若tn
x
和tn
y
的绝对值小于或等于阈值，则像素点(x...

【专利技术属性】
技术研发人员：王念峰，傅钰，张宪民，郑永忠，
申请(专利权)人：三技精密技术广东股份有限公司，
类型：发明
国别省市：