一种激光视觉引导下的焊缝轨迹自动跟踪方法及系统技术方案

本发明专利技术公开了一种激光视觉引导下的焊缝轨迹自动跟踪方法及系统。所述方法和系统在焊缝轨迹跟踪过程中能够从受大量噪声干扰的焊缝图像中准确提取焊缝特征点的跟踪方法及系统，可以解决焊接机器人“手动示教

【技术实现步骤摘要】
一种激光视觉引导下的焊缝轨迹自动跟踪方法及系统


[0001]本专利技术涉及焊接轨迹自动跟踪领域，特别涉及一种激光视觉引导的焊接轨迹自动跟踪方法及系统。

技术介绍

[0002]近年来，在机器人技术、智能传感技术及信息技术的协同驱动下，弊端众多的手工焊接作业方式逐渐被淘汰，取而代之的是以焊接机器人为主体的自动化焊接加工系统[1]。在汽车制造、轨道交通装备等产业中的应用尤为显著，从而弥补了手工焊接加工的自动化程度低下、工作效率欠佳等众多缺点。现阶段，受限于机器人的智能化水平，焊接机器人在实施焊接时仍需要大量的人工辅助工作，大多数通过“手动示教
‑
记忆再现”这一固定模式完成焊接任务。但在非结构化焊接环境中，当受诸如强烈的加工误差、装夹精度、和工件热变形等因素的影响，焊缝轨迹往往偏离于示教轨迹，从而造成工件的质量下降甚至失效。因此开发出具备环境信息感知功能的智能焊接加工系统是解决上述问题最为有效的途径。
[0003]智能焊接机器人，即基于先进的轨迹规划技术、传感技术、控制技术等来实现焊接机器人对焊接环境的智能感知和决策，从而实现焊接智能化、高效化。智能焊接机器人的核心在于开发能实时检测焊缝的焊缝跟踪系统，利用实时检测的焊缝信息来调整焊接路径从而保证焊接质量，其核心技术主要包括焊接机器人传感技术和焊缝跟踪技术。焊接机器人传感技术利用传感器实时获取焊缝信息，而焊缝跟踪技术则针对传感器获取的焊缝信息进行处理从而提取出焊缝特征点坐标用于指导焊接机器人完成焊接。在众多的传感技术中，激光视觉传感器因为其测量精度高、获取目标信息丰富、能实现无接触测量等优点而备受研究者的青睐，如李湘文等人提出的一种基于线激光结构光视觉传感的焊缝跟踪提取方法中运用了这种方法进行焊缝跟踪。但是，焊接过程中的弧光、飞溅会在激光视觉传感器所采集的焊缝图像中诱发较为强烈的噪声，从而影响焊缝特征点的获取。所以在基于激光视觉的焊缝跟踪系统中，必须设计精确性高、抗干扰性强的焊缝实时检测算法来应对噪声的干扰。

技术实现思路

[0004]本专利技术目的是提出一种在焊缝轨迹跟踪过程中能够从受大量噪声干扰的焊缝图像中准确提取焊缝特征点的跟踪方法及系统，可以解决焊接机器人“手动示教
‑
记忆再现”式焊接效率低、灵活性低的问题，运用深度强化学习方法设计并训练焊缝图像配准网络，对焊缝特征点位置进行实时精调，实现在弧光、飞溅等强噪声干扰下焊缝特征点的精确定位。
[0005]本专利技术的目的至少通过如下技术方案之一实现。
[0006]一种激光视觉引导的焊接轨迹自动跟踪系统，包括具有图像处理功能的嵌入式工控机、工件夹持工作台、激光视觉传感器、焊接机器人及配套焊接设备；
[0007]待焊接的工件固定在工作台上，激光视觉传感器在焊接方向上超前平行安装于焊枪上，焊枪安装在焊接机器人末端的法兰盘上，配套焊接设备为焊接提供能量、材料以及保
护气，嵌入式工控机在电路上与焊接机器人的控制器和激光视觉传感器进行连接，在获取激光视觉传感器采集的图像、对图像中跟踪对象进行准确定位后，将得到的位置偏差传输给焊接机器人的控制柜，实现焊枪轨迹的实时修正。
[0008]一种激光视觉引导的焊接轨迹自动跟踪方法，包括以下步骤：
[0009]S1、调整焊接机器人机械臂的位置和姿态，使得焊枪末端位于待焊工件焊缝起始位置的正上方且焊枪垂直于工件表面，并使得固定在焊枪上的激光视觉传感器处于最佳工作位置，即在焊接过程中既能捕捉到清晰的焊接图像，又不会和待焊工件发生干涉；焊接开始前，激光视觉传感器中的工业相机采集初始焊接图像并发送到嵌入式工业控制机，对采集的图像进行初始化处理，提取到初始焊缝特征点及其所在的邻近区域，并将得到的初始焊缝特征点像素坐标值转换成工业相机坐标系下的三维坐标值作为基准三维坐标值；以初始焊缝特征点像素坐标值为中心裁剪图像块，保存作为配准网络所需要使用的基准图像；
[0010]S2、在工业相机持续采集图像过程中，对于每一张新采集的焊缝激光图像，经过焊缝特征点预测，均能得到其对应的焊缝特征点坐标；每次得到当前新采集的焊缝激光图像的焊缝特征点坐标后，将焊缝特征点坐标转化为焊接机器人控制指令，发送至焊接机器人控制柜，机器人控制柜控制焊枪运动，使焊枪始终对准焊缝，完成焊接轨迹自动跟踪。
[0011]进一步地，步骤S2中，对于每一张新采集的焊缝激光图像，焊缝特征点预测包括以下步骤：
[0012]S2.1、在焊接过程中，以上一张焊缝激光图像中检测到的焊接点像素坐标(X，Y)为中心，在相机新采集的焊缝激光图像上裁剪一部分图像块，输入到定位精度判别网络(Localization Accuracy Estimation Net，简称为LAE网络)中；若定位精度判别网络的返回值大于阈值，判断当前新采集的图像块的中心位置与焊接点位置足够接近，则将基准图像更新为新采集的图像块；若小于阈值，则不更新基准图像；
[0013]S2.2、若新采集的图像块被更新为基准图像，则当前新采集图像的焊缝特征点可以确定为新采集的图像块的中心点；若新采集的图像块未被更新为基准图像，则将新采集的图像块与基准图像合并，作为双通道图像输入到配准网络中，根据配准网络的网络返回值(x，y)，对上一张焊缝激光图像的焊缝特征点的坐标检测结果进行微调，得到当前新采集的焊缝激光图像的焊缝特征点的预测值；网络返回值(x，y)即配准网络预测当前新采集的图像块与基准图像之间的焊缝特征点二维像素差值。
[0014]进一步地，步骤S2.1中，预测输入图像块定位精度的过程具体包括：
[0015]S2.1.1、构建定位精度判别网络；
[0016]S2.1.2、对定位精度判别网络进行训练，并保存训练完成之后的定位精度判别网络参数文件；
[0017]S2.1.3、使用经过训练完成之后的定位精度判别网络对输入图像进行定位精度预测，当预测值高于阈值时更新基准图像。
[0018]进一步地，步骤S2.1.1中，所述定位精度判别网络包括特征提取部分与预测部分；
[0019]在特征提取部分，定位精度判别网络使用神经网络resNet18，神经网络resNet18使用残差学习，将输入与输出的差值作为下一残差块的输入，有效增加了网络的深度与性能；
[0020]由于神经网络resNet18仅用于提取图像的特征，因此可以直接使用resnet18的预
训练权重；
[0021]神经网络resNet18包括一个卷积层、一个最大池化层和四个残差块，每个残差块包括四个卷积层与两处残差连接结构；
[0022]将新采集的图像块输入神经网络resNet18后，取第一个残差块与第二个残差块的输出；
[0023]将第一个残差块与第二个残差块的输出分别经过三个卷积层和一个全连接层，每一层过后都要经过批归一化处理和ReLU激活函数，然后得到两组中间数据，将两组中间数据拼接，在经过一个全连接层，最后输出对新采集图像块定位精度预测值。
[0024]进一步地，步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种激光视觉引导的焊接轨迹自动跟踪系统，其特征在于，包括具有图像处理功能的嵌入式工控机(8)、工件夹持工作台(3)、激光视觉传感器(5)、焊接机器人(2)及配套焊接设备(1)；待焊接的工件(6)固定在工作台(3)上，激光视觉传感器(5)在焊接方向上超前平行安装于焊枪(4)上，焊枪(4)安装在焊接机器人(2)末端的法兰盘上，配套焊接设备(1)为焊接提供能量、材料以及保护气，嵌入式工控机(8)在电路上与焊接机器人的控制器(7)和激光视觉传感器(5)进行连接，在获取激光视觉传感器(5)采集的图像、对图像中跟踪对象进行准确定位后，将得到的位置偏差传输给焊接机器人的控制柜(7)，实现焊枪(4)轨迹的实时修正。2.一种激光视觉引导的焊接轨迹自动跟踪方法，其特征在于，包括以下步骤：S1、调整焊接机器人机械臂的位置和姿态；焊接开始前，激光视觉传感器中的工业相机采集初始焊接图像并发送到嵌入式工业控制机，对采集的图像进行初始化处理，提取到初始焊缝特征点及其所在的邻近区域，并将得到的初始焊缝特征点像素坐标值转换成工业相机坐标系下的三维坐标值作为基准三维坐标值；以初始焊缝特征点像素坐标值为中心裁剪图像块，保存作为配准网络所需要使用的基准图像；S2、在工业相机持续采集图像过程中，对于每一张新采集的焊缝激光图像，经过焊缝特征点预测，均能得到其对应的焊缝特征点坐标；每次得到当前新采集的焊缝激光图像的焊缝特征点坐标后，将焊缝特征点坐标转化为焊接机器人控制指令，发送至焊接机器人控制柜，机器人控制柜控制焊枪运动，使焊枪始终对准焊缝，完成焊接轨迹自动跟踪。3.根据权利要求2所述的一种激光视觉引导的焊接轨迹自动跟踪方法，其特征在于：步骤S1中，调整焊接机器人机械臂的位置和姿态，使得焊枪末端位于待焊工件焊缝起始位置的正上方且焊枪垂直于工件表面，并使得固定在焊枪上的激光视觉传感器处于最佳工作位置，即在焊接过程中既能捕捉到清晰的焊接图像，又不会和待焊工件发生干涉。4.根据权利要求2所述的一种激光视觉引导的焊接轨迹自动跟踪方法，其特征在于：步骤S2中，对于每一张新采集的焊缝激光图像，焊缝特征点预测包括以下步骤：S2.1、在焊接过程中，以上一张焊缝激光图像中检测到的焊接点像素坐标(X，Y)为中心，在相机新采集的焊缝激光图像上裁剪一部分图像块，输入到定位精度判别网络(Localization Accuracy Estimation Net，简称为LAE网络)中；若定位精度判别网络的返回值大于阈值，判断当前新采集的图像块的中心位置与焊接点位置足够接近，则将基准图像更新为新采集的图像块；若小于阈值，则不更新基准图像；S2.2、若新采集的图像块被更新为基准图像，则当前新采集图像的焊缝特征点可以确定为新采集的图像块的中心点；若新采集的图像块未被更新为基准图像，则将新采集的图像块与基准图像合并，作为双通道图像输入到配准网络中，根据配准网络的网络返回值(x，y)，对上一张焊缝激光图像的焊缝特征点的坐标检测结果进行微调，得到当前新采集的焊缝激光图像的焊缝特征点的预测值；网络返回值(x，y)即配准网络预测当前新采集的图像块与基准图像之间的焊缝特征点二维像素差值。5.根据权利要求4所述的一种激光视觉引导的焊接轨迹自动跟踪方法，其特征在于：步骤S2.1中，预测输入图像块定位精度的过程具体包括：S2.1.1、构建定位精度判别网络；
S2.1.2、对定位精度判别网络进行训练，并保存训练完成之后的定位精度判别网络参数文件；S2.1.3、使用经过训练完成之后的定位精度判别网络对输入图像进行定位精度预测，当预测值高于阈值时更新基准图像。6.根据权利要求5所述的一种激光视觉引导的焊接轨迹自动跟踪方法，其特征在于：步骤S2.1.1中，所述定位精度判别网络包括特征提取部分与预测部分；在特征提取部分，定位精度判别网络使用神经网络resNet18，神经网络resNet18使用残差学习，将输入与输出的差值作为下一残差块的输入；由于神经网络resNet18仅用于提取图像的特征，直接使用resnet18的预训练权重；神经网络resNet18包括一个卷积层、一个最大池化层和四个残差块，每个残差块包括四个卷积层与两处残差连接结构；将新采集的图像块输入神经网络resNet18后，取第一个残差块与第二个残差块的输出；将第一个残差块与第二个残差块的输出分别经过三个卷积层和一个全连接层，每一层过后都要经过批归一化处理和ReLU激活函数，然后得到两组中间数据，将两组中间数据拼接，在经过一个全连接层，最后输出对新采集图像块定位精度预测值。7.根据权利要求6所述的一种激光视觉引导的焊接轨迹自动跟踪方法，其特征在于：步骤S2.1.2中，对定位精度判别网络训...

【专利技术属性】
技术研发人员：邹焱飚，周恒昌，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：