焊缝特征点位置在线测量方法及焊缝轨迹自动测量系统技术方案

本发明专利技术公开了一种焊缝特征点位置在线测量方法，包括步骤：使焊枪处于初始焊接位置；初始化焊缝轮廓的图像信息，并得到焊缝起始位置；采集焊缝图像；进行当前时刻焊缝位置预测，完成焊缝图像在时序方向上的建模，并提取焊缝图像的特征，最后实现焊缝特征点的跟踪定位；计算出焊枪的运动轨迹。本发明专利技术同时公开了一种焊缝轨迹自动测量系统，包括嵌入式开发板、激光视觉传感器、焊接机器人、机器人控制器、配套的焊接设备、工件夹持工作台。本发明专利技术可应对非结构焊接环境下存在的噪声干扰，提高焊缝跟踪系统的鲁棒性和稳定性，实现焊缝特征点的自动识别，大大提高自动化程度和生产效率。

On-line Measuring Method of Weld Characteristic Point Position and Automatic Measuring System of Weld Trajectory

The invention discloses an on-line measurement method for the position of weld feature points, which includes steps: making the welding torch in the initial welding position; initializing the image information of the weld contour and obtaining the initial position of the weld; collecting the weld image; forecasting the position of the weld at the current time, completing the modeling of the weld image in the time sequence direction, and extracting the features of the weld image, and finally realizing the weld feature. Tracking and positioning of feature points and calculating the trajectory of welding torch. The invention also discloses an automatic measurement system for weld trajectory, including an embedded development board, a laser vision sensor, a welding robot, a robot controller, matching welding equipment and a workpiece clamping table. The invention can deal with the noise interference existing in the non-structural welding environment, improve the robustness and stability of the seam tracking system, realize the automatic identification of seam feature points, and greatly improve the automation degree and production efficiency.

【技术实现步骤摘要】
焊缝特征点位置在线测量方法及焊缝轨迹自动测量系统
本专利技术涉及焊缝轨迹自动测量领域，特别涉及融合目标检测和跟踪算法的焊缝特征点位置在线测量方法及焊缝轨迹自动测量系统。
技术介绍
焊接在制造过程扮演着非常重要的角色。随着自动化技术的发展，焊接机器人成为了主要的焊接自动化装备。焊接机器人通常采用示教再现的工作模式，即通过用户引导机器人，并让机器人在这过程中记忆示教的每个动作的位置、姿态、运动参数等，接着由此自动生成一个连续执行全部操作的程序。完成示教后，只需给机器人一个启动命令，机器人通过示教编程存储起来的工作程序重复完成预期焊接工作。虽然示教再现的工作模式十分适用于批量加工任务，但是为确保这种工作模式在具体的焊接环境中实施，前工序中需要通过人工点焊完成焊接工件的定位，这会引起定位误差；其次，焊接过程中工件由于受热发生变形，使实际轨迹偏离示教轨迹，从而导致示教编程获得的机器人焊接轨迹偏离了再现时的轨迹；另外，由于其必须消耗大量的时间对轨迹进行编程并且对每个新零件必须重新定义焊接参数，使该方法无法取得灵活的效果。为取得灵活和高精度的跟踪效果，要求焊接机器人能实时检测出焊缝位置，自动调整焊接轨迹。随着机器视觉技术的发展，相比于传统示教再现的工作模式，基于激光视觉的焊缝跟踪技术结合了计算机视觉和激光三维视觉测量技术的优点，比传统的方法更加灵活方便，展现了捕获大量信息的好处，因此焊接机器人正广泛采用激光视觉检测技术校正再现轨迹，实现焊缝跟踪。为提高焊缝跟踪的精度和鲁棒性，现有的方法采用基于激光视觉的焊缝跟踪系统，利用单色性、相干性和方向性均非常好的激光作为外加辅助光源来获取表征焊缝结构的激光条纹。在焊接过程中，激光视觉传感器平行安装于焊炬正前方一定距离，利用主动发射激光束照射焊缝表面形成特征条纹，通过相机对成像进行分析，得到的图像特征信息可用于焊缝特征点的位置跟踪。为避免超前检测引起的跟踪滞后及控制困难问题，理论上前视距离越小越好，但此时自动焊接更容易受飞溅、弧光及振动等的干扰，导致特征图耦合了大量噪声而制约了系统处理速度及跟踪精度。因此，从含有强烈噪声污染的图像中稳健、快速检测出焊缝并在激光视觉引导焊缝跟踪系统中实现精确定位一直是实时焊缝跟踪中重要的问题。可是，现有的算法大多采用传统形态学处理焊缝图像，利用单一几何特征识别算法或统计决策识别焊缝。当焊缝图像被强烈弧光以及飞溅遮挡，此时基于像素级的处理方法将会失效。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提出一种焊缝特征点位置在线测量方法，此方法提高了焊缝跟踪的准确性和鲁棒性，实现精确的自动化焊接。本专利技术的另一目的在于克服现有技术的缺点与不足，提出一种焊缝轨迹自动测量系统，以实现灵活和高精度地跟踪焊缝轨迹并自动校正。本专利技术的目的通过以下技术方案实现，一种焊缝特征点位置在线测量方法，具体包括以下步骤：S1、使焊枪处于初始焊接位置；S2、焊接开始前，采集焊缝轮廓的图像信息并进行初始化，由人工定位初始特征点得到焊缝起始位置；S3、焊接开始后，采集焊缝图像；S4、进行当前时刻焊缝位置预测，在焊缝跟踪框架中通过循环神经网络完成焊缝图像在时序方向上的建模，并由深层卷积神经网络完成对焊缝图像的特征提取，最后由相似度匹配以实现焊缝特征点的跟踪定位；S5、将二维的焊缝图像像素坐标映射到机器人三维空间坐标并计算出焊枪的运动轨迹，以保证焊枪始终对准焊缝，完成焊接轨迹自动跟踪，进而实现精确的在线自动焊接。优选的，所述步骤S1中激光线倾斜照射在工件上，且表征焊缝轮廓信息的激光条纹要处于视野范围内。优选的，所述步骤S3中激光视觉传感器的相机以50Hz采样频率连续采集焊缝图像。优选的，所述步骤S4中由焊缝跟踪框架完成焊缝特征点的跟踪定位的过程为：S4.1、通过卷积实现的LSTM(convolutionalLongShort-TermMemory)完成时序方向的建模，结合连续输入的焊缝图像得到预测的焊缝图像，在不破坏图像空间结构的同时减少部分噪声干扰；S4.2、对所述的预测的焊缝图像及采集的新的焊缝图像，通过一个以上的深层卷积神经网络进行焊缝图像特征的提取，再由多特征层的相似度匹配以确定准确的焊缝特征点。更进一步地，所述步骤S4.1具体包括：S4.1.1、在时刻t，通过截取输入图像Xt得到目标示例Et；S4.1.2、利用过去的隐藏单元Ht-1、记忆单元Ct-1以及当前的目标示例Et，卷积实现的LSTM通过如下表达式完成LSTM中的输入、遗忘、更新操作：式中，t表示时间段；X1,…,Xt表示输入；C1,…,t表示细胞记忆单元；H1,…,t表示隐藏单元；it,ft,ot分别表示卷积LSTM中的输入门、遗忘门以及输出门；Wxi,Whi,Wci分别表示输入门中对应于输入值、隐藏单元、细胞记忆单元的卷积滤波器权重；Wxf,Whf,Wcf分别表示遗忘门中对应于输入值、隐藏单元、细胞记忆单元的卷积滤波器权重；Wxc,Whc分别表示评估细胞状态中对应于输入值、隐藏单元的卷积滤波器权重；Wxo,Who,Wco分别表示输出门中对应于输入值、隐藏单元、细胞记忆单元的卷积滤波器权重；bi,bf,bc,bo分别表示输入门、遗忘门、评估细胞状态以及输出门中的偏置项；*表示卷积操作；表示哈达玛积；S4.1.3、卷积的LSTM通过上述表达式完成对隐藏单元Ht、记忆单元Ct的更新，通过记住目标的外观信息得到预测的目标示例Et，以达到减少部分噪声干扰的目的。更进一步地，所述步骤S4.2具体包括：S4.2.1、通过其中一个深层卷积神经网络(E-CNN)完成对所述预测的目标图像的特征捕捉以生成目标滤波器；S4.2.2、通过另外一个深层卷积神经网络(S-CNN)完成对新采集的目标图像搜索区域的特征图的提取；S4.2.3、采用多特征的相似度匹配，包括富含语义信息且对外观变化具有较强鲁棒性的深层特征、包含细粒度的空间信息且有助于准确定位的底层特征，以得到更准确的置信图；其中置信图由目标滤波器特征图与搜索区域特征图卷积得到：式中，T表示特征层K的特征通道总和，fd表示目标滤波器的第d个通道的特征图，xd表示搜索区域的第d个通道的特征图，S表示置信图；S4.2.4、通过所述置信图中的最高值确定下一帧焊缝特征点的位置。优选的，定期初始化焊缝跟踪框架的记忆单元，在焊缝检测框架中通过检测算法完成焊缝类别的判断，获取二维的焊缝图像像素坐标，通过比较网络输出的类别自信度与设定的阈值来判断是否执行焊缝位置的纠正以及循环神经网络中记忆单元的初始化。更进一步的，所述对记忆单元初始化、纠正焊缝位置的步骤具体包括：在检测网络中，对于任意大小P×Q的图像，首先缩放到固定大小P′×Q′，然后通过Resnet101残差网络生成M×N的特征图；根据所述M×N的特征图，RPN网络包含了两个孪生的全连接层，一个回归层，一个分类层；分类层通过softmax(归一化指数函数)来对初始检测框分类，以判断其是否属于焊缝目标框；而回归层通过边框回归计算每个初始检测框的坐标偏移量；最终，提案层通过结合上述确定的焊缝目标框以及其对应的初始检测框的坐标偏移量，得到焊缝特征点的初定位，其中由边界回归得到的偏移量包括平移量(tx,ty)以及尺度因子(tw,th)：tx＝本文档来自技高网...

【技术保护点】
1.一种焊缝特征点位置在线测量方法，其特征在于，具体包括以下步骤：S1、使焊枪处于初始焊接位置；S2、焊接开始前，采集焊缝轮廓的图像信息并进行初始化，由人工定位初始特征点得到焊缝起始位置；S3、焊接开始后，采集焊缝图像；S4、进行当前时刻焊缝位置预测，在焊缝跟踪框架中通过循环神经网络完成焊缝图像在时序方向上的建模，并由深层卷积神经网络完成对焊缝图像的特征提取，最后由相似度匹配以实现焊缝特征点的跟踪定位；S5、将二维的焊缝图像像素坐标映射到机器人三维空间坐标并计算出焊枪的运动轨迹。

【技术特征摘要】
1.一种焊缝特征点位置在线测量方法，其特征在于，具体包括以下步骤：S1、使焊枪处于初始焊接位置；S2、焊接开始前，采集焊缝轮廓的图像信息并进行初始化，由人工定位初始特征点得到焊缝起始位置；S3、焊接开始后，采集焊缝图像；S4、进行当前时刻焊缝位置预测，在焊缝跟踪框架中通过循环神经网络完成焊缝图像在时序方向上的建模，并由深层卷积神经网络完成对焊缝图像的特征提取，最后由相似度匹配以实现焊缝特征点的跟踪定位；S5、将二维的焊缝图像像素坐标映射到机器人三维空间坐标并计算出焊枪的运动轨迹。2.根据权利要求1所述的焊缝特征点位置在线测量方法，其特征在于，所述步骤S1中激光线倾斜照射在工件上，且表征焊缝轮廓信息的激光条纹要处于视野范围内。3.根据权利要求1所述的焊缝特征点位置在线测量方法，其特征在于，所述步骤S3中激光视觉传感器的相机以50Hz采样频率连续采集焊缝图像。4.根据权利要求1所述的焊缝特征点位置在线测量方法，其特征在于，所述步骤S4中由焊缝跟踪框架完成焊缝特征点的跟踪定位的过程为：S4.1、通过卷积实现的LSTM完成时序方向的建模，结合连续输入的焊缝图像得到预测的焊缝图像；S4.2、对所述的预测的焊缝图像及采集的新的焊缝图像，通过一个以上的深层卷积神经网络进行焊缝图像特征的提取，再由多特征层的相似度匹配以确定准确的焊缝特征点。5.根据权利要求4所述的焊缝特征点位置在线测量方法，其特征在于，所述步骤S4.1具体包括：S4.1.1、在时刻t，通过截取输入图像Xt得到目标示例Et；S4.1.2、利用过去的隐藏单元Ht-1、记忆单元Ct-1以及当前的目标示例Et，卷积实现的LSTM通过如下表达式完成LSTM中的输入、遗忘、更新操作：式中，t表示时间段；X1,…,Xt表示输入；C1,…,Ct表示细胞记忆单元；H1,…,Ht表示隐藏单元；it,ft,ot分别表示卷积LSTM中的输入门、遗忘门以及输出门；Wxi,Whi,Wci分别表示输入门中对应于输入值、隐藏单元、细胞记忆单元的卷积滤波器权重；Wxf,Whf,Wcf分别表示遗忘门中对应于输入值、隐藏单元、细胞记忆单元的卷积滤波器权重；Wxc,Whc分别表示评估细胞状态中对应于输入值、隐藏单元的卷积滤波器权重；WxO,Who,Wco分别表示输出门中对应于输入值、隐藏单元、细胞记忆单元的卷积滤波器权重；bi,bf,bc,bo分别表示输入门、遗忘门、评估细胞状态以及输出门中的偏置项；*表示卷积操作；表示哈达玛积；S4.1.3、卷积的LSTM通过上述表达式完成对隐藏单元Ht、记忆单元Ct的更新，通过记住目标的外观信息得到预测的目标示例Et。6.根据权利要求4所述的焊缝特征点位置在线测量方法，其特征在于，所述步骤S4.2具体包括：S4.2.1、通过其中一个深层卷积神经网络完成对所述预测的目标图像的特征捕捉以生成目标滤波器；S4.2.2、通过另外一个深层卷积神经网络完成对新采集的目标图像搜索区域的特征图的提取；S4.2.3、采用多特征的相似度匹配，由目标滤波器特征图与搜索区域特征图卷积得到置信图：式中，T表示特征层K的特征通道总和，fd表示目标滤波器的第d个通道的特征图，xd表示搜索区域的第d个通道的特征图，S表示置信图；S4...

【专利技术属性】
技术研发人员：邹焱飚，蓝睿，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44