一种基于深度学习语义分割的被动视觉焊缝跟踪方法技术

本发明专利技术公开了一种基于深度学习语义分割的被动视觉焊缝跟踪方法，包括以下步骤：建立视觉系统并且在不借助外部光的情况下采集PAW焊接时的焊缝图像；基于语义分割对焊缝图像进行分割，提取出其中的弧光和焊缝部分；对分割后的图像进行连通域标记，消除误分割部分；基于弧光的几何特征确定焊枪位置并对焊缝进行直线拟合，计算出两者之间的偏移量；基于先前计算出的偏移量对当前结果进行滤波处理，本发明专利技术的有益效果：通过构架BiseNetV2网络，实现了对弧光、焊缝的精准分割以及焊枪位置的精准定位；同时采取滤波方法可以获取更高的精度，以满足对焊缝的实时跟踪的精度要求。满足对焊缝的实时跟踪的精度要求。满足对焊缝的实时跟踪的精度要求。

【技术实现步骤摘要】
一种基于深度学习语义分割的被动视觉焊缝跟踪方法


[0001]本专利技术涉及图像处理
，具体是一种基于深度学习语义分割的被动视觉焊缝跟踪方法。

技术介绍

[0002]等离子弧焊是焊接领域的一个重要技术分支，可以更易于控制焊接起弧点以控制焊接质量，且电弧更加集中。近年来，随着焊接工艺的不断优化，等离子弧焊已经在各个工业制造领域内得到了广泛应用。然而在使用等离子弧焊进行拼接板的焊接时，如何让机器人在焊接过程中自动进行轨迹的纠正是一个亟待解决的技术性问题。在进行等离子弧焊时，会产生较强的电弧光，而且焊缝本身特征不明显，这就导致对于焊缝的定位相对比较困难。

技术实现思路

[0003]本专利技术的目的在于提供一种基于深度学习语义分割的被动视觉焊缝跟踪方法，以解决上述
技术介绍
中提出的问题。
[0004]为实现上述目的，本专利技术提供如下技术方案：一种基于深度学习语义分割的被动视觉焊缝跟踪方法，包括以下步骤：
[0005]步骤一：建立视觉系统并且在不借助外部光的情况下采集PAW焊接时的焊缝图像；
>[0006]步骤二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习语义分割的被动视觉焊缝跟踪方法，其特征在于，包括以下步骤：步骤一：建立视觉系统并且在不借助外部光的情况下采集PAW焊接时的焊缝图像；步骤二：基于语义分割对焊缝图像进行分割，提取出其中的弧光和焊缝部分；步骤三：对分割后的图像进行连通域标记，消除误分割部分；步骤四：基于弧光的几何特征确定焊枪位置并对焊缝进行直线拟合，计算出两者之间的偏移量；步骤五：基于先前计算出的偏移量对当前结果进行滤波处理。2.根据权利要求1所述的一种基于深度学习语义分割的被动视觉焊缝跟踪方法，其特征在于：在步骤一中，所述视觉系统具体包括相机和机械臂，其视觉系统采用被动视觉方案，所述相机的镜头设置减光片，所述相机设置在机器臂上，与焊接平台呈30度角。3.根据权利要求1所述的一种基于深度学习语义分割的被动视觉焊缝跟踪方法，其特征在于：在步骤二中，直接采取多类别进行分割，利用BiseNetV2作为网络架构完成对弧光和焊缝特征的提取，所述特征包括几何形状以及灰度分布细节，在训练过程中采用难例挖掘的策略来提升分割效果，所引入的损失函数如下所示：其中，其中，w
k
为类别的权重，K为类别数量，p
kn
为第k类的像素n在gt中的灰度值，f
kn
对应的预测值，N为难例挖掘选择的像素数量。4.根据权利要求1所述...

【专利技术属性】
技术研发人员：杨傲东，陆骏，张杰，徐兴旺，吕日，赵壮，张毅，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：