【技术实现步骤摘要】
本专利技术涉及涉及一种基于时序信息融合的鲁棒实时焊缝跟踪方法，属于焊缝跟踪。
技术介绍
1、工业机器人在工业生产中的应用，使得焊接领域的智能化和自动化迅速发展，显著提高了焊接的效率和质量。在传统的工业机器人焊接作业中，主要是采用示教路径的模式进行生产，需要人工预设轨迹进行重复作业。但对于一些工业生产来说，需要大量的重复工作，在这种情境下的工作效率低下，难以满足如今智能化焊接的要求。随着激光视觉的快速发展，利用激光传感器进行自动化焊缝跟踪成为趋势。在实际焊接工作中，会产生大量飞溅、烟尘等焊接噪声，这可能会导致焊缝跟踪错误。本专利技术针对激光视觉焊缝跟踪的精准跟踪展开研究。
2、传统的焊缝跟踪技术主要基于形态学图像处理，通过对焊接获取的图像数据进行分析，来确定焊缝特征点的位置。常用的方法包括滤波去噪、模板匹配、特征提取和分类识别等。
3、现有技术中利用中值滤波、阈值分割等形态学方法提取焊缝特征，设计了一个自动焊接跟踪系统；在通过自适应直方图均衡化最大化缺陷和背景之间的对比度之后，进行焊缝去噪跟踪。采用开放运算的去噪点法和ostu 算法获得图像二值化阈值，生成二值化图像，对图像进行进一步降噪，以获得焊缝的准确数据。通过图像差分和质心算法提取焊缝位置变量，提出一种激光焊缝跟踪方法。这些方法在一些固定、简单的环境下可以取得较好的效果，但在复杂的焊接环境中，如焊接过程中的强噪声、焊接材料的不同和焊缝形态的多样性时，它们的性能往往受到限制。
4、近年来，随着计算机视觉与深度学习技术的兴起，基于深度神经网络的
5、但大多数现有方法针对于单图像处理，而忽略了焊接过程中的时序信息。在这背景下，如何结合时序信息与抗噪处理，深入挖掘焊缝的特性，并实现实时焊缝跟踪，成为了重要的研究方向。
6、因此，需要一种基于时序信息融合的鲁棒实时焊缝跟踪方法以解决上述问题。
技术实现思路
1、专利技术目的：针对现有技术所存在的问题，本专利技术提供一种基于时序信息融合的鲁棒实时焊缝跟踪方法。
2、一种基于时序信息融合的鲁棒实时焊缝跟踪方法，采用主动式激光视觉焊缝跟踪系统，所述主动式激光视觉焊缝跟踪系统包括工业相机、激光发射器和焊接机器人，所述工业相机正对焊接工件，所述激光发射器和工业相机固定所述焊接机器人的机械臂上，包括如下步骤：
3、一、利用所述激光发射器投射到焊接工件的焊缝上形成激光条纹，由所述工业相机拍摄得到激光条纹图像序列；
4、二、对步骤一得到的激光条纹图像序列进行数据预处理，得到预处理图像序列；
5、三、对步骤二得到的所述预处理图像序列进行标注获得焊缝跟踪数据集；
6、四、利用步骤三得到的所述焊缝跟踪数据集训练焊缝跟踪模型，
7、所述焊缝跟踪模型包括时序信息采样模块、特征提取模块、时空信息融合模块和分类回归损失模块；
8、所述时序信息采样模块用于从预处理图像序列中采样得到激光条纹记忆图像；
9、所述特征提取模块用于对所述激光条纹记忆图像与目标激光条纹图像进行特征提取；
10、所述时空信息融合模块用于根据所述特征提取模块的激光条纹图像特征利用时序信息融合生成合成特征图；
11、所述分类回归损失模块用于根据所述时空信息融合模块的合成特征图实现目标背景分类与回归目标跟踪矩形框；
12、五、利用步骤四得到的所述焊缝跟踪模型对目标激光条纹图像进行焊缝跟踪。
13、更进一步的，步骤二中对步骤一得到的焊缝激光条纹图像序列进行数据预处理，包括以下步骤：
14、21、对激光条纹图像序列中图像感兴趣区域进行剪裁，得到裁剪后图像序列；
15、22、对步骤21得到的剪裁后图像序列中图像进行激光中心线提取，得到初始化焊缝特征点的焊缝激光条纹图像序列。
16、数据预处理包括图像剪裁、激光中心线提取。本专利技术中采集原始分辨率图像会消耗算法推理时间，在不损失焊缝特征前提下通过图像剪裁到原始分辨率的一半，并通过激光中心线提取得到初始化焊缝特征点。
17、更进一步的，步骤三中所述焊缝跟踪数据集中数据由焊缝激光条纹图像与真实标签gt组成，其中，真实标签gt为以焊缝特征点为中心的矩阵框。
18、更进一步的，步骤四中所述焊缝跟踪模型还包括质量评估模块，所述质量评估模块用于对激光条纹记忆图像序列中图像进行噪声质量评估。
19、焊接视频序列中采样部分焊接图像作为记忆图像，再对焊缝记忆图像进行质量评估，筛选出不同噪声质量的图像作为时序信息保存。
20、焊接序列中采样部分焊接图像作为记忆图像，再对焊接记忆帧进行质量评估，筛选出不同噪声质量的图像作为参考信息保存。
21、更进一步的，步骤四中所述特征提取模块采用googlenet网络。利用深层卷积神经网络提取焊缝特征，提高了焊缝跟踪准确率。
22、更进一步的，步骤四中所述特征提取模块分别对焊缝记忆图像序列和目标激光条纹图像提取激光条纹图像特征，得到记忆特征fm 与目标特征ft。
23、采用非对称的卷积拆分结构可以处理更多、更丰富的空间特征，采用不同大小的卷积核意味着不同的感受野提取激光条纹图像特征。
24、更进一步的，所述时空信息融合模块用于根据所述特征提取模块的激光条纹图像特征利用时序信息融合生成合成特征图，包括以下步骤:
25、421、对所述特征提取模块得到的记忆特征fm 与目标特征ft进行卷积操作，利用权重卷积核k调整记忆特征fm 与目标特征ft的权重，得到通道特征增强后的记忆特征fm 与目标特征ft ；
26、其中，权重卷积核k通过下式计算得到：
27、
28、其中，c为特征维度即通道数，和b均为常数；
29、422、利用通道特征增强后的记忆特征fm 与目标特征ft ，通过下式计算得到一个相似矩阵x:
30、 ，
31、其中，i、j、k均为像素索引，是防溢出因子， ，表示向量点乘运算；
32、423、将记忆特征fm与相似矩阵x相乘，得到一个与目标特征ft大小相同的特征图,其中，特征图中元素通过下式得到：
33、
34、其中，表示矩阵乘法；
35、424、将特征图与目标特征ft拼接融合得到合成特征图。
36、步骤421中通过卷积操作不改变特征通道数的同时利用权重卷积核k调整各通道特征的权重。焊接过程存在电弧、飞溅等随机噪声，利用焊接时序信息从背景噪声中学习到目标的特征，从背景中将目标分离出来，从时序信息中检索出历史信息与目标信息进行特征融合，再利用本文档来自技高网...
【技术保护点】
1.一种基于时序信息融合的鲁棒实时焊缝跟踪方法，其特征在于，采用主动式激光视觉焊缝跟踪系统，所述主动式激光视觉焊缝跟踪系统包括工业相机、激光发射器和焊接机器人，所述工业相机正对焊接工件，所述激光发射器和工业相机固定所述焊接机器人的机械臂上，包括如下步骤：
2.如权利要求1所述的基于时序信息融合的鲁棒实时焊缝跟踪方法，其特征在于，步骤二中对步骤一得到的焊缝激光条纹图像序列进行数据预处理，包括以下步骤：
3.如权利要求1所述的基于时序信息融合的鲁棒实时焊缝跟踪方法，其特征在于，步骤三中所述焊缝跟踪数据集中数据由焊缝激光条纹图像与真实标签GT组成，其中，真实标签GT为以焊缝特征点为中心的矩阵框。
4.如权利要求1所述的基于时序信息融合的鲁棒实时焊缝跟踪方法，其特征在于，步骤四中所述焊缝跟踪模型还包括质量评估模块，所述质量评估模块用于对焊缝记忆图像序列中图像进行噪声质量评估。
5.如权利要求1所述的基于时序信息融合的鲁棒实时焊缝跟踪方法，其特征在于，步骤四中所述特征提取模块采用GoogleNet网络。
6.如权利要求5所述的基于
7.如权利要求6所述的基于时序信息融合的鲁棒实时焊缝跟踪方法，其特征在于，所述时空信息融合模块用于根据所述特征提取模块的激光条纹图像特征利用时序信息融合生成合成特征图，包括以下步骤:
8.如权利要求7所述的基于时序信息融合的鲁棒实时焊缝跟踪方法，其特征在于，步骤421中，b=1。
9.如权利要求1所述的基于时序信息融合的鲁棒实时焊缝跟踪方法，其特征在于，步骤四中所述分类回归损失模块通过下式计算分类网络损失，得到目标背景分类：
10.如权利要求1所述的基于时序信息融合的鲁棒实时焊缝跟踪方法，其特征在于，步骤一中激光条纹图像序列中图像为模拟焊缝激光条纹图像，所述模拟焊缝激光条纹图像为无背景噪声的焊缝激光条纹图像和不包含激光条纹的背景噪声图像叠加处理而成，其中，无背景噪声的焊缝激光条纹图像为焊接状态关闭时，按照设定路径，打开激光发射器采集得到，不包含激光条纹的背景噪声图像为焊接状态开启时，按照设定路径，关闭激光发射器进行不包含激光条纹的背景噪声图像采集。
...【技术特征摘要】
1.一种基于时序信息融合的鲁棒实时焊缝跟踪方法，其特征在于，采用主动式激光视觉焊缝跟踪系统，所述主动式激光视觉焊缝跟踪系统包括工业相机、激光发射器和焊接机器人，所述工业相机正对焊接工件，所述激光发射器和工业相机固定所述焊接机器人的机械臂上，包括如下步骤：
2.如权利要求1所述的基于时序信息融合的鲁棒实时焊缝跟踪方法，其特征在于，步骤二中对步骤一得到的焊缝激光条纹图像序列进行数据预处理，包括以下步骤：
3.如权利要求1所述的基于时序信息融合的鲁棒实时焊缝跟踪方法，其特征在于，步骤三中所述焊缝跟踪数据集中数据由焊缝激光条纹图像与真实标签gt组成，其中，真实标签gt为以焊缝特征点为中心的矩阵框。
4.如权利要求1所述的基于时序信息融合的鲁棒实时焊缝跟踪方法，其特征在于，步骤四中所述焊缝跟踪模型还包括质量评估模块，所述质量评估模块用于对焊缝记忆图像序列中图像进行噪声质量评估。
5.如权利要求1所述的基于时序信息融合的鲁棒实时焊缝跟踪方法，其特征在于，步骤四中所述特征提取模块采用googlenet网络。
6.如权利要求5所述的基于时序信息融合的鲁棒实时焊缝跟踪方法，其特征...
【专利技术属性】
技术研发人员：张毅，赵宇，赵壮，陆骏，韩静，吴梓剑，高鹏，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。