焊缝图像的激光条纹提取方法、系统、设备及存储介质技术方案

本发明专利技术属于焊缝图像处理领域，公开了一种焊缝图像的激光条纹提取方法、系统、设备及存储介质，包括获取焊缝图像，将焊缝图像输入预设的激光条纹提取模型中进行激光条纹提取，得到焊缝图像的激光条纹掩码图像；将焊缝图像与激光条纹掩码图像进行与运算，得到焊缝图像的激光条纹。激光条纹提取模型通过训练轻量化特征提取模型得到，能够有效降低特征图冗余的情况，进而降低整个模型的参数量。此外设置多头注意力机制层，相较于单纯卷积的方式能够有效提升模型的精度，将对应编码层和解码层的特征拼接起来，有效增强分割效果，在保证轻量化的同时不降低模型的提取精度，在保证激光条纹提取结果准确性的同时，极大的降低运算时间和运算成本。算成本。算成本。

【技术实现步骤摘要】
焊缝图像的激光条纹提取方法、系统、设备及存储介质


[0001]本专利技术属于图形数据读取领域，涉及一种焊缝图像的激光条纹提取方法、系统、设备及存储介质。

技术介绍

[0002]焊接是一种将多个工件连接成一个整体的重要制造工艺，在汽车制造业、造船业及航空航天业等工业领域有着广泛的应用。近年来随着经济的高速发展，对于焊接的质量及焊接的效率均提出了更高的要求，传统的手工焊接方式，受限于技术水平，恶劣的焊接环境等客观和主观因素，已经不能满足现代化制造业的需求，智能焊接机器人的应用解决了上述问题，大大提高了焊接的质量与效率。
[0003]智能焊接机器人的关键技术是获取焊缝信息从而来指导机器人完成焊接工作。目前，基于激光的结构光视觉的焊缝跟踪方案由于抗干扰性好，测量精度高等特点被广泛采用。基于激光的结构光视觉的方案通过激光发生器向工件表面投射激光产生激光结构光平面，形成激光条纹，然后通过工业摄像机采集焊缝图像，由焊缝读取方法对图像数据进行读取，分割出焊缝，最后由特征提取方法提取焊缝信息，为焊缝跟踪系统提供参数指引机器人完成焊接。
[0004]但是，由于在实际的焊接过程中会产生大量的弧光、飞溅和烟雾等噪声，导致采集到的图像数据充斥着大量的图像噪声，对焊缝的分割提出了极大的挑战，传统的基于图像处理的分割方法极易受到图像中强烈噪声的影响，导致分割精度降低，而基于深度学习的方法虽然取得了较好的精度，但是由于计算量大，反应速度慢，成本高等缺点难以应用到实际的生产环境。

技术实现思路

[0005]本专利技术的目的在于克服上述现有技术中，目前进行焊缝图像的激光条纹提取时，提取结果精度不高或计算量大及计算成本高的缺点，提供一种焊缝图像的激光条纹提取方法、系统、设备及存储介质。
[0006]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0007]本专利技术第一方面，提供一种焊缝图像的激光条纹提取方法，包括：获取焊缝图像，以及将焊缝图像输入预设的激光条纹提取模型中进行激光条纹提取，得到焊缝图像的激光条纹掩码图像；将焊缝图像与激光条纹掩码图像进行与运算，得到焊缝图像的激光条纹。其中，激光条纹提取模型通过训练轻量化特征提取模型得到；所述轻量化特征提取模型包括编码器、稀疏自注意力层、解码器和分割头；编码器包括依次连接的第一编码层、第二编码层、第三编码层和第四编码层，稀疏自注意力层包括依次连接的第一卷积单元和多头注意力机制层，解码器包括依次连接的第一解码层、第二解码层、第三解码层和第四解码层；第一编码层的输出与第四解码层的输入连接；第二编码层的输出与第三解码层的输入连接；第三编码层的输出与第二解码层的输入连接；第四编码层的输出与第一解码层的输入连
接；第四编码层的输出与第一卷积单元的输入连接，多头注意力机制层的输出与第一解码层的输入连接；第四解码层的输出与分割头的输入连接；第一编码层、第二编码层、第三编码层、第四编码层以及第一解码层均包括依次连接的第二卷积单元和动态压缩多层感知机；动态压缩多层感知机包括依次连接的深度卷积层、第一归一化层、第一多层感知机、第二多层感知机和第一激活层；第一卷积单元、第二卷积单元、第二解码层、第三解码层、第四解码层、深度卷积层和分割头均通过卷积块构建。
[0008]可选的，训练轻量化特征提取模型时，采用如下的损失函数
[0009][0010]其中，其中，其中，为输入当前焊缝图像后轻量化特征提取模型输出的激光条纹掩码图像的像素值矩阵，y为当前焊缝图像的人工标注激光条纹掩码图像的像素值矩阵；y
i
为y中的第i个元素值；n为和y中的元素值总数；|Q|为矩阵Q中非零元素值的个数，或y；y
i
＝0或1；其中，y
i
＝1表示轻量化特征提取模型输出的激光条纹掩码图像的第i个像素点为激光条纹像素点，y
i
＝0表示轻量化特征提取模型输出的激光条纹掩码图像的第i个像素点为背景像素点；为中的第i个元素值，或1；其中，表示人工标注激光条纹掩码图像的第i个像素点为激光条纹像素点，表示人工标注激光条纹掩码图像的第i个像素点为背景像素点。
[0011]可选的，训练轻量化特征提取模型时，利用反向传播更新轻量化特征提取模型的模型参数。
[0012]可选的，所述第一卷积单元、第二编码层的第二卷积单元、第三编码层的第二卷积单元、第四编码层的第二卷积单元以及第一解码层的第二卷积单元均为2
×
2卷积块；所述第一编码层的第二卷积单元为4
×
4卷积块；所述第二解码层、第三解码层以及第四解码层均为3
×
3卷积块，所述分割头为1
×
1卷积块。
[0013]可选的，所述深度卷积层为3
×
3卷积块，第一归一化层为BN层，第一归一化层的激活函数为SiLu激活函数，第一激活层的激活函数为GELU激活函数。
[0014]可选的，所述编码器还包括第一动态压缩注意力层，所述解码器还包括第二动态压缩注意力层；第四编码层通过第一动态压缩注意力层与第一卷积单元和第一解码层连接；第一解码层通过第二动态压缩注意力层与第二解码层连接；第一动态压缩注意力层和第二动态压缩注意力层均包括依次连接的自适应最大池化层、第三多层感知机、第二归一化层、第四多层感知机、第二激活层、上采样层、第三激活层和乘法运算层；第一动态压缩注意力层的自适应池化层和乘法运算层的输入共同作为第一动态压缩注意力层的输入；第二动态压缩注意力层的自适应池化层和乘法运算层的输入共同作为第二动态压缩注意力层的输入；第一动态压缩注意力层的乘法运算层用于将第一动态压缩注意力层的输入及第一动态压缩注意力层的第三激活层的输出相乘；第二动态压缩注意力层的乘法运算层用于将第二动态压缩注意力层的输入及第二动态压缩注意力层的第三激活层的输出相乘。
[0015]可选的，所述第二归一化层为LN层，第二激活层的激活函数为GELU激活函数，上采样层为双线性插值函数，第三激活层的激活函数为Sigmoid激活函数。
[0016]本专利技术第二方面，提供一种焊缝图像的激光条纹提取系统，包括：模型调用模块，用于获取焊缝图像，以及将焊缝图像输入预设的激光条纹提取模型中进行激光条纹提取，得到焊缝图像的激光条纹掩码图像；图像处理模块，用于将焊缝图像与激光条纹掩码图像进行与运算，得到焊缝图像的激光条纹；其中，激光条纹提取模型通过训练轻量化特征提取模型得到；所述轻量化特征提取模型包括编码器、稀疏自注意力层、解码器和分割头；编码器包括依次连接的第一编码层、第二编码层、第三编码层和第四编码层，稀疏自注意力层包括依次连接的第一卷积单元和多头注意力机制层，解码器包括依次连接的第一解码层、第二解码层、第三解码层和第四解码层；第一编码层的输出与第四解码层的输入连接；第二编码层的输出与第三解码层的输入连接；第三编码层的输出与第二解码层的输入连接；第四编码层的输出与第一解码层的输入连接；第四编码层的输出与第一卷积单元的输入连接，多头注意力机制层的输出与第一解码层的输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种焊缝图像的激光条纹提取方法，其特征在于，包括：获取焊缝图像，以及将焊缝图像输入预设的激光条纹提取模型中进行激光条纹提取，得到焊缝图像的激光条纹掩码图像；将焊缝图像与激光条纹掩码图像进行与运算，得到焊缝图像的激光条纹；其中，激光条纹提取模型通过训练轻量化特征提取模型得到；所述轻量化特征提取模型包括编码器、稀疏自注意力层、解码器和分割头；编码器包括依次连接的第一编码层、第二编码层、第三编码层和第四编码层，稀疏自注意力层包括依次连接的第一卷积单元和多头注意力机制层，解码器包括依次连接的第一解码层、第二解码层、第三解码层和第四解码层；第一编码层的输出与第四解码层的输入连接；第二编码层的输出与第三解码层的输入连接；第三编码层的输出与第二解码层的输入连接；第四编码层的输出与第一解码层的输入连接；第四编码层的输出与第一卷积单元的输入连接，多头注意力机制层的输出与第一解码层的输入连接；第四解码层的输出与分割头的输入连接；第一编码层、第二编码层、第三编码层、第四编码层以及第一解码层均包括依次连接的第二卷积单元和动态压缩多层感知机；动态压缩多层感知机包括依次连接的深度卷积层、第一归一化层、第一多层感知机、第二多层感知机和第一激活层；第一卷积单元、第二卷积单元、第二解码层、第三解码层、第四解码层、深度卷积层和分割头均通过卷积块构建。2.根据权利要求1所述的焊缝图像的激光条纹提取方法，其特征在于，训练轻量化特征提取模型时，采用如下的损失函数提取模型时，采用如下的损失函数其中，其中，其中，为输入当前焊缝图像后轻量化特征提取模型输出的激光条纹掩码图像的像素值矩阵，y为当前焊缝图像的人工标注激光条纹掩码图像的像素值矩阵；y
i
为y中的第i个元素值；n为和y中的元素值总数；|Q|为矩阵Q中非零元素值的个数，和y中的元素值总数；|Q|为矩阵Q中非零元素值的个数，或y；y
i
＝0或1；其中，y
i
＝1表示轻量化特征提取模型输出的激光条纹掩码图像的第i个像素点为激光条纹像素点，y
i
＝0表示轻量化特征提取模型输出的激光条纹掩码图像的第i个像素点为背景像素点；为中的第i个元素值，或1；其中，表示人工标注激光条纹掩码图像的第i个像素点为激光条纹像素点，表示人工标注激光条纹掩码图像的第i个像素点为背景像素点。3.根据权利要求2所述的焊缝图像的激光条纹提取方法，其特征在于，训练轻量化特征提取模型时，利用反向传播更新轻量化特征提取模型的模型参数。4.根据权利要求1所述的焊缝图像的激光条纹提取方法，其特征在于，所述第一卷积单元、第二编码层的第二卷积单元、第三编码层的第二卷积单元、第四编码层的第二卷积单元以及第一解码层的第二卷积单元均为2
×
2卷积块；所述第一编码层的第二卷积单元为4
×
4卷积块；所述第二解码层、第三解码层以及第四解码层均为3
×
3卷积块，所述分割头为1
×
1卷积块。5.根据权利要求1所述的焊缝图像的激光条纹提取方法，其特征在于，所述深度卷积层
为3
×

【专利技术属性】
技术研发人员：王聪聪，陈佳，石凡，赵萌，景岩，
申请(专利权)人：西咸新区大熊星座智能科技有限公司，
类型：发明
国别省市：