一种基于级联卷积神经网络的钢件焊缝自动检测方法技术

本发明专利技术提供了一种基于级联卷积神经网络的钢件焊缝自动检测方法，包括以下步骤：S1，利用工业相机和红外激光线对钢件进行扫描，获得焊缝数据；S2，对图像进行焊缝区域标注和中心线标注，完成焊缝参考图像集和中心线参考图像集制作；S3，根据训练算法，利用焊缝数据和焊缝参考图像集训练级联卷积神经网络，同时利用焊缝数据和中心线参考图像集训练中心线提取网络；S4，利用工业相机和红外激光线对待检测钢件进行扫描，获得待检测焊缝数据；S5，将待检测的焊缝数据输入训练好的检测模型中输出检测结果。本发明专利技术能够准确地提取出焊缝位置，极大地提升了抗干扰能力，保证了焊接质量，提高了自动焊接系统的自适应能力。自动焊接系统的自适应能力。自动焊接系统的自适应能力。

【技术实现步骤摘要】
一种基于级联卷积神经网络的钢件焊缝自动检测方法


[0001]本专利技术属于焊缝检测
，具体涉及一种基于级联卷积神经网络的钢件焊缝自动检测方法。

技术介绍

[0002]焊接技术已经成为广泛使用的连接方式之一，主要应用在宇宙航天领域、电子制造领域、机械制造领域以及船舶制造领域等。然而，焊接的现场环境十分的恶劣，在焊接时焊枪所产生的有害气体和焊接时焊枪所产生的刺眼弧光，非常的容易使焊工们的生命安全受到威胁。随着人口老龄化，焊接工人逐年减少，焊接需求却在逐年增加，传统的人工焊接无法承担当前社会的需求。
[0003]而随着人工智能行业以及电子制造技术的发展为焊接行业提供了新思路和新技术，人工智能将会为实现焊接自动化、智能化提供更强有力的技术支撑，能够解决新时代焊接需求，而焊缝检测技术是实现焊接自动化与智能化的关键技术。高效精确的焊缝识别与检测对于实现第三代自主式智能焊接机器人具有极大的工程实际意义。
[0004]随着制造行业自动化进程的迅速发展，金属焊接成为生产过程中必不可少的环节。为满足自动化焊接生产的要求，需要实时获得焊接过程中焊缝的宽度、中心线等位置信息。基于激光视觉的焊缝跟踪已成为自动焊接领域的研究热点。激光视觉传感技术是将激光投射在焊缝表面，形成包含焊缝轮廓信息的焊缝条纹图像，然后进行特征分析。在焊接过程中，因为受到强烈弧光、飞溅和电弧噪声等的干扰，采集到的图像受噪声污染比较严重，难以准确定位，从而直接影响到了焊接的质量。因此，在自动焊接过程中，准确获得焊缝位置信息变得尤为重要。
[0005]应用于焊缝激光线特征提取的方法很多，有按照目标和背景不同级灰度值分割的阈值法和灰度重心法，有提取目标边缘的边缘法和提取图像中心的几何中心法，以及利用Steger算法求光条纹的像素位置等。针对特定类钢件设计的焊缝检测方法能够实现高精度的检测，然而，对不同类别且存在强烈弧光干扰的钢件焊缝检测精度低，难以满足实际焊接跟踪的需求。

技术实现思路

[0006]本专利技术的目的在于克服现有技术的不足，提供了一种基于级联卷积神经网络的钢件焊缝自动检测方法，以解决针对特定类钢件设计的焊缝检测方法能够实现高精度的检测，而对不同类别且存在强烈弧光干扰的钢件焊缝检测精度低等技术问题进行改进，本专利技术具有针对不同类别的钢件焊缝进行检测时精度高，在强烈弧光、飞溅和电弧噪声等干扰下准确地提取出焊缝位置、中心线位置和特征点位置，具有抗干扰能力强、识别准确等优点。
[0007]为实现上述目的，本专利技术提供如下技术方案：一种基于级联卷积神经网络的钢件焊缝自动检测方法，包括以下步骤：
[0008]步骤S1，获取焊缝数据，利用工业相机和红外激光线对钢件进行扫描，获得焊缝数据；
[0009]步骤S2，数据标注，对图像进行焊缝区域标注和中心线标注，完成焊缝参考图像集和中心线参考图像集制作；
[0010]步骤S3，训练级联卷积神经网络和中心线提取网络，根据训练算法，利用焊缝数据和焊缝参考图像集训练级联卷积神经网络，同时利用焊缝数据和中心线参考图像集训练中心线提取网络；
[0011]步骤S4，获取待检测焊缝数据，利用工业相机和红外激光线对待检测钢件进行扫描，获得待检测焊缝数据；
[0012]步骤S5，计算检测结果，将待检测的焊缝数据输入训练好的检测模型中输出检测结果。
[0013]进一步的，所述步骤S2具体包括：
[0014]步骤S2
‑
1，将焊缝数据图像转换为PNG格式；
[0015]步骤S2
‑
2，对经过步骤S2
‑
1处理后的焊缝图像进行标注，标注内容包括焊缝区域的位置和尺寸、中心线的位置和尺寸。
[0016]进一步的，所述步骤S3中，训练算法包括随机梯度训练算法、Adam算法、RMSProp算法、Adagrad算法、Adadelta算法或者Adamax算法。
[0017]进一步的，所述步骤S3中，级联卷积神经网络依次包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第五反卷积层、第六卷积层、第四反卷积层、第七卷积层、第三反卷积层、第八卷积层、第二反卷积层、第一反卷积层、第九卷积层、输出层和Softmax层；低层卷积能够提取到更多具体细节，包括激光条纹边缘信息，而高层卷积能够提取到更多的位置信息，将低层与高层输出进行相加的特征融合，通过进行特征融合补充局部细节特征；在级联卷积神经网络中，将第一卷积层与第二反卷积层、第二卷积层与第三反卷积层、第三卷积层与第四反卷积层、第四卷积层与第五反卷积层的输出进行特征融合。
[0018]进一步的，所述步骤S3中，为了训练级联卷积神经网络，采用交叉熵损失，计算方式如式一所示；
[0019][0020]其中θ1表示级联卷积神经网络的参数，M表示最小批尺寸，N表示块中像素的数量，K表示类别数量；1(y＝k)是一个函数，当y＝k时取1，否则取0；表示第i个块中第j个像素，表示最后一层卷积层在像素的输出；表示像素在真实标签中对应的像素；
[0021]像素属于第k类的概率为计算方式如式二所示；
[0022][0023]进一步的，所述步骤S3中，中心线提取网络依次包括输入层、第一卷积层、第一池
化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第三上池化层、第三反卷积层、第二上池化层、第二反卷积层、第一上池化层、第一反卷积层、输出层、Softmaxc层；相较于级联卷积神经网络，中心线提取网络也包含编码层和解码层，但是中心线提取网络结构更小；一方面，级联卷积神经网络的最后一层卷积层输出的特征图包含的干扰信息比原图更少，中心线提取网络可以将此特征图作为网络的输入；另一方面，与焊缝检测相比，只需要使用较少的中心线像素去训练中心线提取网络。
[0024]进一步的，所述步骤S3中，为了训练中心线提取网络，采用交叉熵损失，计算方式如式三所示；
[0025][0026]其中θ2表示中心线提取网络的参数，1(z＝k)是一个函数，当z＝k时取1，否则取0；表示中心提取网络最后一层反卷积层的输出；表示像素在中心线真实标签中对应的像素；
[0027]像素属于第k类的概率为计算方式如式四所示；
[0028][0029]进一步的，步骤S3中，网络整体损失计算方式如式五所示；
[0030]Loss(θ1，θ2)＝loss
seg
(y，f(x)，θ1)+loss
cen
(z，h(x)，θ2)
ꢀꢀꢀ
式五。
[0031]进一步的，所述步骤S5具体包括：
[0032]步骤S5
‑
1，利用灰度质心法对中心线进行细化；
[0033]步骤S5
‑
2，对于单道焊，采用最小二乘法LSM对中心线进行拟合，中心线的交点即特征点的位置；对于多道焊，采用NURBS对中心线进行曲线拟合，通过对拟合曲线求导得到特征点的位置。
[0034]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于级联卷积神经网络的钢件焊缝自动检测方法，其特征在于：包括以下步骤：步骤S1，获取焊缝数据，利用工业相机和红外激光线对钢件进行扫描，获得焊缝数据；步骤S2，数据标注，对图像进行焊缝区域标注和中心线标注，完成焊缝参考图像集和中心线参考图像集制作；步骤S3，训练级联卷积神经网络和中心线提取网络，根据训练算法，利用焊缝数据和焊缝参考图像集训练级联卷积神经网络，同时利用焊缝数据和中心线参考图像集训练中心线提取网络；步骤S4，获取待检测焊缝数据，利用工业相机和红外激光线对待检测钢件进行扫描，获得待检测焊缝数据；步骤S5，计算检测结果，将待检测的焊缝数据输入训练好的检测模型中输出检测结果。2.根据权利要求1所述的一种基于级联卷积神经网络的钢件焊缝自动检测方法，其特征在于：所述步骤S2具体包括：步骤S2
‑
1，将焊缝数据图像转换为PNG格式；步骤S2
‑
2，对经过步骤S2
‑
1处理后的焊缝图像进行标注，标注内容包括焊缝区域的位置和尺寸、中心线的位置和尺寸。3.根据权利要求1所述的一种基于级联卷积神经网络的钢件焊缝自动检测方法，其特征在于：所述步骤S3中，训练算法包括随机梯度训练算法、Adam算法、RMSProp算法、Adagrad算法、Adadelta算法或者Adamax算法。4.根据权利要求1所述的一种基于级联卷积神经网络的钢件焊缝自动检测方法，其特征在于：所述步骤S3中，级联卷积神经网络依次包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第五反卷积层、第六卷积层、第四反卷积层、第七卷积层、第三反卷积层、第八卷积层、第二反卷积层、第一反卷积层、第九卷积层、输出层和Softmax层；低层卷积能够提取到更多具体细节，包括激光条纹边缘信息，而高层卷积能够提取到更多的位置信息，将低层与高层输出进行相加的特征融合，通过进行特征融合补充局部细节特征；在级联卷积神经网络中，将第一卷积层与第二反卷积层、第二卷积层与第三反卷积层、第三卷积层与第四反卷积层、第四卷积层与第五反卷积层的输出进行特征融合。5.根据权利要求4所述的一种基于级联卷积神经网络的钢件焊缝自动检测方法，其特征在于：所述步骤S3中，为了训练级联卷积神经网络，采用交叉熵损失，计算方式如式一所示；其中θ1表示级联卷积神经网络的参数，M表示最小批尺寸，N表示块中像素的数量，K表示类别数量；1(y＝k)是一个函数，当y＝k时取1，否则取0；表示第i个块中第j个像素，表示最后一层卷积层在像素的输出；表示像素在...

【专利技术属性】
技术研发人员：李渭，翟翊君，赵迎泽，闵卫东，徐健锋，金世锋，姚恒科，
申请(专利权)人：南昌大学，
类型：发明
国别省市：