融合Transformer的中大型复杂构件焊缝识别方法技术

本发明专利技术公开了一种融合Transformer的中大型复杂构件焊缝识别方法，包括：S1.采集焊缝样本图像信息；S2.构建构件焊缝识别模型，将焊缝样本图像信息输入到构件焊缝识别模型进行模型训练，得到训练好的构件焊缝识别模型；S3.将待测构件的焊缝图像信息输入到训练好的构件焊缝识别模型，输出待测构件的焊缝识别结果。本发明专利技术能够保证检测速度的前提下，极大地提高焊缝检测精度，且抗干扰能力强、鲁棒性高。鲁棒性高。鲁棒性高。

【技术实现步骤摘要】
融合Transformer的中大型复杂构件焊缝识别方法


[0001]本专利技术涉及中大型复杂构件领域，具体涉及一种融合Transformer的中大型复杂构件焊缝识别方法。

技术介绍

[0002]专用车、工程机械、大型装备、非标设备等制造领域中存在较多需焊接加工的中大型复杂构件，其通常具有体积大、焊缝不规则、焊缝离散分布等特性，为了提高专用车、工程机械、大型装备、非标设备等大尺寸复杂构件的焊接加工智能化水平，有必要对构件焊缝进行识别。
[0003]目前，主要采用目标检测的方式对焊缝进行识别，随着卷积神经网络(CNN)的不断成熟，目标检测中也逐渐开始运用大量以卷积神经网络为主体网络结构的算法。在诸多卷积神经网络结构中，主要分为one
‑
stage算法、two
‑
stage算法两大类。
[0004]one
‑
stage算法的主要代表有SSD、YOLO，YOLO算法将目标定位和目标分类作为整体进行回归分析。在YOLOv1原有的网络基础上进行优化后，更强大的YOLOv2～YOLOv3被相继提出。随后的YOLOv4模型改进了原先的YOLO系列模型的主干网络，将检测精度和速度进行了提升。而YOLOv5的横空出世，打破了原先YOLO系列算法的特征提取方式，主干网络采用BottleneckCSP和Focus替换原有的SPP，并且还将FPN和PAN相结合形成新的头部网络，使得算法更容易提取小目标的一些特征信息。
[0005]two
‑
stage算法主要代表有RCNN、Faster R
‑
CNN、Mask R
‑
CNN。其中，Muhammad J等人从自动焊接机器人的角度提出了基于主动视觉传感的智能机器人焊缝分析技术。也有针对焊接机器人焊缝的跟踪提出了一种基于视觉的图像处理算法，并在OpenCV平台搭建了焊缝图像识别程序。周思羽等人在2023年提出了一种融入注意力机制的改进U
‑
Net鲁棒焊缝识别算法，但识别的焊缝对象较为单一。
[0006]综上，One
‑
stage算法的检测速度快但精度稍逊，而two
‑
stage算法的精度高但速度慢，将检测速度与检测精度进行折中是目标检测算法优化的主要问题，因此，需要一种融合Transformer的中大型复杂构件焊缝识别方法，能够解决上述问题。

技术实现思路

[0007]有鉴于此，本专利技术的目的是克服现有技术中的缺陷，提供融合Transformer的中大型复杂构件焊缝识别方法，能够保证检测速度的前提下，极大地提高焊缝检测精度，且抗干扰能力强、鲁棒性高。
[0008]本专利技术的融合Transformer的中大型复杂构件焊缝识别方法，包括如下步骤：
[0009]S1.采集焊缝样本图像信息；
[0010]S2.构建构件焊缝识别模型，将焊缝样本图像信息输入到构件焊缝识别模型进行模型训练，得到训练好的构件焊缝识别模型；
[0011]S3.将待测构件的焊缝图像信息输入到训练好的构件焊缝识别模型，输出待测构
件的焊缝识别结果。
[0012]进一步，构建构件焊缝识别模型，具体包括：
[0013]将自注意力机制Transformer模块与YOLOv5网络模型Backbone模块的C3网络层进行融合，得到融合后的YOLOv5网络模型，并将融合后的YOLOv5网络模型作为构件焊缝识别模型。
[0014]进一步，所述构件焊缝识别模型采用SiLU作为激活函数；
[0015]根据如下公式确定激活函数SiLU(x)：
[0016]SiLU(x)＝xsigmoid(x)
[0017]其中，x是输入值。
[0018]进一步，根据如下公式确定构件焊缝识别模型的损失函数L(all)：
[0019]L(all)＝L(box)+L(obj)+L(cls)；
[0020]其中，L(box)为定位损失；L(obj)为置信度损失；L(cls)为类别损失。
[0021]进一步，定位损失、置信度损失以及类别损失均采用如下损失模型L(CIOU)：
[0022][0023]其中，A表示预测框面积，B表示真实框面积，θ表示预测框的中心点，θ
gt
表示真实框的中心点，β()表示两中心点之间的欧式距离函数，C表示能够同时包含预测框与真实框的最小闭包区域的对角线距离，所述对角线的起点以及终点属于预测框和/或真实框，α为权重系数，v是反映预测框和真实框一致性的参数，w
gt
为真实框的宽度，h
gt
为真实框的长度，w为预测框的宽度，h为预测框的长度。
[0024]进一步，将焊缝样本图像信息输入到构件焊缝识别模型进行模型训练，具体包括：
[0025]将焊缝样本图像信息制作成coco数据集；
[0026]对coco数据集进行数据增强处理，得到增强后的数据集；
[0027]采用转置卷积对增强后的数据集进行上采样，并对构件焊缝识别模型进行训练，得到训练权重文件。
[0028]进一步，所述数据增强处理包括旋转、镜像以及随机拼接。
[0029]进一步，根据如下公式进行转置卷积：
[0030]A1＝H
T
B1；
[0031]其中，A1、B1分别是A、B矩阵对应的向量展开式，B表示输入矩阵，A表示输出矩阵；H为卷积核对应的稀疏矩阵。
[0032]本专利技术的有益效果是：本专利技术公开的一种融合Transformer的中大型复杂构件焊缝识别方法，通过在YOLOv5算法的基础之上引入了一种自注意力机制Transformer,并将其融合到YOLOv5的Backbone中，使得原始YOLOv5网络提取图片特征的方式由特征金字塔
(FPN)对图片进行下采样、上采样、池化变为局部特征和全局特征相互结合，增强了网络对图片特征的敏感程度，加快了焊缝识别速度，提高了焊缝识别模型的检测精度。
附图说明
[0033]下面结合附图和实施例对本专利技术作进一步描述：
[0034]图1为本专利技术的识别方法流程示意图；
[0035]图2为本专利技术的改进后的YOLOv5网络结构示意图；
[0036]图3为本专利技术的包含预测框与真实框的最小闭包区域示意图；
[0037]图4为本专利技术的Transformer网络结构示意图；
[0038]图5为本专利技术的Encoder
‑
Decoder原理示意图；
[0039]图6为本专利技术的CTR3网络结构示意图。
具体实施方式
[0040]以下结合说明书附图对本专利技术做出进一步的说明，如图所示：
[0041]本专利技术的融合Transformer的中大型复杂构件焊缝识别方法，包括如下步骤：
[0042]S1.采集焊缝样本图像信息；
[0043]S2.本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合Transformer的中大型复杂构件焊缝识别方法，其特征在于：包括如下步骤：S1.采集焊缝样本图像信息；S2.构建构件焊缝识别模型，将焊缝样本图像信息输入到构件焊缝识别模型进行模型训练，得到训练好的构件焊缝识别模型；S3.将待测构件的焊缝图像信息输入到训练好的构件焊缝识别模型，输出待测构件的焊缝识别结果。2.根据权利要求1所述的融合Transformer的中大型复杂构件焊缝识别方法，其特征在于：构建构件焊缝识别模型，具体包括：将自注意力机制Transformer模块与YOLOv5网络模型Backbone模块的C3网络层进行融合，得到融合后的YOLOv5网络模型，并将融合后的YOLOv5网络模型作为构件焊缝识别模型。3.根据权利要求2所述的融合Transformer的中大型复杂构件焊缝识别方法，其特征在于：所述构件焊缝识别模型采用SiLU作为激活函数；根据如下公式确定激活函数SiLU(x)：SiLU(x)＝xsigmoid(x)其中，x是输入值。4.根据权利要求2所述的融合Transformer的中大型复杂构件焊缝识别方法，其特征在于：根据如下公式确定构件焊缝识别模型的损失函数L(all)：L(all)＝L(box)+L(obj)+L(cls)；其中，L(box)为定位损失；L(obj)为置信度损失；L(cls)为类别损失。5.根据权利要求4所述的融合Transformer的中大型复杂构件焊缝识别方法，其特征在于：定位损失、置信度损失...

【专利技术属性】
技术研发人员：刘宗敏，黎杰，李祖锋，敖文刚，王吉睿，古真杰，王松，黄国羊，
申请(专利权)人：重庆凯瑞机器人技术有限公司，
类型：发明
国别省市：