一种基于Transformer神经网络的焊缝点位置提取方法技术

本发明专利技术提供一种基于Transformer神经网络的焊缝点位置提取方法，所述方法包括：采集焊缝图片作为训练样本，对训练样本进行特征点提取；获取特征点的坐标信息，并进行归一化处理；将处理后的数据输入到训练网络中，输出训练结果，将训练结果与真实值进行比较，输出并保存最优训练参数；将所述最优训练参数输入到训练网络中，得到最终的焊缝网络模型；采集待检测的焊缝图片，进行特征点提取与数据处理之后，输入到最终的焊缝网络模型，得到待检测的焊缝图片的焊缝点坐标信息；将获取到的焊缝点坐标信息输出给焊接机器人，通过焊接机器人执行自动化焊接操作。本发明专利技术提高了焊缝点位置提取的精度和效率，使其满足机器人焊接的实时性需求和相关工业性标准。和相关工业性标准。和相关工业性标准。

【技术实现步骤摘要】
一种基于Transformer神经网络的焊缝点位置提取方法


[0001]本专利技术涉及领域焊接机器人
，尤其涉及一种基于Transformer神经网络的焊缝点位置提取方法。

技术介绍

[0002]焊接机器人是从事焊接(包括切割与喷涂)的工业机器人，在焊接机器人进行实际焊接的过程中，由于环境或人为因素的影响，例如：高温、尘埃、强光辐射、手抖、人为精度判断失误等原因，从而导致了焊缝存在偏焊、气孔、熔深不足等问题，这些问题不仅给焊接过程和后续使用过程带来安全隐患，同时造成了企业或工厂的利益损失。因此，提高焊接机器人对焊缝位置提取的准确度至关重要，不但可以弥补安全隐患，同时提高企业或工厂的效益。
[0003]传统的焊缝检测方法需要人工启发式的重复搜寻焊缝内点，每检测一次都需要损耗大量时间，且当数据过多的时候，准确度差。现有的一些基于卷积神经网络的方法虽然准确率相比与传统方法得到了显著提高，但无法在焊缝图像中准确定位出缺陷的位置、只能对某类缺陷识别率高，整体的识别准确率不高、还有些检测方法虽然提高了准确率，但仍是针对焊缝图像进行训练，图像在训练和检测的时候对尺寸不够鲁棒，预处理也较为麻烦，另外网络层数太多，降低了计算效率，提高了时间成本，不能很好的将焊缝点的坐标实时传输给机器人实现对焊缝的自动化焊接，同时其还存在模型设计困难和达不到预期性能等问题。

技术实现思路

[0004]本专利技术要解决的技术问题，在于提供一种基于Transformer神经网络的焊缝点位置提取方法，实现精准且快速的焊缝点位置提取。
[0005]本专利技术是这样实现的：一种基于Transformer神经网络的焊缝点位置提取方法，包括如下步骤：
[0006]步骤1、采集焊缝图片作为训练样本，对训练样本进行特征点提取，所述特征点包括焊缝点和非焊缝点；
[0007]步骤2、获取特征点的坐标信息，并进行归一化处理；
[0008]步骤3、将处理后的数据输入到训练网络中，输出训练结果，将训练结果与真实值进行比较，输出并保存最优训练参数；
[0009]步骤4、将所述最优训练参数输入到训练网络中，得到最终的焊缝网络模型；
[0010]步骤5、采集待检测的焊缝图片，进行特征点提取与数据处理之后，输入到最终的焊缝网络模型，得到待检测的焊缝图片的焊缝点坐标信息；
[0011]步骤6、将获取到的焊缝点坐标信息输出给焊接机器人，通过焊接机器人执行自动化焊接操作。
[0012]进一步的，所述步骤1具体包括：
[0013]将工业相机的IP地址将工业相机与终端进行通信连接，通过工业相机采集一系列的焊缝图片作为训练样本；
[0014]对每一训练样本通过特征提取算法Canny算子获取焊缝的特征点，所述特征点包括焊缝点和非焊缝点，将其中的焊缝点标为正样本，非焊缝点标为负样本。
[0015]进一步的，所述步骤2具体包括：获取特征点的坐标信息，特征点数据维度为N
×
2，N表示N个点，每个点的特征维度为2，值为提取出的特征点的坐标值X(s，t)，s表示每张图片同一坐标系下的横坐标值，t表示每张图片同一坐标系下的纵坐标值，对得到的焊缝点的位置数据进行归一化处理。
[0016]进一步的，所述步骤3具体包括：
[0017]步骤31、预先定义焊缝点标签为1，非焊缝点标签为0，将每张图焊缝特征点的坐标跟其对应的标签进行一一对应之后，标签是N
×
1的格式，表示N个点的真实标签；
[0018]步骤32、把处理后的特征点数据N
×
2的矩阵输入到训练网络中，所述训练网络为Transformer神经网络；
[0019]步骤33、利用Transformer神经网络的编码部分学习全局点的特征信息。
[0020]给每个特征信息进行编码；
[0021]步骤34、将编码结果、已经得到的焊缝点标签、非焊缝点标签输入到Transformer解码部分，一起进行训练，得到矩阵解码、焊缝点类别、非焊缝点类别，然后通过运算得到提纯后的焊缝信息，最后将焊缝信息还原到原始数据大小，输出预测的类别信息；
[0022]步骤35、根据输出预测的类别信息与真实值进行比较，计算误差反向传播，更新网络参数，直至网络到达收敛状态时保存最优训练参数。
[0023]进一步的，所述步骤33具体包括：
[0024]步骤331、将每个焊缝图的N个特征点的坐标值X进行拆分，拆分成N个小块向量，并将N个小块向量的X(s，t)横纵2个维度嵌入到128维，用高维向量a表示，每个a的维度为1
×
128，A＝[a1，a2，
…
，a
n
]表示N个输入信息的集合转化成N
×
128的矩阵，将a分别跟三个不同的向量W
Q
,W
K,
,W
V
相乘，得到Q,K,V三个向量的初始表示：
[0025]Q＝a
×
W
Q
；
[0026]K＝a
×
W
K
；
[0027]V＝a
×
W
V
；
[0028]其中，W
Q
、W
K
、W
V
表示三个网络学习的参数，维度等于a的转置；
[0029]步骤332、将Q,K,V输入到多头注意力模块，此模块是将网络分为多个头，形成多个子空间，让网络去关注不同层面的信息，得到多个层面的特征信息；
[0030]步骤333、将多个层面的特征信息输入到残差和层标准化层，残差连接是把上一层的输入和上一层的输出加起来，即x+Multi
‑
Head(Q,K,V)，层标准化对每一层做标准化；其中，x是指焊缝点坐标矩阵嵌入后的。
[0031]步骤334、最后输入到前馈网络+残差和层标准化中，前馈网络为简单两层线性映射再经过一个激活函数的运算，再经残差和层标准化层处理完成网络编码，为每个特征点信息进行编码。
[0032]进一步的，所述步骤332具体为：
[0033]将得到的Q,K,V输入到线性层，进行的运算如下：
[0034][0035][0036][0037]i＝1,2，
…
，8；
[0038]其中，表示第i个头中Q,K,V各自的权重参数，Q
i
,K
i
,V
i
表示第i个头线性层的输出；
[0039]进入到缩放点积注意力层，进行运算如下：
[0040][0041]head
i
＝Attention(Q
i
,K
i
,K
i
)；
[0042]Softmax在这里是一个计算分数的函数，Attention(Q
i
,K
i
,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer神经网络的焊缝点位置提取方法，其特征在于：包括如下步骤：步骤1、采集焊缝图片作为训练样本，对训练样本进行特征点提取，所述特征点包括焊缝点和非焊缝点；步骤2、获取特征点的坐标信息，并进行归一化处理；步骤3、将处理后的数据输入到训练网络中，输出训练结果，将训练结果与真实值进行比较，输出并保存最优训练参数；步骤4、将所述最优训练参数输入到训练网络中，得到最终的焊缝网络模型；步骤5、采集待检测的焊缝图片，进行特征点提取与数据处理之后，输入到最终的焊缝网络模型，得到待检测的焊缝图片的焊缝点坐标信息；步骤6、将获取到的焊缝点坐标信息输出给焊接机器人，通过焊接机器人执行自动化焊接操作。2.根据权利要求1所述的方法，其特征在于：所述步骤1具体包括：将工业相机的IP地址将工业相机与终端进行通信连接，通过工业相机采集一系列的焊缝图片作为训练样本；对每一训练样本通过特征提取算法Canny算子获取焊缝的特征点，所述特征点包括焊缝点和非焊缝点，将其中的焊缝点标为正样本，非焊缝点标为负样本。3.根据权利要求1所述的方法，其特征在于：所述步骤2具体包括：获取特征点的坐标信息，特征点数据维度为N
×
2，N表示N个点，每个点的特征维度为2，值为提取出的特征点的坐标值X(s，t)，s表示每张图片同一坐标系下的横坐标值，t表示每张图片同一坐标系下的纵坐标值，对得到的焊缝点的位置数据进行归一化处理。4.根据权利要求1所述的方法，其特征在于：所述步骤3具体包括：步骤31、预先定义焊缝点标签为1，非焊缝点标签为0，将每张图焊缝特征点的坐标跟其对应的标签进行一一对应之后，标签是N
×
1的格式，表示N个点的真实标签；步骤32、把处理后的特征点数据N
×
2的矩阵输入到训练网络中，所述训练网络为Transformer神经网络；步骤33、利用Transformer神经网络的编码部分学习全局点的特征信息。给每个特征信息进行编码；步骤34、将编码结果、已经得到的焊缝点标签、非焊缝点标签输入到Transformer解码部分，一起进行训练，得到矩阵解码、焊缝点类别、非焊缝点类别，然后通过运算得到提纯后的焊缝信息，最后将焊缝信息还原到原始数据大小，输出预测的类别信息；步骤35、根据输出预测的类别信息与真实值进行比较，计算误差反向传播，更新网络参数，直至网络到达收敛状态时保存最优训练参数。5.根据权利要求4所述的方法，其特征在于：所述步骤33具体包括：步骤331、将每个焊缝图的N个特征点的坐标值X进行拆分，拆分成N个小块向量，并将N个小块向量的X(s，t)横纵2个维度嵌入到128维，用高维向量a表示，每个a的维度为1
×
128，A＝[a1，a2，
…
，a
n
]表示N个输入信息的集合转化成N
×
128的矩阵，将a分别跟三个不同的向量W
Q
,W
K,
,W
V
相乘，得到Q,K,V三个向量的初始表示：Q＝a
×
W
Q
；
K＝a
×
W
K
；V＝a
×
W
V
；其中，W...

【专利技术属性】
技术研发人员：李琦铭，杨进兴，程靖航，李俊，
申请(专利权)人：泉州装备制造研究所，
类型：发明
国别省市：