【技术实现步骤摘要】
本专利技术涉及机器人焊接，尤其是涉及一种基于深度学习的挖掘机动臂机器人焊接质量在线检测方法。
技术介绍
1、焊接作为解决工业生产中构件连接问题的一种加工工艺方法，普遍应用于航空航天、机械制造、船舶制造、核工业及石油化工等领域，在现代工业生产制造过程中发挥着举足轻重的作用。对焊接件进行焊接加工时，普遍采用手工或自动化的方式进行，而且自动化的焊接所占的比例也在逐渐增加。在焊接过程中，由于焊接参数的不稳定性及外部因素的影响，导致焊缝中形成不同程度和数量的气孔、裂纹、未融合、未焊透等缺陷，而焊接件的使用性能和寿命会因各种缺陷的存在而受到不同程度的影响，最终影响整个产品的质量和安全性，严重时将可能威胁到财产及生命安全。为确保焊接质量的可靠性，对焊接接头中可能存在的缺陷进行检测和识别评定就显得尤为重要
2、在挖掘机生产领域，焊接被广泛应用于挖机动臂的制造。作为挖掘机工作装置的核心部件，动臂作为工作装置承受着多种负载的符合作用，直接影响挖掘机工作的安全性和可靠性。目前，动臂的制造工艺以焊接为主，因此，确保焊接工艺质量对挖掘机使用寿命的延长和避免安全事故的发生具有至关重要的意义。焊接工艺自身的特点使得动臂构件在焊接过程中会发生复杂的形变，并在其内部留下残余应力，这对动臂的稳定性、断裂特性、疲劳强度和形状尺寸的精度会带来不利的影响。同时，动臂焊接过程中存在气孔、烧穿、焊偏、未焊透等焊缝缺陷，也会直接影响焊接质量和焊接生产效率。因此，对焊接缺陷进行检测，从而使焊接质量得到控制，成为了一个重要的研究方向。由于实际生产场景的环境更为复杂，存
3、(1)复杂场景下焊接信息的多样性和变化性对焊接信息的处理造成了干扰，在挖掘机动臂零件的焊接过程中由于动臂工件形状的特殊性，相机角度的变化和烟尘的干扰使熔池几何形状发生偏转和扭曲，难以通过传统熔池几何特征描述焊接状态。
4、(2)焊接缺陷的不规律性也对挖掘机动臂机器人焊接质量的判断提出了挑战，已有研究对挖掘机动臂生产中焊接缺陷及缺欠的种类研究不够完全，不能实现对焊接过程典型缺陷及缺欠的有效覆盖，如卡丝状态。
5、公开号为cn112207482a的中国专利公开了一种用于焊接质量控制的多元信息监控和控制系统及方法，该方法采用了多种传感信息进行焊接质量的实时检测，但由于该专利采用熔池图像的熔宽、半熔长、熔池后托角、熔池面积等几何特征参数进行特征提取，而这些几何特征在生产环境下极易发生变化、且无法覆盖全部的焊接缺陷熔池图像。该方法没有对焊接中容易出现的卡丝状态纳入考虑。此外，该方法也并没又对质量检测的具体方法做出说明，因此其可实现性仍然有可以质疑的空间。总之，该专利所述方法并不适用于工程机械制造生产实践，如挖掘机动臂的焊接中焊接质量监测和评价。
技术实现思路
1、本专利技术的目的是为了提供一种基于深度学习的挖掘机动臂机器人焊接质量在线检测方法，提高检测准确性。
2、本专利技术的目的可以通过以下技术方案来实现：
3、一种基于深度学习的挖掘机动臂机器人焊接质量在线检测方法，包括以下步骤：
4、s1，信息采集：使用多种传感器实时监测焊接过程中的焊接信息，包括焊接熔池图像、焊接电流信号、焊接电压信号以及电弧声音信号；
5、s2，特征提取：分别利用不同的深度学习模型对收集到的熔池图像和电流、电压、声音信号进行特征提取，得到特征向量；
6、s3，特征融合：将提取得到的不同信号源的特征向量进行融合；
7、s4，模型融合：搭建特征融合模型，将融合后的特征向量作为融合模型输入，输出当前状态下的焊接质量分类结果；
8、s5，结果输出：将融合模型输出的焊接质量分类结果输出为概率分布，并将概率最大的类别作为对当前焊接状态的预测结果。
9、所述步骤s1中，使用安装在焊接机器人主体上的工业ccd相机以固定频率采集焊接过程的熔池图像，使用电压电流传感器记录焊接过程中的电压信号和电流信号，使用声音传感器记录焊接过程中的电弧声音信号。
10、所述步骤s2中，对来自不同信号源的焊接传感信号进行数据对齐后，再进行特征提取，数据对齐的具体步骤包括：
11、将一张熔池图像数据作为于一个可识别的焊接状态信息，当焊接熔池图像的采样频率为f1，焊接电流信号、电压信号采样频率为f2，电弧声音信号采样频率为f3时，将f2/f1个焊接电流及电压信号，f3/f1个电弧声音信号数据点对应于一张焊接熔池图像，共同用于表征一个焊接状态，其中f3>f2>f1。
12、所述步骤s2具体为：对使用传感器记录的焊接过程电压、电流、声音信号进行归一化预处理，在预处理后使用一维卷积神经网络进行特征向量的提取；对采集到的焊接过程熔池图像，在经过缩放、正则化预处理后，使用视觉模型进行熔池图像特征向量的提取。
13、所述步骤s2中，采集焊接熔池图像、焊接电流电压信号、电弧声音信号后，根据不同的焊接质量状态对焊接传感信息进行基于不同焊接质量状态的标注，焊接质量状态包括未焊透、烧穿、焊偏、卡丝和气孔，对标注后的焊接传感信息划分训练集、验证集和测试集。
14、所述步骤s2中，使用在imagenet1k上预训练过的vit-b/16模型参数进行焊接熔池图像的特征提取，模型采用224x224尺寸的三通道rgb图像作为输入，经过分块、展平和位置编码后，通过12层编码块，每个编码块包括12组多头注意力网络，使用标记过的焊接熔池图像进行迁移学习后，输出6维特征向量，获取熔池图像特征向量。
15、所述步骤s2中，当熔池电流信号、电压信号、电弧声音信号采样频率不同时，将熔池电流信号、电压信号、电弧声音信号数据对齐后进行拼接，设焊接电流信号、电压信号采样频率为f1，电弧声音信号采样频率为f2，f1<f2，将电弧声音信号等分成f2/f1个子向量，并将这些子向量平行排列，与熔池电流信号、电压信号形成维度为(f2/f1+2,f1)的二维向量，作为一维卷积神经网络的输入，进行特征提取。
16、所述步骤s2中，采用将卷积层卷积维度调整为一维的vgg-19网络进行熔池电流信号、电压信号、电弧声音信号特征的提取，调整后的vgg-19网络包括16层卷积层和3层全连接层，对训练后的网络进行特征提取，获取进行熔池电流信号、电压信号、电弧声音信号特征向量。
17、所述步骤s3中，在对不同信号源的特征向量进行连接融合前，还包括将特征向量进行归一化处理的步骤。
18、所述特征融合模型为多层感知机模型，所述模型通过搭建全连接层网络实现，并随特征提取模型共同进行训练。
19、与现有技术相比，本专利技术具有以下有益效果：
20、1)本专利技术可以对挖掘机动臂机器人焊接生产实现对焊接质量进行在线检测，相比于传统的焊接质量检测手段，可以减少在挖掘机动臂机器人焊接流程本文档来自技高网...
【技术保护点】
1.一种基于深度学习的挖掘机动臂机器人焊接质量在线检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的挖掘机动臂机器人焊接质量在线检测方法，其特征在于，所述步骤S1中，使用安装在焊接机器人主体上的工业CCD相机以固定频率采集焊接过程的熔池图像，使用电压电流传感器记录焊接过程中的电压信号和电流信号，使用声音传感器记录焊接过程中的电弧声音信号。
3.根据权利要求1所述的一种基于深度学习的挖掘机动臂机器人焊接质量在线检测方法，其特征在于，所述步骤S2中，对来自不同信号源的焊接传感信号进行数据对齐后，再进行特征提取，数据对齐的具体步骤包括：
4.根据权利要求1所述的一种基于深度学习的挖掘机动臂机器人焊接质量在线检测方法，其特征在于，所述步骤S2具体为：对使用传感器记录的焊接过程电压、电流、声音信号进行归一化预处理，在预处理后使用一维卷积神经网络进行特征向量的提取；对采集到的焊接过程熔池图像，在经过缩放、正则化预处理后，使用视觉模型进行熔池图像特征向量的提取。
5.根据权利要求1所述的一种基于深度学习的挖掘机动臂机
6.根据权利要求1所述的一种基于深度学习的挖掘机动臂机器人焊接质量在线检测方法，其特征在于，所述步骤S2中，使用在ImageNet1K上预训练过的ViT-B/16模型参数进行焊接熔池图像的特征提取，模型采用224x224尺寸的三通道RGB图像作为输入，经过分块、展平和位置编码后，通过12层编码块，每个编码块包括12组多头注意力网络，使用标记过的焊接熔池图像进行迁移学习后，输出6维特征向量，获取熔池图像特征向量。
7.根据权利要求1所述的一种基于深度学习的挖掘机动臂机器人焊接质量在线检测方法，其特征在于，所述步骤S2中，当熔池电流信号、电压信号、电弧声音信号采样频率不同时，将熔池电流信号、电压信号、电弧声音信号数据对齐后进行拼接，设焊接电流信号、电压信号采样频率为f1，电弧声音信号采样频率为f2，f1<f2，将电弧声音信号等分成f2/f1个子向量，并将这些子向量平行排列，与熔池电流信号、电压信号形成维度为(f2/f1+2,f1)的二维向量，作为一维卷积神经网络的输入，进行特征提取。
8.根据权利要求1所述的一种基于深度学习的挖掘机动臂机器人焊接质量在线检测方法，其特征在于，所述步骤S2中，采用将卷积层卷积维度调整为一维的VGG-19网络进行熔池电流信号、电压信号、电弧声音信号特征的提取，调整后的VGG-19网络包括16层卷积层和3层全连接层，对训练后的网络进行特征提取，获取进行熔池电流信号、电压信号、电弧声音信号特征向量。
9.根据权利要求1所述的一种基于深度学习的挖掘机动臂机器人焊接质量在线检测方法，其特征在于，所述步骤S3中，在对不同信号源的特征向量进行连接融合前，还包括将特征向量进行归一化处理的步骤。
10.根据权利要求1所述的一种基于深度学习的挖掘机动臂机器人焊接质量在线检测方法，其特征在于，所述特征融合模型为多层感知机模型，所述模型通过搭建全连接层网络实现，并随特征提取模型共同进行训练。
...【技术特征摘要】
1.一种基于深度学习的挖掘机动臂机器人焊接质量在线检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的挖掘机动臂机器人焊接质量在线检测方法，其特征在于，所述步骤s1中，使用安装在焊接机器人主体上的工业ccd相机以固定频率采集焊接过程的熔池图像，使用电压电流传感器记录焊接过程中的电压信号和电流信号，使用声音传感器记录焊接过程中的电弧声音信号。
3.根据权利要求1所述的一种基于深度学习的挖掘机动臂机器人焊接质量在线检测方法，其特征在于，所述步骤s2中，对来自不同信号源的焊接传感信号进行数据对齐后，再进行特征提取，数据对齐的具体步骤包括：
4.根据权利要求1所述的一种基于深度学习的挖掘机动臂机器人焊接质量在线检测方法，其特征在于，所述步骤s2具体为：对使用传感器记录的焊接过程电压、电流、声音信号进行归一化预处理，在预处理后使用一维卷积神经网络进行特征向量的提取；对采集到的焊接过程熔池图像，在经过缩放、正则化预处理后，使用视觉模型进行熔池图像特征向量的提取。
5.根据权利要求1所述的一种基于深度学习的挖掘机动臂机器人焊接质量在线检测方法，其特征在于，所述步骤s2中，采集焊接熔池图像、焊接电流电压信号、电弧声音信号后，根据不同的焊接质量状态对焊接传感信息进行基于不同焊接质量状态的标注，焊接质量状态包括未焊透、烧穿、焊偏、卡丝和气孔，对标注后的焊接传感信息划分训练集、验证集和测试集。
6.根据权利要求1所述的一种基于深度学习的挖掘机动臂机器人焊接质量在线检测方法，其特征在于，所述步骤s2中，使用在imagenet1k上预训练过的vit-b/16模型参数进行焊接熔池图像的特征提取，...
【专利技术属性】
技术研发人员：严易萌，朱抗洪，侯震，陈华斌，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。