基于生成对抗网络的超声焊接质量在线监测方法技术

基于生成对抗网络的超声焊接质量在线监测方法，使用激光测振仪实时测量底模的振幅数据、焊接过程中的超声波频率数据；使用压力变送器采集气缸与超声焊头之间的压力，实时测量压力数据；使用红外测温仪实时采集超声换能器陶瓷片温度、超声焊头温度数据。构建多并行辅助分类器的生成对抗网络ACGAN，处理上述五组数据，并将生成器生成的数据用于数据不均衡时的数据增强；搭建融合网络GAN

【技术实现步骤摘要】
基于生成对抗网络的超声焊接质量在线监测方法


[0001]本专利技术属于超声波焊接领域，具体涉及一种基于生成对抗网络的超声焊接质量在线监测方法。

技术介绍

[0002]超声波焊接原理是利用超声频率的机械振动能量，连接同种材料或异种材料的一种特殊方法。在进行超声波焊接时，既不向工件输送电流，也不向工件施以高温热源，只是在静压力之下，将线框振动能量转变为工件间的摩擦功、形变能及有限的温升。超声波焊接广泛应用于动力电池制造、线束连接、汽车部件焊接等多个工业领域。
[0003]现有超声焊接质量检测方法主要图像检测、射线检测、磁粉检测和涡流检测等，这些方法都是离线式检测方法，需要在焊接完成后再进行检测。
[0004]超声焊接质量在线检测方法目前面临的问题包括：需要针对不同应用具体分析设备内在结构，对于结构复杂、工况多变的对象难以建立准确的数学模型；另外基于信号分析的诊断方法虽然无需建立数学模型，但其只在对象出现明显的外部特诊时才有效，在实际应用中因工况恶劣多变而失效。

技术实现思路

[0005]本专利技术针对超声焊接质量在线检测方法存在的问题，提出基于生成对抗网络的故障检测方法，能够直接从实际加工数据中提取相关特征信息并建立诊断模型，有助于提高故障检测及诊断的精度及效率，最终实现超声焊接质量在线检测。
[0006]本专利技术采用激光传感器实时采集加工底模的振幅数据和焊接过程中的频率，使用红外激光测温仪采集焊接过程中超声换能器陶瓷片温度数据以及焊头温度数据，通过压力变送器测量焊接过程产生的压力。综合这些数据做为质量监测的依据。通过多并行生成对抗网络分别处理这五类数据，将这些数据特征按照其表征的两种不同状态进行GAN
‑
Fusion特征融合(压力、振幅、焊头温度表征焊接能量，频率、换能器陶瓷片温度表征成品寿命)，用融合后的两种数据做为分类器的输入，实现超声波金属焊接质量的在线监测。
[0007]基于生成对抗网络的超声焊接质量在线监测方法，包括以下步骤：
[0008]步骤1：获取数据；
[0009]使用激光测振仪实时测量底模的振幅数据X
h
、焊接过程中的超声波频率数据X
f
；
[0010]使用压力变送器采集气缸与超声焊头之间的压力，实时测量压力数据X
p
；
[0011]使用红外激光测温仪分别测量焊头温度X
tm
以及超声换能器陶瓷片的温度X
tn
；
[0012]步骤2：数据预处理：
[0013]步骤3：构建多并行辅助分类器的生成对抗网络ACGAN，分别用五个ACGAN处理经预处理的步骤1中获取的五类数据；得到更能表征焊接质量信息的低维数特征，所述低维数特征包括：陶瓷片温度特征、频率特征、焊头温度特征、振幅特征、压力特征；
[0014]步骤4：搭建融合网络GAN
‑
Fusion：
[0015]提取步骤3得到的低维数特征；构建融合网络GAN
‑
Fusion1，用于融合陶瓷片温度特征和频率特征，得到融合陶瓷片温度和频率的最终特征；构建融合网络GAN
‑
Fusion2，用于融合焊头温度特征、振幅特征和压力特征，得到融合焊头温度特征、振幅特征和压力特征的最终特征；
[0016]步骤5：搭建分类器：用于将融合陶瓷片温度和频率的最终特征与融合焊头温度特征、振幅特征和压力特征的最终特征进行合并concatenate后，放到分类器中识别焊接质量，该焊接质量分为过焊、欠焊、正常焊。
[0017]作为优选，所述步骤2具体包括以下步骤：
[0018]步骤2
‑
1：将步骤1中测得的数据X
h
、X
f
、X
p
、X
tm
、X
tn
这五类数据分别进行归一化处理，使数据分布在[0,1]之间：
[0019][0020]式中，五类数据中任意一类数据X＝{x1，x2，x3，
…
，x
n
}，x
i
表示某一类数据中第i个样本数据，n表示该类数据的组数，max(X)表示这类数据中的最大值，min(X)表示这类数据中的最小值；
[0021]步骤2
‑
2：将采集到的五类数据每类都划分为训练集和测试集。
[0022]作为优选，所述构建多并行辅助分类器的生成对抗网络ACGAN的具体方式如下：
[0023]在输入到所述ACGAN的生成器G中的随机噪声中加入类别标签，指导G生成特定标签数据，所述ACGAN的判别器D能给出生成数据所述类别的标签；
[0024]当在测量数据时出现数据不均衡或质量较差，将对应标签类别的生成数据加入到不平衡的诊断数据中，生成的故障数据和少量的真实故障数据一起放入网络训练，其目标函数如下：
[0025]L
s
＝E[logP(S＝real|X
real
)]+E[log(S＝fake|X
fake
)][0026]L
c
＝E[logP(C＝c|X
real
)]+E[logP(C＝c|X
fake
)][0027]其中L
s
是面向数据真实与否的代价函数，L
c
是面向分类精确度的代价函数，Xreal为真实样本数据，X fake为生成数据，P(S|X)为数据源是否为真实数据的概率分布，P(C|X)为数据源对于分类标签的概率分布；
[0028]训练所述网络的过程中，判别器D被训练来最大化L
s
+L
c
的值，生成器G被训练来最大化L
c
‑
L
s
的值；
[0029]所述分别用五个ACGAN处理经预处理的步骤1中获取的五类数据，得到更能表征焊接质量信息的低维数特征的具体步骤如下，
[0030]步骤3
‑
1：用1DCNN构建生成器G1和判别器D2，对陶瓷片温度X
tn
进行数据增强和特征提取；
[0031]步骤3
‑
2：用1DCNN构建生成器G2，用门控循环单元GRU构建判别器D2，对频率数据X
f
进行数据增强和特征提取；
[0032]步骤3
‑
3：用1DCNN构建生成器G3和判别器D3，对焊头温度X
tm
进行数据增强和特征提取；
[0033]步骤3
‑
4：用1DCNN构建生成器G4，门控循环单元GRU构建判别器D4，对振幅数据X
h
进行数据增强和特征提取；
[0034]步骤3
‑
5：用1DCNN构建生成器G5和判别器D5，对压力X
p
进行数据增强和特征提取；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于生成对抗网络的超声焊接质量在线监测方法，其特征在于，包括以下步骤：步骤1：获取数据；使用激光测振仪实时测量底模的振幅数据X
h
、焊接过程中的超声波频率数据X
f
.使用压力变送器采集气缸与超声焊头之间的压力，实时测量压力数据X
p
；使用红外激光测温仪分别测量焊头温度X
tmm
以及超声换能器陶瓷片的温度X
tn
；步骤2：数据预处理：步骤3：构建多并行辅助分类器的生成对抗网络ACGAN，分别用五个ACGAN处理经预处理的步骤1中获取的五类数据；得到更能表征焊接质量信息的低维数特征，所述低维数特征包括：陶瓷片温度特征、频率特征、焊头温度特征、振幅特征、压力特征；步骤4：搭建融合网络GAN
‑
Fusion：提取步骤3得到的低维数特征；构建融合网络GAN
‑
Fusionl，用于融合陶瓷片温度特征和频率特征，得到融合陶瓷片温度和频率的最终特征；构建融合网络GAN
‑
Fusion2，用于融合焊头温度特征、振幅特征和压力特征，得到融合焊头温度特征、振幅特征和压力特征的最终特征；步骤5：搭建分类器：用于将融合陶瓷片温度和频率的最终特征与融合焊头温度特征、振幅特征和压力特征的最终特征进行合并concatenate后，放到分类器中识别焊接质量，该焊接质量分为过焊、欠焊、正常焊。2.如权利要求1所述的基于生成对抗网络的超声焊接质量在线监测方法，其特征在于，所述步骤2具体包括以下步骤：步骤2
‑
1：将步骤1中测得的数据X
h
、X
f
、X
p
、X
tm
、X
tn
这五类数据分别进行归一化处理，使数据分布在[0，1]之间：式中，五类数据中任意一类数据X＝{x1，x2，x3，
…
，x
n
}，x
i
表示某一类数据中第i个样本数据，n表示该类数据的组数，max(X)表示这类数据中的最大值，min(X)表示这类数据中的最小值；步骤2
‑
2：将采集到的五类数据每类都划分为训练集和测试集。3.如权利要求1所述的基于生成对抗网络的超声焊接质量在线监测方法，其特征在于，所述构建多并行辅助分类器的生成对抗网络ACGAN的具体方式如下：在输入到所述ACGAN的生成器G中的随机噪声中加入类别标签，指导G生成特定标签数据，所述ACGAN的判别器D能给出生成数据所述类别的标签；当在测量数据时出现数据不均衡或质量较差，将对应标签类别的生成数据加入到不平衡的诊断数据中，生成的故障数据和少量的真实故障数据一起放入网络训练，其目标函数如下：L
s
＝E[logP(S＝real|X
real
)]+E[log(S＝fake|X
fake
)]L
c
＝E[logP(C＝c|X
real
)]+E[logP(C＝c|X
fake
)]其中L
s
是面向数据真实与否的代价函数，L
c
是面向分类精确度的代价函数，X
real
为真实样本数据，X
fake
为生成数据，P(S|X)为数据源是否为真实数据的概率分布，P(C|X)为数据源对于分类标签的概率分布；
训练所述网络的过程中，判别器D被训练来最大化L
s
+L
c
的值，生成器G被训练来最大化L
c
‑
L
s
的值；所述分别用五个ACGAN处理经预处理的步骤1中获取的五类数据，得到更能表征焊接质量信息的低维数特征的具体步骤如下，步骤3
‑
1：用1DCNN构建生成器G1和判别器D2，对陶瓷片温度X
tn
进行数据增强和特征提取；步骤3
‑
2：用1DCNN构建生成器G2，用门控循环单元GRU构建判别器D2，对频率数据X
f
进行数据增强和特征提取；步骤3
‑
3：用1DCNN构建生成器G3和判别器D3，对焊头温度X
tm
进行数据增强和特征提取；步骤3
‑
4：用1DCNN构建生成器G4，门控循环单元GRU构建判别器D4，对振幅数据X
h
进行数据增强和特征提取；步骤3
‑
5：用1DCNN构建生成器G5和判别器D5，对压力X
p
进行数据增强和特征提取；通过向所述生成器G1、G2、G3、G4、G5中输入随机噪声和样本标签，生成与对应类别的真实样本分布相似的数据；所述判别器D1、D3、D5、D2、D4，用于判断输入的数据为真实样本数据或者生成数据；生成器和判别器相互博弈、彼此优化达到纳什均衡；步骤3
‑
6：所述生成器G1、G2、G3、G4、G5均设置若干卷积层、平均池化层和一个全局平均池化层；分别对每层卷积网络设置不同的滤镜尺寸以及时间步长，平均池化层滤镜尺寸均为2
×
1，全局平均池化层取样本轴维度上的平均值，除最后一层卷积层使用tanh做为激活函数外，其余卷积的激活函数均采用LeakRelu；使得生成器G1、G2、G3、G4、G5生成与真实样本维度相同的生成数据，放到对应的判别器中与真实样本数据进行对照；步骤3
‑
7：所述判别器D1、D3、D5均设置若干卷积层、平均池化层和一个全局平均池化层；分别对每层卷积网络设置不同的滤镜尺寸以及时间步长，平均池化层滤镜尺寸均为2
×
1，全局平均池化层取样本轴维度上的平均值，每层卷积的激活函数均采用LeakRelu，设置正则项dropout防止出现过拟合；得到更能表征焊接质量信息的低维数特征，所述判别器D1、D3、D5分别判断陶瓷片温度、超声焊头温度和压力数据的真伪，分别用z
tn
、z
tm
和z
p
代表三个判别器产生的低维数特征；将本步骤中的上述低维数特征分别放入若干不同神经元个数的全连接层dense_1判断数据真假；放入若干不同神经元个数的全连接层dense_2识别加工类型：所述加工类型包括过焊、欠焊、正常焊接；其中，全连接层的激活函数均为LeakRelu，dense_1输出层的激活函数为sigmoid，损失为二元交叉熵；dense_2输出层的激活函数为softmax，损失为多元交叉熵；优化器均采用均方根传递rmsprop；步骤3
‑
8：所述判别器D2、D4均设置若干层门控循环单元GRU，每层GRU设置不同的神经元个数，激活函数均采用LeakRelu，设置正则项dropout防止出现过拟合；经过若干层GRU后，得到更能表征焊接质量信息的低维数特征，所述判别器D2、D4分别判断频率和振幅数据的真伪，分别用z
f
和z
h
代表两个判别器产生的低维数特征；
将本步骤中的上述低维数特征分别放入若干不同神经元个数的全连接层dense_1判断数据真假；放入若干不同神经元个数的全连接层dense_2识别加工类型：所述加工类型包括过焊、欠焊、正常焊接；其中，全连接层的激活函数均为LeakRelu，dense_1输出层的激活函数为sigmoid，损失为二元交叉熵；dense_2输出层的激活函数为softmax，损失为多元交叉熵；优化器均采用均方根传递rmsprop。4.如权利要求3所述的基于生成对抗网络的超声焊接质量在线监测方法，其特征在于，所述步骤4具体为：搭建融合网络GAN
‑
Fusion：提取步骤3
‑
7、3
‑
8所述的判别器网络D1
‑
D5中低维数特征数据，其中z
tn
为陶瓷片温度特征、z
f
为频率特征、z
tm
为焊头温度特征、z
h
为振幅特征、z
p
为压力特征；搭建两个融合网络，融合网络GAN
‑
Fusion1融合z
tn
和z
f
，融合网络GAN
‑
Fusion2融合z
tm
、z
h
和z
p
；步骤4
‑
1：搭建GAN
‑
Fusion1：z
f
通过若干不同神经元个数的全连接层得到z
tr
，z
tn
通过生成器模型，该生成器模型为内置若干不同神经元个数的全连接层，得到z
tr
放入判别器模型，该判别器模型内置若干全连接层；所述生成模型和判别模型中，除最后一层全连接的激活函数为sigmoid外，其余全连接层的激活函数为LeakRelu，优化器为rmsprop，用于区分和z
tr
；判别器和生成器交替优化，当判别器无法区分出和z
tr
时，两组特征融合结束，提取为最后融合特征，记为Z
fuse1
；步骤4
‑
2：搭建GAN
‑
Fusion2：z
h
、z
p
经过行合并concatenate和大小为2
×
1的滤镜...

【专利技术属性】
技术研发人员：陈洪欢，董鑫，孔亚广，黄娜，陈张平，赵晓东，张帆，王孟哲，朱钦南，
申请(专利权)人：杭电海宁信息科技研究院有限公司，
类型：发明
国别省市：