一种融合VIT和GAN的焊接异常检测方法技术

本发明专利技术公开了一种融合VIT和GAN的焊接异常检测方法，首先采集实际焊接图像数据并划分数据集；搭建包括生成对抗网络Net A和约束网络Net B在内的焊接异常检测模型，基于该模型，构建损失函数并训练模型；接着基于测试集数据对训练好的焊接异常检测模型进行测试；设置分类阈值并不断迭代，基于带有真实标签的输入图像数据，计算不同分类阈值下的焊接异常检测准确率，最终选取异常检测准确率最高时对应的分类阈值；本发明专利技术设计的焊接异常识别模型，根据用于测试的数据集不同，在有效识别各种焊接异常缺陷的同时，可以兼顾异常检测的准确率。可以兼顾异常检测的准确率。可以兼顾异常检测的准确率。

【技术实现步骤摘要】
一种融合VIT和GAN的焊接异常检测方法


[0001]本专利技术属于智慧焊接
，特别涉及一种融合VIT和GAN的焊接异常检测方法。

技术介绍

[0002]生成对抗网络（GAN, Generative Adversarial Networks）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生符合预期的输出。
[0003]生成对抗网络作为一种无监督学习网络被广泛应用于图像识别领域，如何应用于焊接质量诊断，目前尚无具体应用。

技术实现思路

[0004]专利技术目的：针对上述
技术介绍
中提出的思路，本专利技术提供了一种融合VIT和GAN的焊接异常检测方法，在传统生成对抗网络的基础上，融合了VIT结构，并新增了约束网络结构，构建了特殊的损失函数，通过输入正常焊接图像对模型进行训练，获得正样本下的模型权重。由于训练好的模型是基于正样本的模型权重，因此在测试异常数据集时，重建图像与实际异常图像必然存在较大差异，以此来进行焊接异常的识别。
[0005]技术方案：一种融合VIT和GAN的焊接异常检测方法，包括以下步骤：步骤S1、采集实际焊接图像数据并划分数据集；步骤S2、搭建焊接异常检测模型；所述焊接异常检测模型融合VIT结构和GAN结构，包括生成对抗网络Net A和约束网络Net B；Net A包括生成器和判别器部分；所述生成器采用自编码器Autoencoder架构，包括编码器Encoder部分和解码器Decoder部分；编码器Encoder采用VIT结构，包括依次连接的一层embedding层、一层Transform Encoder层和一层线性层；所述Transform Encoder层包括不少于2层的Encoder block进行堆叠；输入原始图像信息X，经过编码器Encoder部分转换为特征集合Z；解码器Decoder部分包括依次连接的一层线性层、一层Transform Encoder层；其中线性层和Transform Encoder层与编码器Encoder部分对应结构相同；特征集合Z输入至解码器Decoder部分，输出重建图像信息X1；所述判别器部分的输入包括原始图像信息X和经过解码器Decoder的重建图像信息X1，具体结构包括依次连接的一层线性层和一层Transform Encoder层，结构与编码器Encoder部分对应相同；Transform Encoder层的输出连接至激活函数层；约束网络Net B结构包括依次连接的一层embedding层、一层Transform Encoder层和一层线性层，输入为重建后的图像信息X1，约束网络将X1转换为特征集合Z1；步骤S3、基于步骤S2所述焊接异常检测模型构建损失函数，并基于损失函数训练
焊接异常检测模型；步骤S4、基于测试集数据对训练好的焊接异常检测模型进行测试；设置分类阈值并不断迭代，基于带有真实标签的输入图像数据，计算不同分类阈值下的焊接异常检测准确率，最终选取异常检测准确率最高时对应的分类阈值；步骤S5、保存步骤S3训练的焊接异常检测模型权重及步骤S4中获取的分类阈值，将焊接异常检测模型部署于云端或边缘侧；当进行焊接异常检测时，接收实际焊接过程的图像数据，计算特征集合Z和Z1间的均方误差，并归一化处理；当归一化结果大于分类阈值时，则认为发生焊接异常；否则判断为未发生异常。
[0006]进一步地，所述步骤S1中采集的焊接图像数据包括正常焊接图像数据和异常图像数据；分别对正常焊接图像数据和异常图像数据进行随机切分，切分大小相同；选取80%的正常焊接图像数据作为训练集，剩余20%的正常焊接图像数据和全部异常图像数据作为测试集；其中测试集数据包含真实标签。
[0007]进一步地，所述步骤S2中编码器部分embedding层还包括一层卷积层，生成器中输入图像至embedding层，通过一层卷积层将输入图像信息先进行卷积，再展平后输入至Transform Encoder层；解码器部分特征集合Z进过线性层和Transform Encoder层后，先进行展平操作恢复维度，后经过一层卷积层进行转置卷积，输出重建后的图像信息X1。
[0008]进一步地，所述步骤S2中Transform Encoder层包括不少于2层的Encoder block进行堆叠，每层Encoder block包括依次连接的第一级Layer Norm层、多头注意力层和第一级Dropout层；将Encoder block输入与第一级Dropout层的输出相加后输入至第二级Layer Norm层；第二级Layer Norm层顺序连接MLP线性层和第二级Dropout层；将第二级Layer Norm层的输入与第二级Dropout层的输出相加后作为每层Encoder block的输出。
[0009]进一步地，所述步骤S2中判别器部分激活函数层选用sigmoid函数。
[0010]进一步地，步骤S3中构建焊接异常检测模型损失函数具体如下：（1）Net A中判别器的损失函数：判别器损失函数选用BCE损失函数，分别计算获得真实图像数据经过判别器的损失和重建图像数据经过判别器的损失，最终获得判别器损失函数表达如下：；（2）重建损失函数：重建损失函数包括以下3部分：1）真实图像和重建图像分别输入判别器后，Transform Encoder层输出的特征图之间的均方误差，记为；2）真实图像和重建图像间的曼哈顿距离，记为；3）生成器中特征集合Z和约束网络Net B输出的特征集合Z1间的均方误差，记为；
通过加权融合，最终重建损失函数表示如下：其中为权重参数；模型训练时，首先基于判别器损失函数更新Net A中的判别器参数，再基于重建损失函数更新生成器的网络参数，最终获得基于正样本的焊接异常检测模型权重。
[0011]进一步地，所述步骤S4中获取分类阈值具体方法包括：选取测试集图像数据输入至焊接异常检测模型，输入图像数据x后，Net A中生成器首先将异常图像x通过编码器部分映射至特征集合z，接着重建输出图像x1并输入至约束网络Net B，经过解码后生成的特征集合z1；计算z和z1间的均方误差，并进行归一化处理，使均方误差取值范围为[0,1]；设置分类阈值，在[0,1]范围内不断迭代，当z和z1间的均方误差值大于分类阈值时，则认为当前输入图像发生焊接异常，否则未发生焊接异常；将模型判断结果与实际带有标签的测试集数据进行比较，计算焊接异常识别模型的检测准确率；通过迭代分类阈值，计算不同分类阈值情况下，分类结果的准确率，选取分类结果准确率最高时的分类阈值。
[0012]本专利技术采用的技术方案与现有技术方案相比，具有以下有益效果：（1）本专利技术在传统生成对抗网络的基础上，融合了VIT结构，将输入图像信息转换为特征集合，并基于此重建图像。通过构建约束网络，将重建图像进一步解码成对应的特征集合，计算两个特征集合间的均方误差，进一本文档来自技高网...

【技术保护点】

【技术特征摘要】
block输入与第一级Dropout层的输出相加后输入至第二级Layer Norm层；第二级Layer Norm层顺序连接MLP线性层和第二级Dropout层；将第二级Layer Norm层的输入与第二级Dropout层的输出相加后作为每层Encoder block的输出。5.根据权利要求1所述的一种融合VIT和GAN的焊接异常检测方法，其特征在于，所述步骤S2中判别器部分激活函数层选用sigmoid函数。6.根据权利要求1所述的一种融合VIT和GAN的焊接异常检测方法，其特征在于，步骤S3中构建焊接异常检测模型损失函数具体如下：（1）Net A中判别器的损失函数：判别器损失函数选用BCE损失函数，分别计算获得真实图像数据经过判别器的损失和重建图像数据经过判别器的损失，最终获得判别器损失函数表达如下：；（2）重建损失函数：重建损失函数包括以下3部分：1）真实图像和重建图像分别输入判别器后，Transform Encoder层输出的特征图之间的均方误差，记为；2）真实图像和重建图像间的曼哈顿距离，记为；3）生成器中特征集合Z和约束网络Net B输出...

【专利技术属性】
技术研发人员：姚志豪，李波，
申请(专利权)人：苏芯物联技术南京有限公司，
类型：发明
国别省市：