一种融合图像检测的焊接异常实时诊断方法技术

本发明专利技术公开了一种融合图像检测的焊接异常实时诊断方法，首先将焊接过程中实时采集到的高频时序数据转换为图像数据并进行预处理，接着搭建基于深度学习的图像分类模型，设计相应损失函数后进行模型训练，获取针对焊接异常的图像分类模型；接着采用机器学习算法，同步提取采集到的高频时序数据特征，训练时序分类模型，将图像分类模型和时序分类模型进行结果融合并赋予权重，最终获取分类结果；本发明专利技术提供的方法可以有效提升分类结果的准确度，解决了只采用图像分类模型时对样本进行误分类的问题。问题。问题。

【技术实现步骤摘要】
一种融合图像检测的焊接异常实时诊断方法


[0001]本专利技术属于智慧焊接
，特别涉及一种融合图像检测的焊接异常实时诊断方法。

技术介绍

[0002]现有技术中对于焊接过程中发生的各种异常情况，如焊偏、焊穿、漏焊等的检测，一般包括基于实时采集焊接过程图像的图像识别检测方法和基于实时采集焊接过程中高频时序数据的检测方法。其中图像识别检测方法较为成熟，但由于图像采集存在时间延后性，因此无法满足焊接异常的实时检测要求。基于高频时序数据的焊接异常诊断方法则一般通过采集焊接过程用于反映焊接状态的电压、电流、送丝速度等数据，对数据进行建模分析，从而得出焊接是否存在异常。这种方法可以有效满足实时性要求，同时在相应人工智能算法的支持下，可以获得高精度的焊接异常诊断效果。
[0003]现有技术中一般单独采用基于图像或基于时序数据的异常检测方法，将图像检测与时序检测结合的方法目前尚未有相关先例。

技术实现思路

[0004]专利技术目的：针对上述
技术介绍
提出的研究方向，本专利技术提供了一种融合图像检测的焊接异常实时诊断方法，将采集的高频时序数据转换为图像数据，基于深度学习方法搭建图像分类模型，在此基础上，采用机器学习算法，同步提取采集到的高频时序数据特征，训练时序分类模型，将图像分类模型和时序分类模型进行结果融合并赋予权重，最终获取分类结果，可以有效提升分类结果的准确度。
[0005]技术方案：一种融合图像检测的焊接异常实时诊断方法，包括以下步骤：步骤S1、通过传感器实时采集焊接过程中的高频时序数据；步骤S2、对采集到的高频数据进行预处理，采用格拉姆角场将时序数据样本转换为图像样本，用于训练图像分类模型；步骤S3、基于深度学习搭建图像分类模型，并根据步骤S2中获取的图像样本进行模型训练，获取用于判断焊接异常的图像分类模型；步骤S4、将步骤S2中转换为图像样本的时序数据另外提取特征，并基于机器学习算法搭建时序分类模型；将所述提取特征输入至时序分类模型，同步进行模型训练；步骤S5、通过加权融合方式将所述图像分类模型和时序分类模型的输出进行融合，最终融合结果即为焊接异常诊断结果。
[0006]进一步地，所述步骤S2中对高频时序数据进行预处理，具体步骤包括：步骤S2.1、按照设定窗长Window_Size进行滑窗构造样本，将每个窗长的时序数据作为一个样本，并根据实际焊接情况对样本进行标注，其中未发生焊接是标注为0，发生焊接异常标注为1，正常焊接状态标注为2。
[0007]步骤S2.2、采用格拉姆角场将步骤S2.1中划分的各时序样本转换为图像样本，作
为后续图像分类模型的入模样本。
[0008]进一步地，所述步骤S3中训练图像分类模型具体包括：步骤S3.1、将获取的图像样本按比例切分为训练集、验证集和测试集；步骤S3.2、设置图像分类模型损失函数；通过创建权重张量并计算交叉熵损失，设置用于防止过拟合的损失函数；步骤S3.3、搭建图像分类模型，并基于损失函数进行模型训练，获得训练好的图像分类模型。
[0009]进一步地，所述步骤S3.2中设置损失函数具体步骤包括：步骤S3.2.1、损失函数的输入参数包括模型的输出值和样本的真实标签；其中模型输出值维度为batch_size，即输出批次数；样本真实标签与输出批次数维度相同，损失函数即计算模型输出和真实样本标签间的loss；步骤S3.2.2、对模型的输出张量采用log softmax函数转换为log概率张量；步骤S3.2.3、创建权重张量，所述权重张量与模型的输出值形状相同，即权重张量维度等于每个数组的维度；其中每个元素初始化为（1
‑
factor）/(batch_size
‑
1)，表示非真实标签的权重，factor为预设阈值；将真实标签对应的权重张量值设置为1
‑
factor。
[0010]步骤S3.2.4、计算权重张量和log概率张量的交叉熵损失，得到一个批次内每个样本的损失值；取所有样本损失值的平均值，即为该批次的损失。
[0011]进一步地，所述步骤S3.3中采用预训练的融合Senet的Resnet50网络作为图像分类网络；冻结网络分类器前的结构，并修改网络分类器结构；依次添加一层线性层、一层激活函数层，和一层线性层；其中最后一层线性层输出维度为3，分别代表输出为0/1/2的概率；所述激活函数层采用Relu函数。
[0012]进一步地，所述步骤S4中时序分类模型训练步骤包括：步骤S4.1、提取时序样本特征；特征包括时域特征、频域特征和时频域特征；步骤S4.2、根据步骤S4.1获取的训练集对应时序样本特征训练时序分类模型选取的时序分类模型为XGboost模型，并通过验证集进行验证，最后通过测试集进行模型分类准确率测试，最终获取分类精度满足要求的时序分类模型。
[0013]进一步地，所述步骤S5中将所述图像分类模型和时序分类模型的输出进行融合，具体表示如下：X=A* D
o
+(1
‑
A)*M
o
其中X代表最终输出结果，A代表图像分类模型输出权重，D0代表图像分类模型输出结果，M0代表时序分类模型输出结果。
[0014]本专利技术采用的技术方案与现有技术方案相比，具有以下有益效果：（1）本专利技术提供的焊接异常实时诊断方法，将时序数据转换为图像数据，并基于深度学习方法训练图像分类模型。在此基础上，针对该图像分类模型对于区分未焊接和异常焊接时存在误分的问题，本专利技术采用机器学习算法，训练时序分类模型，将图像分类模型和时序分类模型输出融合，进一步提升了检测结果的准确率。
[0015]（2）本专利技术基于传统深度学习模型在训练时普遍存在的过拟合现象，对损失函数表达进行改进，通过对真实标签和非真实标签设置不同的权重张量，使真实标签对应的权重更大，非真实标签对应的权重更小，有效提升了模型训练的精度，并且解决了模型训练中
的过拟合现象。
附图说明
[0016]图1为本专利技术提供的融合图像检测的焊接异常实时诊断方法流程图；图2a为本专利技术实施例中时序电流样本示意图；图2b为本专利技术实施例中时序电流样本转换为图像样本的结果示意图；图3为本专利技术实施例中提供的焊接异常实时检测结果混淆矩阵图。
实施方式
[0017]下面结合附图对本专利技术做更进一步的解释。
[0018]本专利技术提供了一种融合图像检测的焊接异常实时诊断方法，首先将焊接过程中实时采集到的高频时序数据转换为图像数据并进行预处理，接着搭建基于深度学习的图像分类模型，设计相应损失函数后进行模型训练，获取针对焊接异常的图像分类模型。由于起弧瞬间，由未焊接状态转变为焊接状态在图像层面变化趋势不大，而反映在时序层面则存在瞬时波动的较大差别，因此本专利技术采用机器学习算法，同步提取采集到的高频时序数据特征，训练时序分类模型，将图像分类模型和时序分类模型进行结果融合并赋予权重，最终获取分类结果，可以有效提升分类结果的准确度。下面具体提供一份实施例，详细阐述本专利技术提供的融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合图像检测的焊接异常实时诊断方法，其特征在于，包括以下步骤：步骤S1、通过传感器实时采集焊接过程中的高频时序数据；步骤S2、对采集到的高频数据进行预处理，采用格拉姆角场将时序数据样本转换为图像样本，用于训练图像分类模型；步骤S3、基于深度学习搭建图像分类模型，并根据步骤S2中获取的图像样本进行模型训练，获取用于判断焊接异常的图像分类模型；步骤S4、将步骤S2中转换为图像样本的时序数据另外提取特征，并基于机器学习算法搭建时序分类模型；将所述提取特征输入至时序分类模型，同步进行模型训练；步骤S5、通过加权融合方式将所述图像分类模型和时序分类模型的输出进行融合，最终融合结果即为焊接异常诊断结果。2.根据权利要求1所述的一种融合图像检测的焊接异常实时诊断方法，其特征在于，所述步骤S2中对高频时序数据进行预处理，具体步骤包括：步骤S2.1、按照设定窗长Window_Size进行滑窗构造样本，将每个窗长的时序数据作为一个样本，并根据实际焊接情况对样本进行标注，其中未发生焊接是标注为0，发生焊接异常标注为1，正常焊接状态标注为2;步骤S2.2、采用格拉姆角场将步骤S2.1中划分的各时序样本转换为图像样本，作为后续图像分类模型的入模样本。3.根据权利要求1所述的一种融合图像检测的焊接异常实时诊断方法，其特征在于，所述步骤S3中训练图像分类模型具体包括：步骤S3.1、将获取的图像样本按比例切分为训练集、验证集和测试集；步骤S3.2、设置图像分类模型损失函数；通过创建权重张量并计算交叉熵损失，设置用于防止过拟合的损失函数；步骤S3.3、搭建图像分类模型，并基于损失函数进行模型训练，获得训练好的图像分类模型。4.根据权利要求3所述的一种融合图像检测的焊接异常实时诊断方法，其特征在于，所述步骤S3.2中设置损失函数具体步骤包括：步骤S3.2.1、损失函数的输入参数包括模型的输出值和样本的真实标签；其中模型输出值维度为batch_size，即输出批次数；样本真实标签与输出批次数维度相同，损失函数即计算模型输出和真实样本标签间的lo...

【专利技术属性】
技术研发人员：李波，姚志豪，
申请(专利权)人：苏芯物联技术南京有限公司，
类型：发明
国别省市：