一种基于高频时序数据的焊接缺陷实时检测方法及系统技术方案

本发明专利技术公开了一种基于高频时序数据的焊接缺陷实时检测方法及系统，该检测方法包括：首先将采集到的高频焊接时序数据，按照设定窗长进行采样，并为每个样本标注缺陷发生时间段和缺陷类型，生成数据样本集；而后利用生成的数据样本集训练ResNet与TCN融合网络模型，得到训练好的检测模型；最后获取新的实时高频焊接数据，按照设定窗长输入到训练好的检测模型中进行预测，实时输出焊接缺陷类别。本发明专利技术通过将ResNet网络与TCN进行网络结构融合，可以将ResNet应用到时序检测领域，针对数据量较大、序列长度较长的高频焊接时序数据，通过并行卷积计算的方式，在训练过程中，加快训练速度，在预测过程中，做到强实时预测。做到强实时预测。做到强实时预测。

【技术实现步骤摘要】
一种基于高频时序数据的焊接缺陷实时检测方法及系统


[0001]本专利技术涉及一种基于高频时序数据的焊接缺陷实时检测方法及系统，属于自动化焊接


技术介绍

[0002]智能化焊接是智能制造领域中最重要的研究课题之一，而传感技术及其信息处理则是实现焊接过程智能化及自动化的关键要素。近年来，具有小型化、无接触式及大传输量等特点的传感技术更多地被应用到焊接过程及质量实时控制中，如电弧传感、视觉传感、声音传感、光谱传感等。这些传感利用不同信息源获取了与焊接质量有关的大规模信息，如何挖掘有效信息并将其及时反馈与利用在焊接质量的实时检测中是亟需解决的关键问题。
[0003]目前基于深度学习进行焊接缺陷检测的方法，基本都是通过机器视觉的方式，采集焊缝缺陷的图片，利用Faster
‑
RCNN、YOLOv3等目标检测方法，进行缺陷异常检测。基于机器视觉的方式，一方面成本较高，需要安装专业的高清晰度摄像头，另一方面，具有很多不可控因素，例如光线强弱、板材杂质、摄像头的拍摄角度等，且需要训练较大的网络。而针对时序数据的建模，最常用的模型是LSTM和GRU等循环神经网络，但循环神经网络不可并行计算，训练速度较慢，尤其是高频的焊接时序数据，具有序列长度较长、数据量较大的特点，能够并行计算尤为重要。
[0004]基于此，本专利提出了一种将ResNet（残差神经网络）与TCN（时序卷积网络）进行融合的网络模型，针对新的实时高频焊接时序数据，仅通过并行的矩阵运算即可实时给出预测结果，相较于其他机器学习提取特征的方式，能做到实时性更强的检测，既保证了训练精度，又可以提高训练速度。

技术实现思路

[0005]专利技术目的：针对现有技术所存在的问题，本专利技术提供一种基于高频时序数据的焊接缺陷实时检测方法及系统，通过构建ResNet与TCN融合的网络模型，对采集的高频焊接时序数据进行并行计算，快速准确的对焊接过程中的缺陷进行实时判断。
[0006]技术方案：为实现上述目的，本专利技术提供一种基于高频时序数据的焊接缺陷实时检测方法，包括以下步骤：步骤1：将采集到的高频焊接时序数据，按照设定窗长进行采样，并按照已知的缺陷发生时间段和缺陷类型，为每个样本打标注，生成数据样本集；步骤2：利用生成的数据样本集训练所构建的ResNet与TCN融合网络模型，得到训练好的检测模型；步骤3：获取新的实时高频焊接数据，按照设定窗长进行滑窗，将每个窗长的数据输入到训练好的检测模型中进行预测，实时输出焊接缺陷类别。
[0007]进一步的，所述步骤1具体包括：步骤1.1：将采集到的高频焊接时序数据，设定窗长window_size，每个窗长的序列
作为一个样本，并将每个样本保存为NumPy文件，命名为data_i.npy；步骤1.2：按照已知的缺陷发生时间段和缺陷类型，为每个样本打标注，并将每个标注保存为NumPy文件，命名为label_j.npy，其中i和j一一对应；步骤1.3：将生成的所有样本随机乱序，并按比例截取训练集和验证集，剩下的即为测试集。
[0008]进一步的，所述高频焊接时序数据包括但不限于电流、电压、送丝速度、气流速度，其频率不低于10KHz。
[0009]进一步的，所述焊接缺陷类别包括但不限于正常、漏焊、气孔三种，可以用0、1、2等来进行标注。
[0010]进一步的，所述步骤2中构建的ResNet与TCN融合网络模型具体包括：输入层、一维卷积层、池化采样层、至少四个融合网络块、Flatten层和三个全连接层，其中每个融合网络块包含一个残差块和至少一个时间卷积网络块。
[0011]进一步的，当ResNet骨架结构为ResNet18或ResNet34时，每个残差块包括两个卷积核大小为3*3的一维卷积网络层、两个BN层、两个激活函数层和一个跳跃连接，每个时间卷积网络块包括两个卷积核大小为3*3的一维膨胀卷积层、两个BN层、两个激活函数层和一个跳跃连接；当ResNet骨架结构为ResNet50及其以上时，每个残差块包括两个卷积核大小为1*1的一维卷积网络层、一个卷积核大小为3*3的一维卷积网络层、三个BN层、三个激活函数层以及一个跳跃连接，每个时间卷积网络块包括两个卷积核大小为1*1的一维卷积网络层、一个卷积核大小为3*3的一维膨胀卷积网络层、三个BN层、三个激活函数层以及一个跳跃连接。
[0012]此外，本专利技术还提供了一种基于高频时序数据的焊接缺陷实时检测系统，包括数据采集模块、数据处理模块，其中数据处理模块用于采用上述焊接缺陷实时检测方法，根据数据采集模块采集到的高频焊接实时数据，包括但不限于电流、电压、送丝速度、气流速度，来进行焊接缺陷的实时检测。
[0013]有益效果：本专利技术所提供的一种基于高频时序数据的焊接缺陷实时检测方法及系统，相对于现有技术，具有以下优点：本专利技术通过在ResNet中融入TCN时间卷积网络块，可以使ResNet应用到时序数据上，解决时序问题，优于使用LSTM和GRU等传统的时间序列神经网络模型，可以并行计算，加快训练速度，尤其是对于高频的焊接时序数据，序列长度较长，数据量较大，能够并行训练尤为重要。该数据量挑战在多台（例如1000台）焊机数据应用时，会变得更为严峻，因此本专利技术具有较强的实用意义。
[0014]而TCN搭载在ResNet的骨架结构中，可以利用ResNet的优点，可以加深网络结构，同时降低网络参数量，获得更好的训练结果。针对新的实时高频焊接时序数据，本专利技术仅通过并行的矩阵运算即可实时给出预测结果，相较于其他机器学习提取特征的方式，能做到实时性更强的检测。
附图说明
[0015]图1为本专利技术实施例的流程示意图；
图2为本专利技术实施例中所采集的高频焊接时序数据图；图3为本专利技术实施例中ResNet与TCN融合网络模型的结构示意图；图4为本专利技术实施例中时间卷积网络块的结构示意图；图5为本专利技术实施例中模型预测结果的混淆矩阵图。
具体实施方式
[0016]下面将结合附图对本专利技术的优选实施方式进行描述，更加清楚、完整地阐述本专利技术的技术方案。
实施例
[0017]如图1所示为一种基于高频时序数据的焊接缺陷实时检测方法，包括以下步骤：步骤1：数据预处理；步骤1.1：将采集到的高频焊接数据（不低于10KHz，如图2所示，本实施例中的焊接时序数据包括电流、电压和气流速度），设定窗长window_size=20000，每个窗长的序列作为一个样本（共1600个样本），并将每个样本保存为一个NumPy文件，命名为data_i.npy；步骤1.2：按照已知的缺陷发生时间段和缺陷类型，为每个样本打标注，并将每个label（标注）保存为NumPy文件，命名为label_j.npy，i和j一一对应；其中label有如下三种：label类别0正常1漏焊2气孔步骤1.3：将生成的所有样本随机shuffle（乱序），设定训练样本的比例train_size=0.7，验证样本的比例dev_size=0.2，按照比例截取训练集和验证集，剩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高频时序数据的焊接缺陷实时检测方法，其特征在于，包括以下步骤：步骤1：将采集到的高频焊接时序数据，按照设定窗长进行采样，并按照已知的缺陷发生时间段和缺陷类型，为每个样本打标注，生成数据样本集；步骤2：利用生成的数据样本集训练所构建的ResNet与TCN融合网络模型，得到训练好的检测模型；步骤3：获取新的实时高频焊接数据，按照设定窗长输入到训练好的检测模型中进行预测，实时输出焊接缺陷类别。2.根据权利要求1所述的一种基于高频时序数据的焊接缺陷实时检测方法，其特征在于，所述步骤1具体包括：步骤1.1：将采集到的高频焊接时序数据，设定窗长window_size，每个窗长的序列作为一个样本，并将每个样本保存为NumPy文件，命名为data_i.npy；步骤1.2：按照已知的缺陷发生时间段和缺陷类型，为每个样本打标注，并将每个标注保存为NumPy文件，命名为label_j.npy，其中i和j一一对应；步骤1.3：将生成的样本随机乱序，并按比例截取训练集和验证集，剩下的即为测试集。3.根据权利要求1所述的一种基于高频时序数据的焊接缺陷实时检测方法，其特征在于，所述高频焊接时序数据包括但不限于电流、电压、送丝速度、气流速度，其频率不低于10KHz。4.根据权利要求1所述的一种基于高频时序数据的焊接缺陷实时检测方法，其特征在于，所述焊接缺陷类型包括但不限于正常、漏焊、气孔。5.根据权利要...

【专利技术属性】
技术研发人员：田慧云，钱鹏，李波，
申请(专利权)人：苏芯物联技术南京有限公司，
类型：发明
国别省市：