一种基于异常仿真的焊接质量异常检测方法技术

本发明专利技术公开了一种基于异常仿真的焊接质量异常检测方法，该方法包括：获取焊接后的产品图像，数据预处理，包括数据清洗、数据裁剪；训练数据集制作：根据预设的异常仿真策略调用裁剪后的正常图像和异常图像生成用于模型训练的异常仿真样本；构建并训练异常检测模型，包括选择加载了预训练权重的ResNet18网络作为编码器，将所述异常仿真样本和正常样本输入到所述编码器中进行特征提取，对所述融合特征进行多尺度特征融合处理；对多尺度特征融合进行自注意力增强处理，对增强后的特征通过解码器进行解码操作，将解码后的所有特征输入softmax层。本发明专利技术通过异常仿真策略，模拟不同情况下的焊接异常，在没有真实缺陷数据的情况下，也能够检测到缺陷。也能够检测到缺陷。也能够检测到缺陷。

【技术实现步骤摘要】
一种基于异常仿真的焊接质量异常检测方法


[0001]本专利技术涉及工业缺陷检测
，尤其涉及一种基于异常仿真的焊接质量异常检测方法。

技术介绍

[0002]新能源汽车高速发展，新能源锂电池是新能源汽车生产领域重要的一项产品。在电池的生产制造过程中，从电芯制造到配件组装，焊接都是一项非常重要的工序。激光焊接由于其灵活、精准和高效的特点，广泛应用于新能源汽车电池生产中。但在实际生产过程中，由于设备、工艺等因素，将不可避免的导致各种焊接问题，如针孔，焊刺，未焊等。为保证用户的生命安全以及电池的使用寿命，电芯焊接的质量检测成为了生产中不可或缺的部分。
[0003]目前，焊接质量视觉检测方法包括传统的图像检测方法和深度学习检测方法。简单的传统方法无法有效检测缺陷，而有效的传统方法需要人工设计特征，特征设计复杂、耗时，在实际生产过程中效率低下。面对复杂的生产情况，深度学习方法拥有较强的适应性，无须人工设计特征。但需要大量的数据支持，在工业场景中，缺陷数据相对于正常数据非常少，且缺陷数据的标注也耗时耗力。虽然存在半监督学习的检测方式，能够降低一部分的数据标注耗费，但当缺陷数据不足时，效果不足，且无法完全释放标注耗费。而通过异常仿真的方式，在没有缺陷数据的情况下也能达到较好的效果，且无须人工标注，在有部分人工干预的情况下能够使效果更上一层。

技术实现思路

[0004]针对上述的问题，本专利技术提供了一种基于异常仿真的焊接质量异常检测方法，通过异常仿真策略，模拟不同情况下的焊接异常，在没有真实缺陷数据的情况下，也能够检测到缺陷。
[0005]为达到上述技术目的，本专利技术采用以下技术方案：一种基于异常仿真的焊接质量异常检测方法，具体包括以下步骤：S1、获取焊接后的产品图像；S2、数据预处理，包括：数据清洗：从获取的产品图像中剔除存在异常的图像，保留正常图像，将异常图像加入缺陷库；数据裁剪：将正常图像和异常图像分别裁剪为多个正方形小块储存；S3、训练数据集制作：根据预设的异常仿真策略调用裁剪后的正常图像和异常图像生成用于模型训练的异常仿真样本，所述正常图像作为用于训练模型的正常样本；S4、构建并训练异常检测模型，包括：S41选择加载了预训练权重的ResNet18网络作为编码器，从正常图像中随机挑选M个样本，将其输入所述编码器进行特征提取，将得到的Layer1、Layer2、Layer3这三个阶段
的特征输入记忆库进行储存；S42、将所述异常仿真样本和正常样本输入到所述编码器中进行特征提取，得到Conv1、Layer1、Layer2、Layer3、Layer4这五个阶段的特征，将样本的Layer1特征、Layer2特征、Layer3特征与记忆库中对应阶段特征进行匹配和信息融合，得到连接视觉信息和语义信息的融合特征；S43、对所述融合特征进行多尺度特征融合处理，得到多尺度融合特征；S44、对所述多尺度特征融合进行自注意力增强处理，输出增强后的Layer1特征、Layer2特征、Layer3特征；S45、对增强后的Layer1特征、Layer2特征、Layer3特征以及步骤S42得到的Conv1特征、Layer4特征通过解码器进行解码操作；S46、将解码后的所有特征输入softmax层，得到输入样本每个像素点分类的概率值，将概率值与预设阈值进行比较判断该输入样本是否为正常样本。
[0006]进一步的，步骤S3中，调用所述正常图像和异常图像并根据预设的异常仿真策略生成用于模型训练的异常仿真样本，具体包括：S31、将小块正常图像缩放至模型输入大小作为输入图像，对输入图像进行二值化处理得到有效区域掩膜，对有效区域掩膜图像进行区域划分，得到不同区域掩膜；S32、随机生成大小与所述输入图像相同的二维柏林噪声图，设定一个噪声阈值，从柏林噪声图中提取噪声高于该噪声阈值的区域，生成二值化的缺陷区域掩膜；S33、从所述不同区域掩膜中挑选一种或多种区域掩模分别与所述缺陷区域掩模相乘并取交，得到包含了缺陷区域的最终掩膜；S34、从缺陷库中随机抽取一张异常图像缩放至模型输入大小，将缩放后的异常图像与所述最终掩模相乘，得到缺陷样例；S35、根据所述最终掩膜剔除所述输入图像中相应的缺陷区域，将剔除了缺陷区域的输入图像与所述缺陷样例合并为最终的异常仿真样本。
[0007]进一步的，还包括模型优化：采用目标函数为对所述异常检测模型进行优化，为：其中，表示平均绝对误差L1 loss，表示损失函数focal loss，和表示各自对应的占比系数；计算公式为：计算公式为：的计算公式为：其中，h，w，c分别表示预测结果的高、宽、通道数三个维度，表示步骤S46预测结
果对应位置下的概率值，表示最终掩膜对应位置下的值，α和β表示设定的系数。
[0008]进一步的，所述异常仿真样本和正常样本的比例为1:1。
[0009]进一步的，所述步骤S31中，还包括通过开或闭运算去除输入图像二值化过程中产生的噪声。
[0010]进一步的，所述不同区域掩膜包括焊道、焊面、铝壳面以及背景区域掩膜。
[0011]进一步的，所述缺陷库的异常图像还包括纹理图像数据集中的图片。
[0012]进一步的，所述步骤S35中，所述缺陷样例乘以以透明度因子后再与剔除了缺陷区域的输入图像合并为最终的异常仿真样本。
[0013]进一步的，步骤S42中，所述将样本的Layer1特征、Layer2特征、Layer3特征与记忆库中对应阶段特征进行匹配和信息融合，得到连接视觉信息和语义信息的融合特征，具体包括：将样本的Layer1特征、Layer2特征、Layer3特征特征与记忆库中的M个Layer1特征、Layer2特征、Layer3特征计算每个特征点的L2距离，并取均值作为差异分，然后将记忆库中差异分最小的特征取出，与样本的特征计算L2距离特征，最后将L2距离特征与样本的特征进行通道叠加，得到连接视觉信息和语义信息的融合特征；样本的特征上的某个特征点与记忆库中的特征计算L2距离的公式为：其中，d表示L2距离，h，w，c分别表示当前特征的高、宽、通道数三个维度，表示当前特征对应位置下的特征点，表示记忆库特征对应位置下的特征点。
[0014]进一步的，所述步骤S43中对所述融合特征进行多尺度特征融合处理，得到多尺度融合特征，具体包括：S431、将样本的Layer1融合特征进行3
×
3卷积得到维度为128
×
64
×
64的特征，然后进行2次3
×
3卷积压缩通道进行压缩，得到维度为64
×
64
×
64的特征；S432、将样本的Layer2与Layer3融合特征经过步骤S431的操作，分别得到维度为128
×
32
×
32和256
×
16
×
16的特征，然后将维度为256
×
16
×
16的特征进行上采样并用3
×
3卷积压缩通道进行压缩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异常仿真的焊接质量异常检测方法，其特征在于包括以下步骤：S1、获取焊接后的产品图像；S2、数据预处理，包括：数据清洗：从获取的产品图像中剔除存在异常的图像，保留正常图像，将异常图像加入缺陷库；数据裁剪：将正常图像和异常图像分别裁剪为多个正方形小块储存；S3、训练数据集制作：根据预设的异常仿真策略调用裁剪后的正常图像和异常图像生成用于模型训练的异常仿真样本，所述正常图像作为用于训练模型的正常样本；S4、构建并训练异常检测模型，包括：S41、选择加载了预训练权重的ResNet18网络作为编码器，从正常图像中随机挑选M个样本，将其输入所述编码器进行特征提取，将得到的Layer1、Layer2、Layer3这三个阶段的特征输入记忆库进行储存；S42、将所述异常仿真样本和正常样本输入到所述编码器中进行特征提取，得到Conv1、Layer1、Layer2、Layer3、Layer4这五个阶段的特征，将样本的Layer1特征、Layer2特征、Layer3特征与记忆库中对应阶段特征进行匹配和信息融合，得到连接视觉信息和语义信息的融合特征；S43、对所述融合特征进行多尺度特征融合处理，得到多尺度融合特征；S44、对所述多尺度特征融合进行自注意力增强处理，输出增强后的Layer1特征、Layer2特征、Layer3特征；S45、对增强后的Layer1特征、Layer2特征、Layer3特征以及步骤S42得到的Conv1特征、Layer4特征通过解码器进行解码操作；S46、将解码后的所有特征输入softmax层，得到输入样本每个像素点分类的概率值，将概率值与预设阈值进行比较判断该输入样本是否为正常样本。2.如权利要求1所述的一种基于异常仿真的焊接质量异常检测方法，其特征在于所述步骤S3中，调用所述正常图像和异常图像并根据预设的异常仿真策略生成用于模型训练的异常仿真样本，具体包括：S31、将小块正常图像缩放至模型输入大小作为输入图像，对输入图像进行二值化处理得到有效区域掩膜，对有效区域掩膜图像进行区域划分，得到不同区域掩膜；S32、随机生成大小与所述输入图像相同的二维柏林噪声图，设定一个噪声阈值，从柏林噪声图中提取噪声高于该噪声阈值的区域，生成二值化的缺陷区域掩膜；S33、从所述不同区域掩膜中挑选一种或多种区域掩模分别与所述缺陷区域掩模相乘并取交，得到包含了缺陷区域的最终掩膜；S34、从缺陷库中随机抽取一张异常图像缩放至模型输入大小，将缩放后的异常图像与所述最终掩模相乘，得到缺陷样例；S35、根据所述最终掩膜剔除所述输入图像中相应的缺陷区域，将剔除了缺陷区域的输入图像与所述缺陷样例合并为最终的异常仿真样本。3.如权利要求2所述的一种基于异常仿真的焊接质量异常检测方法，其特征在于还包括：步骤S5、模型优化：
采用目标函数为对所述异常检测模型进行优化，为：其中，表示平均绝对误差L1 loss，表示损失函数focal loss，和表示各自对应的占比系数；计算公式为：计算公式为：的计算公式为：其中，h，w，c分别表示预测结果的高、宽、通道数三个维度，表示步骤S46预测结果对应位置下的概率值，表示最终掩膜对应位置下的值，α和β表示设定的系数。4.如权利要求2所述的一种基于异常仿真的焊接质量异常检测方法，其特征在于，所述异常仿真样本和正常样本的比例为1:1。5.如权利要求2所述的一种基于异常仿真的焊接质量异常检测方法，其特征在于所述步骤S31中，还包括通过开...

【专利技术属性】
技术研发人员：杨进一，陈宇，林梦翔，
申请(专利权)人：厦门微图软件科技有限公司，
类型：发明
国别省市：