焊缝缺陷识别方法及系统技术方案

本发明专利技术提供了一种焊缝缺陷识别方法及系统，包括如下：读取辅助集和支撑集中的原始图像，并进行图像增强处理，得到增强后的输出图像；对每张图像用包围框进行缺陷标注，形成最终辅助集以及最终支撑集；通过特征提取网络以及解耦检测网络，搭建多分类检测模型；通过最终辅助集对多分类检测模型进行训练；通过最终支撑集对训练后的特征提取网络和解耦检测网络进行训练，获得焊缝缺陷检测模型；对待检测图像进行图像增强处理，通过焊缝缺陷检测模型对图像增强处理后的待检测图像进行识别。本发明专利技术基于图像增强的预处理方法，大幅度改善工业生产过程中检测图像对比度低、光照不均匀等问题，高质量的检测图像大大提高了后续缺陷检测的准确率。的准确率。的准确率。

【技术实现步骤摘要】
焊缝缺陷识别方法及系统


[0001]本专利技术涉及智能缺陷检测的
，具体地，涉及一种焊缝缺陷识别方法及系统。尤其是，优选的涉及一种针对小样本情况下的焊缝缺陷智能识别方法。

技术介绍

[0002]由于目前大型焊接产品覆盖领域广，主要应用于航空、航天、汽车、船舶等领域。其中焊接工艺多种多样、导致焊缝类型层出不穷、焊接缺陷充满复杂性，精确的智能焊缝缺陷检测充满挑战。为了满足实际贮箱无损检测行业的要求，由于产业的不断发展，待评测图像不断增多，缺少智能筛选机制，人工判读会在无缺陷的正常图像上耗费时间，效率难以提升；而且人工评判存在主观因素，导致评判质量不稳定，发生错漏检，导致产品质量问题。因此，需要智能检测技术来缓解检测能力不足的现状，近年来针对基于机器学习的图像处理方法在缺陷智能识别、筛选分类等方面产出了大量的研究成果。但是机器学习特别是深度学习，需要大量的数据才能训练好一个具有良好泛化性的模型。如何在小样的情况下进行有效的学习，成为了一个广受关注的问题。
[0003]随着深度学习技术的不断发展与实际应用，火箭贮箱焊缝缺陷检测往智能化发展的需求不但增加，为开展了基于深度学习的火箭贮箱焊缝智能检测的研究提供强大动力。
[0004]公开号为CN114862745A的中国专利技术专利文献公开了一种焊缝缺陷识别方法、焊缝缺陷识别模型的训练方法及装置，属于管道
该方法包括：获取待识别图像；调用焊缝缺陷识别模型对待识别图像进行缺陷识别，得到管道焊缝缺陷的缺陷位置和缺陷类型；基于缺陷位置和缺陷类型在待识别图像中标记出管道焊缝缺陷，得到标记有管道焊缝缺陷的图像。
[0005]针对上述中的相关技术，专利技术人认为现有机器视觉方法检测效果不佳、准率低以及鲁棒性不强。

技术实现思路

[0006]针对现有技术中的缺陷，本专利技术的目的是提供一种焊缝缺陷识别方法及系统。
[0007]根据本专利技术提供的一种焊缝缺陷识别方法，包括如下步骤：
[0008]图像增强步骤：读取辅助集和支撑集中的原始图像，并进行图像增强处理，得到增强后的输出图像；
[0009]缺陷标注步骤：遍历增强后的输出图像，对每张图像用包围框进行缺陷标注，形成最终辅助集以及最终支撑集；
[0010]检测模型搭建步骤：通过特征提取网络以及解耦检测网络，搭建多分类检测模型；
[0011]辅助集训练步骤：通过最终辅助集对多分类检测模型进行训练，获得训练后的特征提取网络和解耦检测网络；
[0012]支撑集训练步骤：通过最终支撑集对训练后的特征提取网络和解耦检测网络进行训练，获得焊缝缺陷检测模型；
[0013]缺陷识别步骤：对待检测图像进行图像增强处理，通过焊缝缺陷检测模型对图像增强处理后的待检测图像进行识别。
[0014]优选的，在所述图像增强步骤中，对辅助集中的熔焊焊缝图像以及支撑集中的搅拌摩擦焊焊缝图像利用CLAHE进行图像增强。
[0015]优选的，在所述图像增强步骤中，将原始图像横竖均匀划分为n个子图像，并获取原始图像的直方图函数h(r
k
)：
[0016]h(r
k
)＝n
k
[0017]其中，r
k
表示区间内第k级的亮度，n
k
表示原始图像中等于第k级的亮度的像素数；同时定义r
min
为原始图像中存在亮度的最小值，r
max
为原始图像中存在亮度的最大值；
[0018]将直方图函数进行归一化，将每一个元素h(r
k
)除以原始图像中的像素总数n得到新的直方图函数P(r
k
)：
[0019][0020]动态调节图像新的直方图分布，预先设定对比度限制权重以及图像增强权重，得到调整后的直方图分布函数P
′
(r
k
)以及图像增强后的灰度范围)以及图像增强后的灰度范围表示图像增强后的最小灰度；表示图像增强后的最大灰度；
[0021]根据调整后的直方图分布函数给出灰度映射函数的直方图累积函数P
sum
′
(r
k
)：
[0022][0023]根据直方图均衡化的基本计算公式得出图像均衡化映射函数f
i
(r
k
)为：
[0024][0025]分别对每一个子图像的像素点按照映射函数进行变换，得到新的像素值，子图像块之间的像素值利用双线性插值法进行优化，得到多个灰度值图像；
[0026]将得到的多个灰度值图像进行拼接，得到增强后的输出图像。
[0027]优选的，在所述缺陷标注步骤中，对图像增强后的熔焊焊缝图像以及搅拌摩擦焊焊缝图像中的缺陷部分使用包围框进行标注，将熔焊焊缝图像标注后生成的全部Xm1文件作为最终辅助集；将搅拌摩擦焊焊缝图像标注后生成的全部Xml文件作为最终支撑集。
[0028]优选的，在所述检测模型搭建步骤中，基于Darknet
‑
53卷积层构建特征提取网络，通过构建的特征提取网络结合缺陷位置、有无缺陷以及缺陷类型解耦的检测网络，完成YoloV3多分类检测模型的搭建。
[0029]优选的，在所述辅助集训练步骤中，将最终辅助集中数据尺寸调整至YoloV3多分类检测模型输入大小，根据最终辅助集的缺陷类别，修改YoloV3多分类检测模型所能检测的总的缺陷类别，并为每个需要检测的缺陷类别分配固定的编号，利用YoloV3多分类检测模型中的Darknet
‑
53卷积层部分进行特征提取，得到的向量输入至搭建的解耦检测网络中，完成单次训练；后续不断迭代训练，得到迁移前的搅拌摩擦焊缺陷检测的模型。
[0030]优选的，在所述支撑集训练步骤中，通过模型迁移，使用训练后的特征提取网络对
支撑集中搅拌摩擦焊焊缝进行特征提取，并将提取到的特征输入至训练后的解耦检测网络中来预测缺陷的位置以及种类；然后不断迭代训练，最后获得基于迁移学习的多分类检测模型作为最后搅拌摩擦焊缺陷检测的模型。
[0031]优选的，在所述支撑集训练步骤中，对待检测图像使用CLAHE进行图像增强处理，并将图像增强后的待检测图像尺寸调整至焊缝缺陷检测模型输入大小；
[0032]针对图像增强后的待检测图像调用训练好的焊缝缺陷检测模型进行预测，检测金属板带表面是否有缺陷，并给出缺陷的分类和定位。
[0033]根据本专利技术提供的一种焊缝缺陷识别系统，包括如下模块：
[0034]图像增强模块：读取辅助集和支撑集的原始图像，并进行图像增强处理，得到增强后的输出图像；
[0035]缺陷标注模块：遍历增强后的输出图像，对每张图像用包围框进行缺陷标注，形成最终辅助集以及最终支撑集；
[0036]检测模型搭建模块：通过特征提取网络以及解耦检测网络，搭建多分类检测模型；
[0037]辅助集训练模块：通过最终辅助集对多分类检测模型进行训练，获得训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种焊缝缺陷识别方法，其特征在于，包括如下步骤：图像增强步骤：读取辅助集和支撑集中的原始图像，并进行图像增强处理，得到增强后的输出图像；缺陷标注步骤：遍历增强后的输出图像，对每张图像用包围框进行缺陷标注，形成最终辅助集以及最终支撑集；检测模型搭建步骤：通过特征提取网络以及解耦检测网络，搭建多分类检测模型；辅助集训练步骤：通过最终辅助集对多分类检测模型进行训练，获得训练后的特征提取网络和解耦检测网络；支撑集训练步骤：通过最终支撑集对训练后的特征提取网络和解耦检测网络进行训练，获得焊缝缺陷检测模型；缺陷识别步骤：对待检测图像进行图像增强处理，通过焊缝缺陷检测模型对图像增强处理后的待检测图像进行识别。2.根据权利要求1所述的焊缝缺陷识别方法，其特征在于，在所述图像增强步骤中，对辅助集中的熔焊焊缝图像以及支撑集中的搅拌摩擦焊焊缝图像利用CLAHE进行图像增强。3.根据权利要求1所述的焊缝缺陷识别方法，其特征在于，在所述图像增强步骤中，将原始图像横竖均匀划分为n个子图像，并获取原始图像的直方图函数h(r
k
)：h(r
k
)＝n
k
其中，r
k
表示区间内第k级的亮度，n
k
表示原始图像中等于第k级的亮度的像素数；同时定义r
min
为原始图像中存在亮度的最小值，r
max
为原始图像中存在亮度的最大值；将直方图函数进行归一化，将每一个元素h(r
k
)除以原始图像中的像素总数n得到新的直方图函数P(r
k
)：动态调节图像新的直方图分布，预先设定对比度限制权重以及图像增强权重，得到调整后的直方图分布函数P
′
(r
k
)以及图像增强后的灰度范围)以及图像增强后的灰度范围表示图像增强后的最小灰度；表示图像增强后的最大灰度；根据调整后的直方图分布函数给出灰度映射函数的直方图累积函数P
sum
′
(r
k
)：根据直方图均衡化的基本计算公式得出图像均衡化映射函数f
i
(r
k
)为：分别对每一个子图像的像素点按照映射函数进行变换，得到新的像素值，子图像块之间的像素值利用双线性插值法进行优化，得到多个灰度值图像；将得到的多个灰度值图像进行拼接，得到增强后的输出图像。4.根据权利要求2所述的焊缝缺陷识别方法，其特征在于，在所述缺陷标注步骤中，对图像增强后的熔焊焊缝图像以及搅拌摩擦焊焊缝图像中的...

【专利技术属性】
技术研发人员：王立群，刘骁佳，戴铮，金翠娥，刘欢，王飞，周鹏飞，
申请(专利权)人：上海航天精密机械研究所，
类型：发明
国别省市：