基于图像的管焊焊接缺陷检测方法技术

提供一种基于图像的管焊焊接缺陷检测方法，包括训练阶段和预测阶段；在训练阶段，将原始焊接图像和与之对应的标签文件输入到主干网络中提取图片的特征，通过训练得到识别模型；在预测阶段，将新采集的焊缝图像送入训练好的识别模型中，检测头利用提取的特征预测焊缝的标签类别和坐标。本发明专利技术采用AI深度学习技术对管焊焊接缺陷类别进行准别检测和分类，可以清楚的识别到各类别的焊接缺陷问题和缺陷所在位置；通过计算管焊各类别焊接缺陷的均值和方差对图像进行标准化预处理操作，一定程度上加速了模型收敛速度，提升了精度；使用Res2Net模块替代ResNet中的Bottleneckblock结构，并且通过增加ATSS算法以及注意力模块，提升多类管焊焊后焊接缺陷检测模型的召回率和准确率。和准确率。

【技术实现步骤摘要】
基于图像的管焊焊接缺陷检测方法


[0001]本专利技术属于焊接检测
，具体涉及一种基于图像的管焊焊接缺陷检测方法。

技术介绍

[0002]传统的摄像头模组焊接缺陷检测仪以人工目检法为主，该方式适用于摄像头模组、电路板等多种产品检测，但是人工目检受限于主观因素检测实时性差、效率低；其次，人工目检要求工人肉眼长时间盯着摄像头，既对工人的视力损伤较大，也影响了检测效率。目前国内公司多数采用从国外采购的AOI焊点检测设备和人工二次目检的半自动化方法进行摄像头模组焊接缺陷缺陷剔除，设备误检率大、效率低。
[0003]不锈钢、铜镍合金焊接难度大，生产中焊接质量需依赖高水平的焊工，对焊工经验的要求较高，新的焊工培养周期长，数量少，产能受限，这种情况随着用工情况的变化，会导致焊接质量出现波动，有色金属管段材料种类多、壁厚范围宽、焊接工艺复杂，现都是人工焊的经验，虽然目前在全自动管焊机上，丝路智能全面实现了管焊的工艺数据化，但在焊接质量评估上，是否存在焊接缺陷和质量问题，从而对焊接工艺数据参数进行实时化的修正和优化，是重要的一环，因此，针对这一问题，有必要进行改进。

技术实现思路

[0004]本专利技术解决的技术问题：提供一种基于图像的管焊焊接缺陷检测方法，采用AI深度学习技术对管焊焊接缺陷类别进行准别检测和分类，可以清楚的识别到各类别的焊接缺陷问题和缺陷所在位置；通过计算管焊各类别焊接缺陷的均值和方差对图像进行标准化预处理操作，一定程度上加速了模型收敛速度，提升了精度；使用Res2Net模块替代ResNet中的Bottleneckblock结构，并且通过增加ATSS算法以及注意力模块，提升多类管焊焊后焊接缺陷检测模型的召回率和准确率。
[0005]本专利技术采用的技术方案：基于图像的管焊焊接缺陷检测方法，包括训练阶段和预测阶段；在训练阶段，将原始焊接图像和与之对应的标签文件输入到主干网络中提取图片的特征，通过训练得到识别模型；在预测阶段，将新采集的焊缝图像送入训练好的识别模型中，检测头利用提取的特征预测焊缝的标签类别和坐标；包括以下步骤：
[0006]1)利用管焊机上的相机采集焊缝的原始图像，并根据原始图像制作训练的数据集；
[0007]2)对制作的数据集进行焊缝缺陷类别标注，制作和训练集与之对应的标签集；
[0008]3)对图像数据进行标准化和数据增强预处理操作，然后利用改进的RetinaNet主干网络对输入端的输入数据进行特征提取，预测焊缝的标签类别和坐标；
[0009]上述步骤1)中，所述管焊机上的相机作为管焊焊缝图像采集模块，在完成管件焊接过程后，旋转变位机，启动图像采集模式，对管件焊缝的全段进行焊缝图像采集。
[0010]上述步骤2)中，利用Lableme软件对制作的数据集中的图像缺陷进行人工标注，其
中，图像缺陷包括气孔、焊漏、定位焊点焊漏、单边未熔合、孔洞、熄弧坑缺陷。
[0011]上述步骤3)中，使用numpy数据库和opencv数据库对图像数据中焊缝数据集重新计算均值和方差，并根据计算的均值和方差，对图像数据进行标准化预处理，具体处理公式如下：
[0012][0013]上式中，均值标准差其中，x
i
为一张图片单个像素值，为每张图片同样位置像素值的平均值，即为mean，n为图片的个数。
[0014]上述步骤3)中，在利用RetinaNet主干网络进行特征提取之前，对数据进行数据增强预处理操作，丰富样本数据集，即利用mosaic算法和mixup算法对图像数据进行增强处理，其中，利用mosaic算法对图像数据进行增强操作时，将随机的四张图片进行随机裁剪，再拼接到一张图上作为训练数据；利用mixup算法对图像数据进行增强操作时，将随机的两张图片
‑
标签数据按比例混合后生成新的图片
‑
标签数据，将新的图片作为训练数据，提升模型的泛化能力。
[0015]上述步骤3)中，所述改进RetinaNet的主干网络为使用自适应正负样本选择ATSS算法改善模型的正负样本选择方式处理后的网络。
[0016]上述步骤3)中，使用包含Res2Net模块的ResNet网络模型以增强主干网络的特征提取能力，接着使用注意力模块对特征金字塔网络输出的特征图进行处理，从而更多的关注图像中所标注的焊缝类别缺陷特征。
[0017]本专利技术与现有技术相比的优点：
[0018]1、本技术方案采用AI深度学习技术对管焊焊接缺陷类别进行准别检测和分类，可以清楚的识别到各类别的焊接缺陷问题和缺陷所在位置；
[0019]2、本技术方案通过计算管焊各类别焊接缺陷的均值和方差对图像进行标准化预处理操作，一定程度上加速了模型收敛速度，提升了精度；
[0020]3、本技术方案使用Res2Net模块替代ResNet中的Bottleneckblock结构，并且通过增加ATSS算法以及注意力模块，提升多类管焊焊后焊接缺陷检测模型的召回率和准确率。
具体实施方式
[0021]下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0022]需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下。由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0023]基于图像的管焊焊接缺陷检测方法，包括训练阶段和预测阶段；在训练阶段，将原始焊接图像和与之对应的标签文件输入到主干网络中提取图片的特征，通过训练得到识别模型；在预测阶段，将新采集的焊缝图像送入训练好的识别模型中，检测头利用提取的特征预测焊缝的标签类别和坐标；具体包括以下步骤：
[0024]1)利用管焊机上的相机采集焊缝的原始图像，并根据原始图像制作训练的数据集；具体的，所述管焊机上的相机作为管焊焊缝图像采集模块，在完成管件焊接过程后，旋转变位机，启动图像采集模式，对管件焊缝的全段进行焊缝图像采集；其中，管焊机在进入图像采集模式后，会自动移动到相机采集焊缝图像的特定位置，以保证图像的清晰度，确保图像质量可以用于焊缝缺陷检测；
[0025]2)对制作的数据集进行焊缝缺陷类别标注，制作和训练集与之对应的标签集；具体的，利用Lableme软件对制作的数据集中的图像缺陷进行人工标注，其中，图像缺陷包括气孔、焊漏、定位焊点焊漏、单边未熔合、孔洞、熄弧坑缺陷；
[0026]3)对图像数据进行标准化和数据增强预处理操作，然后利用改进的RetinaNet主干网络对输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于图像的管焊焊接缺陷检测方法，其特征在于：包括训练阶段和预测阶段；在训练阶段，将原始焊接图像和与之对应的标签文件输入到主干网络中提取图片的特征，通过训练得到识别模型；在预测阶段，将新采集的焊缝图像送入训练好的识别模型中，检测头利用提取的特征预测焊缝的标签类别和坐标。2.根据权利要求1所述的基于图像的管焊焊接缺陷检测方法，其特征在于包括以下步骤：1)利用管焊机上的相机采集焊缝的原始图像，并根据原始图像制作训练的数据集；2)对制作的数据集进行焊缝缺陷类别标注，制作和训练集与之对应的标签集；3)对图像数据进行标准化和数据增强预处理操作，然后利用改进的RetinaNet主干网络对输入端的输入数据进行特征提取，预测焊缝的标签类别和坐标。3.根据权利要求2所述的基于图像的管焊焊接缺陷检测方法，其特征在于：上述步骤1)中，所述管焊机上的相机作为管焊焊缝图像采集模块，在完成管件焊接过程后，旋转变位机，启动图像采集模式，对管件焊缝的全段进行焊缝图像采集。4.根据权利要求2所述的基于图像的管焊焊接缺陷检测方法，其特征在于：上述步骤2)中，利用Lableme软件对制作的数据集中的图像缺陷进行人工标注，其中，图像缺陷包括气孔、焊漏、定位焊点焊漏、单边未熔合、孔洞、熄弧坑缺陷。5.根据权利要求2所述的基于图像的管焊焊接缺陷检测方法，其特征在于：上述步骤3)中，使用numpy数据库和opencv数据库对图像数据中焊缝数据集...

【专利技术属性】
技术研发人员：李光文，刘念，张雷，孙聪聪，康承飞，李尧，丁孟嘉，冯淳，李长新，
申请(专利权)人：陕西丝路机器人智能制造研究院有限公司，
类型：发明
国别省市：