一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法技术

本发明专利技术涉及焊接制造技术领域，并提出了一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法，本方法可以将焊接现场实时等间隔采集来的高分辨率图像输入语义分割模型进行缺陷检测，并通过图像融合方法获得与完整焊缝长度匹配的融合图像进行图像处理，自动获取焊缝宽度和缺陷的位置和尺寸等信息，整个过程无需人工干预，相比传统人工检测或机器视觉方法，减少了大量人力、提高了焊接效率，同时，该方法能够做到超长焊缝及典型缺陷的智能检测，另外本方法可广泛应用于超长焊缝的高质高效激光焊接制造过程，尤其适用于海工装备、轨道交通、航空航天等大型复杂构件焊接场合。空航天等大型复杂构件焊接场合。空航天等大型复杂构件焊接场合。

【技术实现步骤摘要】
一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法


[0001]本专利技术涉及焊接制造
，尤其涉及一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法。

技术介绍

[0002]目前，激光焊接已经广泛应用于工业生产中，工业上焊接缺陷不可避免，检测焊接缺陷能够为准确评估焊缝质量提供充足依据，并为快速去除/修复焊接缺陷提供关键信息，因此，焊接缺陷智能检测技术是保障焊接质量、提高焊接效率的关键之一。
[0003]公开号为CN111681232A的“基于语义分割的工业焊接图像缺陷的检测方法”，公开了基于图像对焊接缺陷进行自动检测的方法，来解决复杂场景下的焊接缺陷检测问题。
[0004]但是，对于大型或超大型构件焊接时，单条焊缝长度超过10m，如高铁列车某型号车顶焊缝超过10条，每条焊缝长度超过20m，焊缝缺陷种类多（如飞溅、焊瘤、咬边、驼峰、烧穿和焊缝宽度不合格）、分布广、尺寸小，采用上述方案，对于长焊缝中的缺陷定位等操作无法进行，导致该方案无法适用于长焊缝检测作业，对于超长焊缝还是需要采用人工进行检测，传统人工缺陷检测方法费时费力、主观性强、缺陷定位精度有限、部分缺陷难以被准确检测，并且大型构件尺寸大，部分位置焊缝和焊接缺陷难以近距离人工检测，此外，焊缝宽度不合格和小尺寸焊接缺陷难以被准确检测和定位，需要先确定坐标系位置，然后准确计算焊缝的宽度特征以及焊接缺陷的中心坐标和尺寸参数，仅靠人工检测难以实现上述要求。

技术实现思路

[0005]有鉴于此，本专利技术提出了一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法，可对大型构件超长焊缝焊接缺陷进行自动检测，具有精度高、运行时间短、抗干扰能力强、识别缺陷种类多等特点，以满足焊缝及焊接缺陷智能检测要求。
[0006]本专利技术的技术方案是这样实现的：本专利技术提供了一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法，包括以下步骤：S1、通过配备微距镜头的工业相机连续等间隔获取超长焊缝俯视视角图像，得到训练图像集；S2、对训练图像集中的图像进行预处理；S3、根据焊缝缺陷分类标准对训练图像集图像中的焊缝和典型缺陷进行像素级别标注，获得模型训练数据集；S4、搭建轻量化焊缝图像语义分割模型，采用数据集数据和数据增强方法对模型进行训练和测试；S5、通过与得到训练图像集相同的方式，采集实际需检测焊缝的图像，得到焊缝图像集；S6、由轻量化焊缝图像语义分割模型，对焊缝图像集中的图像进行语义分割；
S7、通过图像融合方法对焊缝图像集中进行语义分割后的图像进行拼接，得到完整尺寸焊缝语义分割图像；S8、对完整尺寸焊缝语义分割图像进行图像处理，获取焊缝及典型缺陷的尺寸和位置信息。
[0007]在以上技术方案的基础上，优选的，所述步骤S2中的预处理包括裁剪ROI区域、灰度调整与缩小尺寸。
[0008]在以上技术方案的基础上，优选的，所述步骤S3包括以下子步骤：S31、根据焊缝缺陷分类标准，确定不同缺陷的种类；S32、对预处理后训练图像集图像中的缺陷按不同种类进行标注，同时标注出焊缝；S33、基于图像中缺陷种类的标注，对训练图像集中的图像生成语义分割标签，并将训练图像集中的图像按比例随机分为训练集数据和验证集数据；S34、采集全新完整焊缝图像，得到测试图像集，以步骤S32与步骤S33相同方式对测试图像集中的图像进行标注并生成标签，得到测试数据集。
[0009]进一步优选的，所述步骤S4包括以下子步骤：S41、基于Deeplabv3+、Mobilenetv2深度学习模型和CBAM注意力机制模块构建轻量化焊缝图像语义分割模型；S42、将所述训练集数据进行随机数据增强处理；S43、将增强处理后的训练集数据随机输入轻量化焊缝图像语义分割模型进行训练；S44、重复步骤S43与步骤S44至一定次数，设定验证阈值，每当重复次数为验证阈值的整数倍后，将模型输出图像与验证集数据中标签相同的图像对比，计算MIoU值和MPA值；S45、绘制模型训练/验证损失值与训练代数、MIoU值与训练代数、MPA值与训练代数变化曲线；S46、根据损失、MIoU、MPA变化曲线的收敛情况判断模型是否被充分训练，并保存最优模型。
[0010]更进一步优选的，所述轻量化焊缝图像语义分割模型包括以Deeplabv3+为主框架设置的编码部分与解码部分，其中，编码部分用于特征下采样，其包括主干特征提取网络与空间池化金字塔模块，所述主干特征提取网络用于获得输入图像浅层特征，其包括Mobilenetv2框架和空洞卷积，所述空间池化金字塔模块用于获得多种感受野下的特征，得到输入图像的深层特征；解码部分用于特征上采样，其包括CBAM注意力机制模块、卷积单元、融合单元和上采样单元，通过编码部分下采样与解码部分上采样，输出与输入图像同尺寸的语义分割图像。
[0011]在以上技术方案的基础上，优选的，所述步骤S7包括以下子步骤：S71、按拍摄顺序对图像进行编号；S72、相邻编号的图像重叠区域为n，将编号靠前的图像裁剪掉i像素宽度区域，编号靠后的图像裁剪掉n
‑
i像素宽度区域；
S73、根据编号递增顺序将裁剪后的图像依次进行拼接，直至获得完整尺寸焊缝语义分割图像。
[0012]在以上技术方案的基础上，优选的，所述步骤S8包括以下子步骤：S81、对所述完整尺寸焊缝语义分割图像进行目标提取，并进行二值化处理，获得只有焊缝或者一类缺陷的二值图像；S82、对只有焊缝的二值图像进行边缘提取处理，根据边缘像素位置坐标计算每个位置的焊缝宽度；S83、对只有一类缺陷的二值图像进行联通域标记处理，联通域数量即为该类缺陷数量；S84、根据联通域编号依次提取单个缺陷进行坐标化，计算缺陷中心坐标和缺陷面积；S85、按照缺陷种类依次处理，获得缺陷总数量、缺陷位置和尺寸数据。
[0013]在以上技术方案的基础上，优选的，还包括步骤S9，绘制焊缝宽度与位置变化曲线图，并输出检测报告。
[0014]进一步优选的，所述步骤S9包括以下子步骤：S91、绘制焊缝宽度与位置变化曲线图，评估焊缝宽度波动程度，判断是否出现宽度不合格缺陷；S92、获得每类缺陷总数量、总面积和面积超过设定阈值的缺陷数量；S93、根据每类缺陷中每个缺陷的位置和尺寸给出后处理建议，并输出详细检测报告。
[0015]在以上技术方案的基础上，优选的，所述轻量化焊缝图像语义分割模型的超参数包括随机梯度下降算法与学习率衰减方法。
[0016]本专利技术的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法相对于现有技术具有以下有益效果：（1）本专利技术可以将焊接现场实时等间隔采集来的高分辨率图像输入语义分割模型进行缺陷检测，并通过图像融合方法获得与完整焊缝长度匹配的融合图像进行图像处理，自动获取焊缝宽度和缺陷的位置和尺寸等信息，整个过程无需人工干预，相比传统人工检测或机器视觉方法，减少了大量人力、提高了焊接效率，同时，该方法能够做到超长焊缝及典型缺陷的智能检测，另外本方法可广泛应用于超长焊缝的高质高效激光焊接制造过程，尤其适用于海工装备、轨道交通、航本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法，其特征在于，包括以下步骤：S1、通过配备微距镜头的工业相机连续等间隔获取超长焊缝俯视视角图像，得到训练图像集；S2、对训练图像集中的图像进行预处理；S3、根据焊缝缺陷分类标准对训练图像集图像中的焊缝和典型缺陷进行像素级别标注，获得模型训练数据集；S4、搭建轻量化焊缝图像语义分割模型，采用数据集数据和数据增强方法对模型进行训练和测试；S5、通过与得到训练图像集相同的方式，采集实际需检测焊缝的图像，得到焊缝图像集；S6、由轻量化焊缝图像语义分割模型，对焊缝图像集中的图像进行语义分割；S7、通过图像融合方法对焊缝图像集中进行语义分割后的图像进行拼接，得到完整尺寸焊缝语义分割图像；S8、对完整尺寸焊缝语义分割图像进行图像处理，获取焊缝及典型缺陷的尺寸和位置信息。2.如权利要求1所述的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法，其特征在于，所述步骤S2中的预处理包括裁剪ROI区域、灰度调整与缩小尺寸。3.如权利要求1所述的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法，其特征在于，所述步骤S3包括以下子步骤：S31、根据焊缝缺陷分类标准，确定不同缺陷的种类；S32、对预处理后训练图像集图像中的缺陷按不同种类进行标注，同时标注出焊缝；S33、基于图像中缺陷种类的标注，对训练图像集中的图像生成语义分割标签，并将训练图像集中的图像按比例随机分为训练集数据和验证集数据；S34、采集全新完整焊缝图像，得到测试图像集，以步骤S32与步骤S33相同方式对测试图像集中的图像进行标注并生成标签，得到测试数据集。4.如权利要求3所述的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法，其特征在于，所述步骤S4包括以下子步骤：S41、基于Deeplabv3+、Mobilenetv2深度学习模型和CBAM注意力机制模块构建轻量化焊缝图像语义分割模型；S42、将所述训练集数据进行随机数据增强处理；S43、将增强处理后的训练集数据随机输入轻量化焊缝图像语义分割模型进行训练；S44、重复步骤S43与步骤S44至一定次数，设定验证阈值，每当重复次数为验证阈值的整数倍后，将模型输出图像与验证集数据中标签相同的图像对比，计算MIoU值和MPA值；S45、绘制模型训练/验证损失值与训练代数、MIoU值与训练代数、MPA值与训练代数变化曲线；S46、根据损失、MIoU、MPA变化曲线的收敛情况判断模型是否被充分训练，并保存最优模型。5.如权利要求4所述的超长焊缝与典...

【专利技术属性】
技术研发人员：蔡旺，曹龙超，周奇，舒乐时，耿韶宁，高飘，张丽彬，
申请(专利权)人：武汉纺织大学，
类型：发明
国别省市：