基于多分支注意力金字塔结构的工业焊缝缺陷检测方法技术

一种基于多分支注意力金字塔结构的工业焊缝缺陷检测方法：对射线探伤底片图像进行预处理；构建卷积神经网络，所述的卷积神经网络为多分支注意力金字塔模型，是由金字塔模型和多分支注意力模型构成，再移入通过迁移学习提取出权重而形成的多分支注意力金字塔模型；对形成的多分支注意力金字塔模型进行训练；用训练好的多分支注意力金字塔模型对需要进行检测的射线底片图像进行测试，将需要进行检测的射线底片图像进行预处理后，输入到训练好的多分支注意力金字塔模型中，多分支注意力金字塔模型的输出类别，作为工业焊缝缺陷检测结果。本发明专利技术的方法能够实现对有缺陷的图像快速判别，提高检测效率，质检智能化，节约生产时间成本。

【技术实现步骤摘要】
基于多分支注意力金字塔结构的工业焊缝缺陷检测方法
本专利技术涉及一种工业焊缝缺陷检测。特别是涉及一种基于多分支注意力金字塔结构的工业焊缝缺陷检测方法。
技术介绍
核电设备与压力容器作为工业系统中的重要设备，其安全运行直接影响工业生产的安全性。虽然其在生产、检查验收以及安装焊接时会采取严格的控制，但是仍然避免不了在材料内部以及焊接连接部位存在内部缺陷。因此，在生产加工时，对工业产品进行缺陷检测十分必要，既可以避免缺陷品流入市场，还可以及时改进工艺流程，提高经济效益。全球传统工业视觉及其部件的市场规模在2025年将达到192亿美元，其中中国占比约为30％，并保持14％的年度平均增长率，这一领域正在逐步被新一代基于深度学习的工业视觉技术替代。现在工业生产过程中探伤检测多依靠人工判片，耗时费力还存在漏检误检的情况，已有基于深度学习的核电管道表面探伤缺陷检测方法应用于实际生产中，在此基础上，工业焊缝缺陷检测十分必要并同时有非常广阔的市场应用前景。
技术实现思路
本专利技术所要解决的技术问题是，提供一种能够提高检测效率，节约成本的基于多分支注意力金字塔结构的工业焊缝缺陷检测方法。本专利技术所采用的技术方案是：一种基于多分支注意力金字塔结构的工业焊缝缺陷检测方法，包括如下步骤：1)对射线探伤底片图像进行预处理；2)构建卷积神经网络，所述的卷积神经网络为多分支注意力金字塔模型，是由金字塔模型和多分支注意力模型构成，再移入通过迁移学习提取出权重而形成的多分支注意力金字塔模型；3)对形成的多分支注意力金字塔模型进行训练；4)用训练好的多分支注意力金字塔模型对需要进行检测的射线底片图像进行测试，将需要进行检测的射线底片图像进行预处理后，输入到训练好的多分支注意力金字塔模型中，多分支注意力金字塔模型的输出类别，作为工业焊缝缺陷检测结果。步骤1)包括：(1)获得射线探伤底片图像数据集，对每一张射线探伤底片图像进行亮度与对比度处理；(2)对数据集中射线探伤图像的种类进行手工标注；(3)采取数据增强方法对射线探伤底片图像数据集中的每一个图像和标签值做线性插值，得到增强的图像数据集。第(1)步所述的进行亮度与对比度处理，是对图像的每一个像素点按如下公式进行处理：G(i,j)＝αf(i,j)+β其中，f(i,j)表示横坐标为i、纵坐标为j的原像素点，G(i,j)表示横坐标为i、纵坐标为j的处理后的像素点，α为调节图像对比度的系数，α>0，β是增益变量。步骤2)中所述的金字塔模型分自底向上和自顶向下的两部分，其中，自底向上的部分为特征提取部分由ResNet34构成，自顶向下的部分为特征图上采样层；所述的多分支注意力模型根据空间特征来聚合ResNet34输出的有效特征，对最终缺陷区域的结果进行类别判定输出。所述的ResNet34模型，卷积层采用3×3的滤波器，对于输出的特征图尺寸相同的卷积层具有相同数量的滤波器；若输出的特征图尺寸缩小一半，滤波器个数加倍以保持每个卷积层的计算复杂度；下采样采用步长为1的卷积层进行，加权层为34层，ResNet34模型以全局平均池化层和具有log_softmax的1维全连接层结束；所述的特征图上采样层，是通过双线性插值方法得到高分辨率特征图后，再依次采用一个1×1卷积核和一个3×3卷积核进行维度一致的处理，最后再通过跳跃连接分别与ResNet34模型的输出相加。步骤2)中所述的多分支注意力模型构成，是将维度embSize平均分成n_head份，构成multi-head的self-attention；金字塔模型的输出经self-attention平分后，再依次经过ScaledDot-ProductAttention和concat，最终得到维度不变的输出数据。步骤2)中所述的通过迁移学习提取出权重迁移到多分支注意力金字塔模型中，是再训练一个端到端的编码解码结构的模型，其中编码器结构使用的是ResNet34模型，解码器是Unet模型，将所述的端到端的编码解码结构的模型在开源的钢铁缺陷分类数据集上进行预训练后，提取出编码器部分的权重迁移到多分支注意力金字塔模型中。步骤3)所述的训练中，输入为预处理后的射线探伤底片图像数据集中的图像，使用批处理大小设置为16，经过100轮训练，具体是将数据集分成十份，轮流将其中的9份作为训练数据，1份作为测试数据，训练的数据与测试的数据完全没有任何重合，训练的过程中，使用FocalLoss损失函数计算损失值，然后选取Adam优化器对多分支注意力金字塔模型进行优化。本专利技术的基于多分支注意力金字塔结构的工业焊缝缺陷检测方法，结合专业评片人员的经验知识与判片习惯，构建带有多分支注意力金字塔模型的卷积神经网络训练方法，对工业焊缝种类进行判定，实现对探伤底片图像中的缺陷种类准确快速检测。本专利技术的方法可应用于辅助工业生产中判片人员来快速检测缺陷进行分类评定，通过分析数字扫描的探伤底片图像，实现对有缺陷的图像快速判别，提高检测效率，质检智能化，节约生产时间成本。附图说明图1是本专利技术基于多分支注意力金字塔结构的工业焊缝缺陷检测方法的训练流程图；图2是本专利技术基于多分支注意力金字塔结构的工业焊缝缺陷检测方法的测试流程图。具体实施方式下面结合实施例和附图对本专利技术的基于多分支注意力金字塔结构的工业焊缝缺陷检测方法做出详细说明。本专利技术的基于多分支注意力金字塔结构的工业焊缝缺陷检测方法，包括如下步骤：1)对射线探伤底片图像进行预处理；包括：(1)获得射线探伤底片图像数据集，对每一张射线探伤底片图像进行亮度与对比度处理；原始焊缝图像存在对比度低，灰度值偏小，图像整体偏暗、灰度分布集中等等一系列问题。因此，采取一定的图像增强手段，将原始焊缝图像的灰度范围拓宽。所述的进行亮度与对比度处理，是对图像的每一个像素点按如下公式进行处理：G(i,j)＝αf(i,j)+β其中，f(i,j)表示横坐标为i、纵坐标为j的原像素点，G(i,j)表示横坐标为i、纵坐标为j的处理后的像素点，α为调节图像对比度的系数，α>0，β是增益变量。α能使图像像素成倍数的增长或降低(α<1)，改变的是图像的对比度，因为使图像的差值变化了。β可为负，也可为正，那么任何一个像素都在(0，255)之间，加上一个值或减去一个值则会使这个像素点变大或变小，其实就是向白色或向黑色靠近(0为黑，255为白)，所以改变的是图像的亮度。(2)对数据集中射线探伤图像的种类进行手工标注；(3)采取数据增强方法对射线探伤底片图像数据集中的每一个图像和标签值做线性插值，得到增强的图像数据集。以两张图像为例，设两张图像I1和I2，标签Y1和Y2，融合比例λmix，小样本类别比例θmix，进行如下公式的操作：I'＝λmixI1+(1-λmix)I2Y'＝θmixY1+(1-θmix)Y2...

【技术保护点】
1.一种基于多分支注意力金字塔结构的工业焊缝缺陷检测方法，其特征在于，包括如下步骤：/n1)对射线探伤底片图像进行预处理；/n2)构建卷积神经网络，所述的卷积神经网络为多分支注意力金字塔模型，是由金字塔模型和多分支注意力模型构成，再移入通过迁移学习提取出权重而形成的多分支注意力金字塔模型；/n3)对形成的多分支注意力金字塔模型进行训练；/n4)用训练好的多分支注意力金字塔模型对需要进行检测的射线底片图像进行测试，将需要进行检测的射线底片图像进行预处理后，输入到训练好的多分支注意力金字塔模型中，多分支注意力金字塔模型的输出类别，作为工业焊缝缺陷检测结果。/n

【技术特征摘要】
1.一种基于多分支注意力金字塔结构的工业焊缝缺陷检测方法，其特征在于，包括如下步骤：
1)对射线探伤底片图像进行预处理；
2)构建卷积神经网络，所述的卷积神经网络为多分支注意力金字塔模型，是由金字塔模型和多分支注意力模型构成，再移入通过迁移学习提取出权重而形成的多分支注意力金字塔模型；
3)对形成的多分支注意力金字塔模型进行训练；
4)用训练好的多分支注意力金字塔模型对需要进行检测的射线底片图像进行测试，将需要进行检测的射线底片图像进行预处理后，输入到训练好的多分支注意力金字塔模型中，多分支注意力金字塔模型的输出类别，作为工业焊缝缺陷检测结果。


2.根据权利要求1所述的基于多分支注意力金字塔结构的工业焊缝缺陷检测方法，其特征在于，步骤1)包括：
(1)获得射线探伤底片图像数据集，对每一张射线探伤底片图像进行亮度与对比度处理；
(2)对数据集中射线探伤图像的种类进行手工标注；
(3)采取数据增强方法对射线探伤底片图像数据集中的每一个图像和标签值做线性插值，得到增强的图像数据集。


3.根据权利要求2所述的基于多分支注意力金字塔结构的工业焊缝缺陷检测方法，其特征在于，第(1)步所述的进行亮度与对比度处理，是对图像的每一个像素点按如下公式进行处理：
G(i,j)＝αf(i,j)+β
其中，f(i,j)表示横坐标为i、纵坐标为j的原像素点，G(i,j)表示横坐标为i、纵坐标为j的处理后的像素点，α为调节图像对比度的系数，α>0，β是增益变量。


4.根据权利要求1所述的基于多分支注意力金字塔结构的工业焊缝缺陷检测方法，其特征在于，步骤2)中所述的金字塔模型分自底向上和自顶向下的两部分，其中，自底向上的部分为特征提取部分由ResNet34构成，自顶向下的部分为特征图上采样层；所述的多分支注意力模型根据空间特征来聚合ResNet34输出的有效特征，对最终缺陷区域的结果进行类别判定输出。


5.根据权利要求4所述的基于多分支注意力金字塔结构的工业焊...

【专利技术属性】
技术研发人员：许文达，高忠科，逄文华，安扬，
申请(专利权)人：烟台市计量所，天津大学，
类型：发明
国别省市：山东;37