热图细节指引与抠图融合的工业焊缝分割方法技术

本发明专利技术涉及热图细节指引与抠图融合的工业焊缝分割方法，采用语义分割算法提取焊缝特征，并结合抠图算法实现焊缝精细化分割。在基于深度学习的语义分割网络上嵌入热图细节指引模块，并采用倒置语义分割头提取特征。将语义分割网络的输出结果作为抠图算法先验信息最终实现精细化分割实现了对焊缝所在位置进行精细化自动化的分割。该方法使用了一种基于热图细节指引模块，使得浅层网络所包含分割区域边界信息被充分表达。具体来说通过加入细节分支预测分割边界并与掩码标签生成的边界热图匹配计算均方差损失，来加强边界信息的表达。达。达。

【技术实现步骤摘要】
热图细节指引与抠图融合的工业焊缝分割方法


[0001]本专利技术属于金属焊接质检领域，具体说是工业焊缝提取算法。

技术介绍

[0002]焊接作为一种发展比较成熟的材料成型工艺,一直以来广泛应用于汽车、航空航天、机电设备制造等众多领域。为了保证焊接产品的使用安全,往往需要在焊后对焊缝的外观质量进行一定的检测与评估。到目前为止,上述过程主要依赖于有检测经验的专业人员通过目测或使用焊缝检测尺等测量工具来实现。这种人工检测方法不但效率较低,而且检测精度很大程度上依赖于检测者自身的素质和能力,具有较大的主观性。因此自动化、智能化的焊缝外观质量检测与评估已经成为行业发展的必然趋势。

技术实现思路

[0003]本文中提出了一种基于热图细节指引与Image Matting融合的工业焊缝分割网络算法，实现了对焊缝所在位置进行精细化自动化的分割。
[0004]本专利技术为实现上述目的所采用的技术方案是：热图细节指引与抠图融合的工业焊缝分割方法，包括以下步骤：
[0005]DCNM模块输入焊缝焊接处图像，通过resnet50的layer1在热图细节指引模块的指引下获取焊缝边界信息并与resnet50的layer5进行特征融合，通过特征图上采样，使特征图尺寸恢复到输入焊缝图像大小，随后经语义分割头得到焊缝预测概率图，发送至抠图精细化处理模块；
[0006]热图细节指引模块输入经resnet50的layer1的特征图，通过分割边缘概率预测头进行逐像素二分类预测，得到焊缝边缘预测概率图；并将焊缝边界信息传至DCNM模块；
[0007]边缘标签生成模块产生热图细节指引模块训练时所需要的边界热图标签；
[0008]抠图精细化处理模块根据语义分割头输出的焊缝预测概率图，通过Matting算法对边缘进行优化，得到焊缝，实现分割。
[0009]所述DCNM模块，执行以下步骤：
[0010]resnet50网络，将焊缝图像通过下采样生成多尺度的特征图；
[0011]金字塔形空洞池化层，对输入resnet50网络中layer4特征图进行不同尺度的空洞卷积操作以获取多尺度目标信息；
[0012]语义分割头，对于融合后的特征图进行逐像素的分类预测，得到焊缝预测概率图。
[0013]所述语义分割头为一组输出维度为1、后接sigmoid激活函数的卷积核组成。
[0014]所述热图细节指引模块，执行以下步骤：
[0015]在resnet50网络的layer1后接入分割边缘概率预测头，用于进行逐像素二分类预测，得到焊缝边缘预测概率图，以使其乘到浅层特征即resnet50网络中的layer1上，将乘后结果通过横向连接拼接到深层特征即resnet50网络中的layer4中。
[0016]所述热图细节指引模块，采用分割边缘概率预测头生成焊缝边缘预测概率图，然
后通过计算boundary loss对边界信息进行学习；
[0017]DCNM模块、热图细节指引模块、边缘标签生成模块的整体训练的损失函数包括分割损失segmentation loss和边界损失boundary loss两部分；
[0018]loss＝w1*segmentation loss+w2*boundary loss
[0019]w1、w2为权重；
[0020]segmentation loss＝l
focal
(P
s
，G
s
)＝
‑
α
t
(1
‑
p
t
)
γ log(p
t
)
[0021][0022]其中，l
focal
表示focal loss，p
t
表示中间变量，p
s
∈R
H
×
W
表示语义分割头预测的分割区域，G
s
∈R
H
×
W
代表与之对应的分割真值即训练集中的焊缝分割标签，α
t
、γ分别表示参数；H、W分别表示图像的长和宽；
[0023][0024]其中，Mse loss表示最小二乘损失，Pb
i
∈R
H
×
W
表示通过边缘概率预测头预测的边界图像，Hb
i
∈R
H
×
W
代表与之对应的用于表示高斯热图边界地面真值的边界热图标签。
[0025]所述边缘标签生成模块，通过拉普拉斯边缘检测算子提取焊缝分割标签的分割区域边界，然后通过距离变换和高斯变换得到用于表示高斯热图边界地面真值的边界热图标签。
[0026]所述抠图精细化处理模块，包括：
[0027]对于语义分割头输出的焊缝预测概率图，通过阈值划分转为三元图trima
p
[0028][0029]其中，ps
i
表示第i个像素的焊缝预测概率，C
high
表示前景置信阈值，C
low
表示背景置信阈值；i表示概率图上的像素，Ω表示焊缝预测概率图；
[0030]当ps
i
大于等于C
high
时，划分为前景区域，即Trimap
i
取1；
[0031]当ps
i
小于等于C
low
时，划分为背景区域，即Trimap
i
取0；
[0032]其它区域划分为模糊区域，随后通过closedform matting算法得到alpha融合矩阵；并将大于阈值的区域视为焊缝，实现分割。
[0033]热图细节指引与抠图融合的工业焊缝分割系统，包括：
[0034]DCNM模块，用于输入焊缝焊接处图像，通过resnet50的layer1在热图细节指引模块的指引下获取焊缝边界信息并与resnet50的layer5进行特征融合，通过特征图上采样，使特征图尺寸恢复到输入焊缝图像大小，随后经语义分割头得到焊缝预测概率图，发送至抠图精细化处理模块；
[0035]热图细节指引模块，用于输入经resnet50的layer1的特征图，通过分割边缘概率预测头进行逐像素二分类预测，得到焊缝边缘预测概率图；并将焊缝边界信息传至DCNM模块；
[0036]边缘标签生成模块，用于产生热图细节指引模块训练时所需要的边界热图标签；
[0037]抠图精细化处理模块，用于根据语义分割头输出的焊缝预测概率图，通过Matting算法对边缘进行优化，得到焊缝，实现分割。
[0038]热图细节指引与抠图融合的工业焊缝分割装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现所述的热图细节指引与抠图融合的工业焊缝分割方法。
[0039]一种计算机可读存储介质，所述存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.热图细节指引与抠图融合的工业焊缝分割方法，其特征在于，包括以下步骤：DCNM模块输入焊缝焊接处图像，通过resnet50的layer1在热图细节指引模块的指引下获取焊缝边界信息并与resnet50的layer5进行特征融合，通过特征图上采样，使特征图尺寸恢复到输入焊缝图像大小，随后经语义分割头得到焊缝预测概率图，发送至抠图精细化处理模块；热图细节指引模块输入经resnet50的layer1的特征图，通过分割边缘概率预测头进行逐像素二分类预测，得到焊缝边缘预测概率图；并将焊缝边界信息传至DCNM模块；边缘标签生成模块产生热图细节指引模块训练时所需要的边界热图标签；抠图精细化处理模块根据语义分割头输出的焊缝预测概率图，通过Matting算法对边缘进行优化，得到焊缝，实现分割。2.根据权利要求1所述的热图细节指引与抠图融合的工业焊缝分割方法，其特征在于，所述DCNM模块，执行以下步骤：resnet50网络，将焊缝图像通过下采样生成多尺度的特征图；金字塔形空洞池化层，对输入resnet50网络中layer4特征图进行不同尺度的空洞卷积操作以获取多尺度目标信息；语义分割头，对于融合后的特征图进行逐像素的分类预测，得到焊缝预测概率图。3.根据权利要求1所述的热图细节指引与抠图融合的工业焊缝分割方法，其特征在于，所述语义分割头为一组输出维度为1、后接sigmoid激活函数的卷积核组成。4.根据权利要求1所述的热图细节指引与抠图融合的工业焊缝分割方法，其特征在于，所述热图细节指引模块，执行以下步骤：在resnet50网络的layer1后接入分割边缘概率预测头，用于进行逐像素二分类预测，得到焊缝边缘预测概率图，以使其乘到浅层特征即resnet50网络中的layer1上，将乘后结果通过横向连接拼接到深层特征即resnet50网络中的layer4中。5.根据权利要求1或4所述的热图细节指引与抠图融合的工业焊缝分割方法，其特征在于，所述热图细节指引模块，采用分割边缘概率预测头生成焊缝边缘预测概率图，然后通过计算boundary loss对边界信息进行学习；DCNM模块、热图细节指引模块、边缘标签生成模块的整体训练的损失函数包括分割损失segmentation loss和边界损失boundary loss两部分；loss＝w1*segmentationloss+w2*boundarylossw1、w2为权重；segmentationloss＝l
focal
(P
s
,G
s
)＝
‑
α
t
(1p
t
)
γ
log(p
t
)其中，l
focal
表示focal loss，p
t
表示中间变量，p
s
∈R
H
×
W
表示语义分割头预测的分割区域，G
s
∈R
H
×
W
代表与之对应的分...

【专利技术属性】
技术研发人员：袁伟亮，梅敬武，张静，王开泉，张吉亮，朱胜杰，
申请(专利权)人：山东同创智能科技有限公司，
类型：发明
国别省市：