一种分阶段融入去噪模块的含噪图像分割方法技术

本发明专利技术提供了一种分阶段融入去噪模块的含噪图像分割方法，首先将噪声图像输入到主干网络中，经过卷积运算，提取四个阶段的特征图；其次，将第四个阶段所提取到的特征图通过双重注意力机制，得到初步的语义分割结果。在此基础上，利用主干网络不同阶段的特征区别，通过迭代融合多阶段语义特征，形成去噪帮助分割，分割帮助去噪的模式；最后将得到的三个语义分割结果进行结合，形成最终的分割结果，通过混合交叉熵损失进一步优化参数。本发明专利技术利用协同去噪和分割来提高噪声图像的语义分割精度，解决了现有的针对带噪图像语义分割方法中去噪环节丢失语义信息，从而影响后续目标类别划分的准确性以及目标轮廓的分割完整度的问题。的准确性以及目标轮廓的分割完整度的问题。的准确性以及目标轮廓的分割完整度的问题。

A method of noisy image segmentation by integrating the denoising module in stages

【技术实现步骤摘要】
一种分阶段融入去噪模块的含噪图像分割方法


[0001]本专利技术涉及计算机视觉
，特别是一种分阶段融入去噪模块的含噪图像分割方法。

技术介绍

[0002]语义分割的目标是确定每个像素点的类别(如属于背景、人或车等)，从而将一些原始图像转换为具有突出显示的感兴趣区域的掩模。目前，许多先进的分割方法已经应用在各个领域，如自动驾驶、场景解析、目标检测和人机交互等领域。最近，深度神经网络在语义分割任务中已经取得显著的成功。例如PSANet、DenseAPP以及DANet等。但是这些网络成功的前提，依赖于高质量的训练数据集，即干净无噪声的图像。然而，在实际应用中，由于拍摄时的环境、聚焦失败和机子的抖动，图像采集设备采集到的图像往往具有不同程度的噪声信息，例如：高斯噪声、短噪声和热噪声等。这些噪声信息都是不可控的，即使再精密的图像采集设备也无法控制拍摄现实图像时的环境。噪声信息往往会覆盖图像的一些小纹理结构，从而降低了语义分割模型的能力。当用带有噪声的数据集去训练当前主流的语义分割模型的时候，分割精度明显下降。为了降低噪声对语义信息的干扰，最直接的做法就是在进行语义分割任务前，先完成图像去噪任务。采取一步到位去噪加一步到位分割的串联方法，该方法虽然可以去除噪声，但是也相应的造成了一些小纹理语义信息的缺失，仍然不能达到使用干净图像训练分割模型的结果。当用带有噪声的数据集去训练DANet的时候，噪声信息严重干扰了图像纹理结构，不仅了影响目标边界部分，使得上下文信息无法准确获取，还导致目标区域被错误划分，语义分割精度明显下降。为DANet加上去噪模块，形成简单串联架构，虽然可以削弱噪声信息对目标纹理结构的破坏，但不可避免的造成了部分纹理信息的缺失，导致在后续一步到位的语义分割中产生错误定位并使得目标区域分割不完整。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种分阶段融入去噪模块的含噪图像分割方法，利用协同去噪和分割来提高噪声图像的语义分割精度，解决了现有的针对带噪图像语义分割方法中去噪环节丢失语义信息，从而影响后续目标类别划分的准确性以及目标轮廓的分割完整度的问题。
[0004]为实现上述目的，本专利技术采用如下技术方案：一种分阶段融入去噪模块的含噪图像分割方法，包括以下步骤：
[0005]步骤S1：在干净的PASCAL VOC 2012数据集{y
(1)
,y
(2)
,...,y
(m)
}上随机叠加均值为0、标准差为[0,30]的高斯噪声得到噪声图像训练集{x
(1)
,x
(2)
,...,x
(m)
}；
[0006]步骤S2：将噪声图像x
(i)
输入到主干网络ResNet50中，依次经过Stage1、Stage2、Stage3和Stage4，提取各阶段的特征；
[0007]步骤S3：将主干网络Stage4生成的特征图f4输入到双重注意力模块DAM中，细化特征，输出初步的分割结果z1；
[0008]步骤S4：将主干网络Stage3生成的特征图f3以及初步分割结果z1输入到基于阶段性协同的分割去噪块SDBSC中；首先通过线性变换公式，主干网络的阶段性特征、分割结果和去噪任务的多尺度特征结合，生成新的特征图，再通过SDBSC中的分割模块SSM，生成新的分割结果z2；
[0009]步骤S5：将主干网络Stage 2生成的特征图f2以及初步分割结果z2输入到基于阶段性协同的分割去噪块SDBSC中，重复步骤S4，生成新的分割结果z3，并通过干净图像y
(i)
对去噪后的图像计算均方差损失L
d
，L
d
可表示为：
[0010][0011]其中y
i
表示像素i的Ground Truth，表示像素i的概率估计，n表示像素点的数量；
[0012]步骤S6：最后将阶段性的分割结果z1z2z3进行叠加，生成多阶段特征融合的语义分割结果
[0013]步骤S7：通过分割标签z对计算混合交叉熵损失L
S
，可表示为其中Ls1表示交叉熵损失：
[0014][0015]其中，p表示一张图片的像素数量，表示像素i的Ground Truth类别，表示像素i的概率估计，Ls2表示mIOU损失：
[0016][0017]其中，X表示预测的像素集合，Y表示GT的像素集合。
[0018]在一较佳的实施例中：根据权利要求1所述的一种分阶段融入去噪模块的含噪图像分割方法，其特征在于：在所述S3中，还包括如下步骤：
[0019]步骤S31：主干网络Stage 4生成的特征图f
4C
×
H
×
W
通过reshape分别得到特征图A
C
×
HW
，特征图B
HW
×
C
；将B和A进行矩阵乘法，经过softmax层计算得到空间注意力特征图M
HW
×
HW
,可表示为：
[0020][0021]其中，M
ji
表示特征图中第i个位置和第j个位置的联系，H和W分别表示特征图f4的长和宽，B
i
表示矩阵B的第i个位置，A
j
表示矩阵A的第j个位置。将特征图f
4C
×
H
×
W
重塑为C
C
×
HW
与M相乘，并将其重塑为与原始特征图大小一致的特征图P
C
×
H
×
W
，将其乘以一个尺度参数λ，将λ初始化为0，并通过学习不断分配更多的权值，用公式表示为：
[0022][0023]其中，P
j
表示特征图P的第j个位置，C
i
表示矩阵C的第i个位置；
[0024]步骤S32：主干网络Stage 4生成的特征图f
4C
×
H
×
W
通过reshape分别得到特征图A
C
×
HW
，特征图B
HW
×
C
；将A和B进行矩阵乘法，经过softmax层计算得到通道注意力特征图N
C
×
C
,可表示为：
[0025][0026]其中，N
ji
表示特征图中第i个位置和第j个通道的联系，表示将特征图f
4C
×
H
×
W
重塑为C
C
×
HW
与矩阵N相乘，并将其重塑为与原始特征图大小一致的特征图Q
C
×
H
×
W
，将其乘以一个尺度参数μ，将μ初始化为0，用公式表示为：
[0027][0028本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分阶段融入去噪模块的含噪图像分割方法，其特征在于：包括以下步骤：步骤S1：在干净的PASCAL VOC 2012数据集{y
(1)
,y
(2)
,...,y
(m)
}上随机叠加均值为0、标准差为[0,30]的高斯噪声得到噪声图像训练集{x
(1)
,x
(2)
,...,x
(m)
}；步骤S2：将噪声图像x
(i)
输入到主干网络ResNet50中，依次经过Stage1、Stage2、Stage3和Stage4，提取各阶段的特征；步骤S3：将主干网络Stage4生成的特征图f4输入到双重注意力模块DAM中，细化特征，输出初步的分割结果z1；步骤S4：将主干网络Stage3生成的特征图f3以及初步分割结果z1输入到基于阶段性协同的分割去噪块SDBSC中；首先通过线性变换公式，主干网络的阶段性特征、分割结果和去噪任务的多尺度特征结合，生成新的特征图，再通过SDBSC中的分割模块SSM，生成新的分割结果z2；步骤S5：将主干网络Stage 2生成的特征图f2以及初步分割结果z2输入到基于阶段性协同的分割去噪块SDBSC中，重复步骤S4，生成新的分割结果z3，并通过干净图像y
(i)
对去噪后的图像计算均方差损失L
d
，L
d
表示为：其中y
i
表示像素i的Ground Truth，表示像素i的概率估计，n表示像素点的数量；步骤S6：最后将阶段性的分割结果z1z2z3进行叠加，生成多阶段特征融合的语义分割结果步骤S7：通过分割标签z对计算混合交叉熵损失L
S
，表示为其中表示交叉熵损失：其中，p表示一张图片的像素数量，表示像素i的Ground Truth类别，表示像素i的概率估计，表示mIOU损失：其中，X表示预测的像素集合，Y表示GT的像素集合。2.根据权利要求1所述的一种分阶段融入去噪模块的含噪图像分割方法，其特征在于：在所述S3中，还包括如下步骤：步骤S31：主干网络Stage 4生成的特征图f
4C
×
H
×
W
通过reshape分别得到特征图A
C
×
HW
，特征图B
HW
×
C
；将B和A进行矩阵乘法，经过softmax层计算得到空间注意力特征图M
HW
×
HW
,表示为：
其中，M
ji
表示特征图中第i个位置和第j个位置的联系，H和W分别表示特征图f4的长和宽，B
i
表示矩阵B的第i个位置，A
j
表示矩阵A的第j个位置；将特征图f
4C

【专利技术属性】
技术研发人员：陈飞，黄琳，曾勋勋，
申请(专利权)人：福州大学，
类型：发明
国别省市：