一种基于标签分布学习的图像分割方法技术

一种基于标签分布学习的图像分割方法，它属于图像处理技术领域。本发明专利技术解决了现有方法无法充分利用神经网络中捕捉的先验信息导致分割结果的准确率低，且分割结果边界不连续的问题。本发明专利技术首先利用语义分割标签生成多分辨率的标签分布，并在分割网络不同的上采样层加入对应分辨率的标签分布监督，利用标签分布学习的方法训练网络，并得到不同细节的预测区域分布，最后基于上述预测区域分布实现逐像素的稠密分布预测。本发明专利技术方法能够充分利用分割网络中生成的先验信息，并能够有效的捕捉边界信息进而促进边界的分割，可以准确且高效地实现图像的语义分割任务，保证了图像分割的准确性。本发明专利技术方法可以应用于对图像进行分割。本发明专利技术方法可以应用于对图像进行分割。本发明专利技术方法可以应用于对图像进行分割。

【技术实现步骤摘要】
一种基于标签分布学习的图像分割方法


[0001]本专利技术属于图像处理
，具体涉及一种基于标签分布学习的图像分割方法。

技术介绍

[0002]当前，图像语义分割任务在许多应用场景(例如物体识别、自动驾驶、计算机辅助诊断等)中具有重要的作用。图像语义分割主要是对于给定的图像，对图像的每一个像素进行分类进而得到整张图像的稠密分割结果，实现对于图像/场景的解析。现有基于深度学习的图像语义分割方法无法充分利用神经网络中捕捉的先验信息并且分割结果边界存在不连续等问题。因此急需开发一种全自动的图像分割算法，该方法能够更好的利用神经网络中捕捉到的先验信息进而提高分割结果的准确性，并且能够解决分割结果边界不连续等问题。

技术实现思路

[0003]本专利技术的目的是为解决现有方法无法充分利用神经网络中捕捉的先验信息导致分割结果的准确率低，且分割结果边界不连续的问题，而提出一种基于标签分布学习的图像分割方法。
[0004]本专利技术为解决上述技术问题所采取的技术方案是：
[0005]一种基于标签分布学习的图像分割方法，所述方法具体包括以下步骤：
[0006]步骤S1、对训练图像进行预处理操作，获得预处理后的训练图像；
[0007]步骤S2、根据训练图像的分割标签分别生成各分辨率下的标签分布；
[0008]步骤S3、将训练图像输入编解码分割网络的编码器部分进行特征提取处理，通过编码器部分的各下采样层分别输出各尺度的特征图；
[0009]步骤S4、编码器部分的最后一个下采样层输出的特征图通过上采样获得上采样后的特征图；
[0010]步骤S5、上采样后的特征图经过Softmax层后得到预测区域分布；
[0011]通过最小化预测区域分布与对应分辨率下的标签分布之间的KL散度误差来训练网络的参数；
[0012][0013]其中，W表示预测区域分布的宽，H表示预测区域分布的高，D表示预测区域分布的深；M表示预测区域分布中所有的体素数量，M＝W
×
H
×
D，表示在体素(i,j,k)位置的目标标签分布，表示在体素(i,j,k)位置的预测区域分布，表示与之间的KL散度；
[0014]步骤S6、利用步骤S5中得到的预测区域分布，通过逐体素求取信息熵来获取预测区域的边界先验；
[0015]步骤S7、将预测区域分布、边界先验以及上采样之前的特征图作为先验感知模块的输入，得到最终的特征表示；
[0016]步骤S8、将倒数第二个下采样层输出的特征图与步骤S7得到的最终特征进行融合，将融合结果作为下一个上采样层的输入特征图；
[0017]步骤S9、共执行三次步骤S5至步骤S8的过程，将最后一次执行步骤S8时所获得的融合结果作为最后一个上采样层的输入特征图；
[0018]步骤S10、将最后一个上采样层的输出结果通过Softmax层得到逐体素的预测概率；
[0019]步骤S11、利用步骤S10中得到的逐体素预测概率与训练图像的分割标签进行监督学习，训练网络参数；
[0020]步骤S12、对待分割图像进行预处理操作后，利用训练好的网络参数对预处理后的待分割图像进行分割。
[0021]进一步地，所述步骤S1中对训练图像进行预处理操作，预处理操作包括数据标准化和图像裁剪。
[0022]进一步地，所述步骤S2的具体过程为：
[0023]步骤S21、给定一个体素块大小，按照给定的体素块大小并采用滑动窗口方法对训练图像进行标签频率统计，获得训练图像在当前分辨率下的标签分布；
[0024]步骤S22、调整体素块大小，再重复步骤S21的过程，获得训练图像在各分辨率下的标签分布。
[0025]进一步地，所述标签频率统计的具体方法为：
[0026][0027]其中，B
n
代表训练图像中的一个体素块，|B
n
|代表体素块B
n
中体素的个数，y
ijk
是体素块B
n
中(i,j,k)位置的标签，c∈[0,Nc
‑
1]表示类别标签，Nc是总类别数量，表示体素块B
n
中类别标签c的频率，δ(
·
)代表冲激函数。
[0028]进一步地，所述编解码分割网络为U
‑
Net或Seg
‑
Net。
[0029]进一步地，所述步骤S6的具体过程为：
[0030][0031]其中，表示在体素(i,j,k)位置的信息熵，表示在体素(i,j,k)位置的预测分布在类别c上的预测概率，ln代表自然对数。
[0032]进一步地，所述先验感知模块的工作过程为：
[0033]步骤S71、将上采样之前的特征图与边界先验相乘，得到边界增强后的特征图
[0034][0035]其中，F为上采样之前的特征图，为边界先验；
[0036]步骤S72、将上采样之前的特征图与经过编码操作之后的预测区域分布相乘，得到区域分布先验增强的特征图F
D
：
[0037][0038]其中，为预测区域分布，T
f
(
·
)为编码函数操作，编码函数包括两个卷积单元，每个卷积单元均包括一个3*3卷积、一个批归一化层和ReLU激活函数；
[0039]步骤S73、通过融合上采样之前的特征图、边界增强后的特征图和区域分布先验增强的特征图得到最终的特征表示：
[0040][0041]其中，F
e
是最终的特征表示。
[0042]更进一步地，所述步骤S11中采用的损失函数包括区域分布损失和稠密预测损失两个部分，其中：
[0043]区域分布损失为：
[0044][0045]其中，ψ
r
表示第r个阶段的权重，R表示所有阶段的数量，表示第r个阶段的KL散度损失；
[0046]稠密预测损失为：
[0047][0048]其中，表示体素m属于类别c的概率，M表示总的体素数量，表示体素m的标签，w
c
为类别c的权重，权重w
c
计算方法为：
[0049][0050]其中，V
c
表示类别c的体素数量。
[0051]本专利技术的有益效果是：
[0052]本专利技术利用标签分布学习方法，通过在编解码框架的不同上采样层加入对应的标签分布监督，实现了逐步从粗糙的区域分布到最终的稠密预测结果的输出。本专利技术方法的优势在于，通过在不同的阶段加入标签分布监督，促进了网络的训练，同时也充分利用了网络中生成的区域分布与边界先验信息，进一步促进了网络的分割，提高了分割结果的准确率，并解决了分割结果边界不连续的问题。
附图说明
[0053]图1为本专利技术标签分布生成(LDG)原理图；
[0054]图2为本专利技术先验感知分割模型原理图；
[0055]其中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于标签分布学习的图像分割方法，其特征在于，所述方法具体包括以下步骤：步骤S1、对训练图像进行预处理操作，获得预处理后的训练图像；步骤S2、根据训练图像的分割标签分别生成各分辨率下的标签分布；步骤S3、将训练图像输入编解码分割网络的编码器部分进行特征提取处理，通过编码器部分的各下采样层分别输出各尺度的特征图；步骤S4、编码器部分的最后一个下采样层输出的特征图通过上采样获得上采样后的特征图；步骤S5、上采样后的特征图经过Softmax层后得到预测区域分布；通过最小化预测区域分布与对应分辨率下的标签分布之间的KL散度误差来训练网络的参数；其中，W表示预测区域分布的宽，H表示预测区域分布的高，D表示预测区域分布的深；M表示预测区域分布中所有的体素数量，M＝W
×
H
×
D，表示在体素(i,j,k)位置的目标标签分布，表示在体素(i,j,k)位置的预测区域分布，表示与之间的KL散度；步骤S6、利用步骤S5中得到的预测区域分布，通过逐体素求取信息熵来获取预测区域的边界先验；步骤S7、将预测区域分布、边界先验以及上采样之前的特征图作为先验感知模块的输入，得到最终的特征表示；步骤S8、将倒数第二个下采样层输出的特征图与步骤S7得到的最终特征进行融合，将融合结果作为下一个上采样层的输入特征图；步骤S9、共执行三次步骤S5至步骤S8的过程，将最后一次执行步骤S8时所获得的融合结果作为最后一个上采样层的输入特征图；步骤S10、将最后一个上采样层的输出结果通过Softmax层得到逐体素的预测概率；步骤S11、利用步骤S10中得到的逐体素预测概率与训练图像的分割标签进行监督学习，训练网络参数；步骤S12、对待分割图像进行预处理操作后，利用训练好的网络参数对预处理后的待分割图像进行分割。2.根据权利要求1所述的一种基于标签分布学习的图像分割方法，其特征在于，所述步骤S1中对训练图像进行预处理操作，预处理操作包括数据标准化和图像裁剪。3.根据权利要求2所述的一种基于标签分布学习的图像分割方法，其特征在于，所述步骤S2的具体过程为：步骤S21、给定一个体素块大小，按照给定的体素块大小并采用滑动窗口方法对训练图像进行标签频率统计，获得训练图像在当前分辨率下的标签分布；步骤S22、调整体素块大小，再重复步骤S21的过程，获得训练图像在各分辨率下的标签分布。
4.根据权利要求3所述的一种基于标签分布学习的图像分割方法，其特征在于，所述标签频率统计的具体方法为：其中，B
n

【专利技术属性】
技术研发人员：王宽全，李向宇，骆功宁，王玮，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：