一种基于编码-解码网络的向量场引导精细化分割方法技术

本发明专利技术公开了一种基于编码

【技术实现步骤摘要】
一种基于编码
‑
解码网络的向量场引导精细化分割方法


[0001]本专利技术涉及图像分割
，尤其是一种基于编码
‑
解码网络的向量场引导精细化分割方法。

技术介绍

[0002]图像分割技术是计算机视觉的基础之一，也是对图像进行语义理解的难点之一。随着深度学习理论的蓬勃发展和计算资源的不断增长，极大地提升了图像分割的效率和精度。 Long等人在2015年提出了全卷积神经网络(FCN)，将一般分类网络最后的全连接层修改成卷积层，并在特征融合的过程中采用逐点相加的策略；同年，Navab等人提出了在通道层面上拼接并融合特征的U
‑
Net；此后，何恺明等人提出了残差网络(ResNet)学习层间的残差表示，在一定程度上解决了Zisserman在2014年提出的VggNet网络过深而导致的学习退化问题。然而，当前现有的工作对不同尺度特征的融合方式还有待改进，处理过程中还存在信息的损失，而且由于多尺度的特征可以被视为序列数据，RNN比CNN更具有在层次结构中处理多尺度特征的优势。

技术实现思路

[0003]本专利技术的目的是针对现有技术的不足而设计的一种基于编码
‑
解码网络的向量场引导精细化分割方法，采用卷积循环神经网络对卷积神经网络提取的多尺度特征图进行向量场细化和预测分数图的方法，利用CNN来提取多尺度特征图，以及FRU处理每一尺度的特征图，通过融合操作聚合全尺度的特征图，然后利用FRU进一步融合多尺度分数图，并连接在一起，得到初始预测的分割，其边缘分割在方向场模块中通过方向场进行矫正，从而最大限度地利用全尺度的特征信息，得到最终的分割结果，该方法不仅结合了CNN和RNN 的优势，还结合了向量场中的流场和方向场来引导精细化分割，网络的编码器依赖基于CNN 的骨干网络，而解码器则依赖于由卷积循环神经网络(ConvRNN)和流场构成的细粒度循环单元(FRU)，融合操作和方向场模块，较好解决了图像分割中多尺度特征融合和利用的问题，具有广泛的应用前景。
[0004]实现本专利技术目的的具体技术方案是：一种基于编码
‑
解码网络的向量场引导精细化分割方法，其特点是不仅结合了卷积神经网络(CNN)和循环神经网络(RNN)的优势，还结合了向量场中的流场和方向场来引导精细化分割，编码器利用CNN作为骨干网络来提取多尺度特征图(feature map)，解码器利用了卷积循环神经网络(ConvRNN)和向量场的优势，分两个阶段来分别细化特征图和预测分数图(score map)，以更好地利用多尺度语义特征并获得更精细的分割结果，其具体过程包括如下步骤：
[0005]a步骤：将图像划分成训练集和测试集；
[0006]b步骤：预处理所有图像；
[0007]c步骤：构建一个编码
‑
解码结构的分割网络；
[0008]d步骤：利用训练集中的图像训练网络；
[0009]e步骤：利用训练好的网络对测试集中的图像进行分割。
[0010]所述图像为待分割图像的原始图像。
[0011]所述a步骤中随机选取图像的60％组成有标签的训练集，其余40％组成没有标签的测试集，标签是像素点以类别编号表示的图像且和对应的训练图像具有相同大小。
[0012]所述b步骤中所述预处理是将所有图像的灰度归一化。
[0013]所述c步骤中根据资源限制和需求选择合适的基于CNN的骨干作为编码器，而解码器的结构是固定的。
[0014]所述d步骤中利用训练集中的图像训练网络，具体计算包括如下步骤：
[0015]步骤d1：利用编码器中的CNN生成图像的特征图；
[0016]步骤d2：在解码器的第一个阶段，利用由ConvRNN和流场构成的细粒度循环单元(FRU) 来融合上下文的特征信息，然后利用全尺度融合模块进行全尺度的特征融合；
[0017]步骤d3：在解码器的第二个阶段，将各尺度的特征通过卷积操作变换成预测分数图，再次利用FRU融合上下文的特征信息，将获得的多个分数图拼接起来并卷积，得到一个初始的分割预测结果，然后利用方向场信息矫正边缘的分割，得到最终的分割结果；
[0018]步骤d4：用迭代的方式进行训练，每一轮迭代都重复上述步骤d1到步骤d3，通过前向传播来计算由交叉熵损失和角损失构成的目标函数，并通过反向传播来更新模型参数，直到目标函数收敛才停止训练。
[0019]所述e步骤中将测试图像输入训练好的网络，重复步骤d1到步骤d3，得到分割的预测结果。
[0020]本专利技术与现有技术相比具有充分融合和利用不同尺度的特征信息，可以在基于 CNN的不同骨干网络上灵活工作，有效地增强了对图像中不同变化的鲁棒性，进一步提高了分割精度，较好解决了图像分割中多尺度特征融合和利用的问题，具有广泛的应用前景。
附图说明
[0021]图1为本专利技术流程图；
[0022]图2为分割网络中的FRU结构示意图；
[0023]图3为全尺度融合模块结构示意图；
[0024]图4为方向场示意图；
[0025]图5为方向场模块结构示意图；
[0026]图6为分割结果对比图。
具体实施方式
[0027]结合以下部分人脸识别的具体实施例，对本专利技术做进一步的详细说明。
[0028]参阅图1，本专利技术包括：图像划分与预处理、构建网络、训练网络和测试网络四个部分，其图像分割的具体步骤如下：
[0029]步骤a：将图像划分成训练集和测试集
[0030]随机选取60％待分割图像的原始图像组成有标签的训练集，其余40％组成没有标签的测试集，标签是像素点以类别编号表示的图像且和对应的训练图像具有相同大小。
[0031]步骤b：预处理所有图像
[0032]由于图像采集的过程中受到光照等因素的影响，图像灰度可能集中在一个或几个灰度段的范围内，较大的图像灰度分布差异将会影响到特征提取和识别，所以在预处理中需要将所有图像的灰度归一化。对于每个图像I，利用灰度拉伸的方法按下述a式将其中的每个像素点I(x,y)的灰度变换到0～255的范围内：
[0033][0034]式中：max(I)和min(I)分别表示计算图像I中所有像素点中的最大灰度值和最小灰度值。
[0035]步骤c：构建一个编码
‑
解码结构的分割网络
[0036]根据资源限制和需求选择合适的基于CNN的骨干网络作为编码器，一般选择应用较为成熟的网络例如U
‑
Net，VggNet和ResNet等。而解码器的结构是固定的，它包含细化特征图和细化分数图两个阶段。在第一个阶段细化特征图的过程中，包含由 ConvRNN和流场构成的FRU和融合操作，在第二个阶段细化预测分数图的过程中，包含FRU和方向场模块。
[0037]步骤d：利用训练集中的图像训练网络
[0038]步骤d1：利用编码器中的CNN生成图像的特征图(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于编码
‑
解码网络的向量场引导精细化分割方法，其特征在于采用卷积循环神经网络对卷积神经网络提取的多尺度特征图进行向量场细化和预测分数图，利用多尺度语义特征获得分割结果，具体包括如下步骤：a步骤：图像的划分随机选取60%的图像组成有标签的训练集，其余40%的图像组成没标签的测试集；b步骤：图像的预处理将所有图像的灰度归一化；c步骤：分割网络的构建根据资源限制和需求选择卷积循环神经网络的骨干为编码器，构建编码
‑
解码结构的分割网络；d步骤：训练网络利用训练集中的图像，按下述步训练网络：步骤d1：利用编码器中的CNN生成图像的特征图；步骤d2：在解码器的第一个阶段，利用由ConvRNN和流场构成的细粒度循环单元(FRU)来融合上下文的特征信息，然后利用全尺度融合模块进行全尺度的特征融合；步骤d3：在解码器的第二个阶段，将各尺度的特征通过卷积操作变换成预测分数图，再次利用FRU融合上下文的特征信息，将获得的...

【专利技术属性】
技术研发人员：文颖，单昕昕，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：