卷积神经网络中的一种语义图像分割方法技术

本发明专利技术揭示了一种新的用于图像语义分割的深度卷积神经网络架构，包含骨干网与上下文融合网络两个部分。充分利用卷积网络中各卷积层特征信息，将浅层与深层上下文信息进行结合，从而得到更好的图像语义分割效果。与深层卷积特征相比，浅层卷积特征能保留较好的图像底层细节信息，而深层特征能够提取高层语义信息，把两者的卷积特性结合起来可同时兼顾图像中局部和全局的上下文特征，又决定了最终分割准确率的高低，为此本发明专利技术该网络架构可以对网络中浅层与深层的特征进行精炼提取。实验结果表明，与传统的深度卷积网络模型相比，该方法在分割的精度以及效率上都有了明显的提高。

A Semantic Image Segmentation Method Based on Convolutional Neural Network

【技术实现步骤摘要】
卷积神经网络中的一种语义图像分割方法
本专利技术属于语义图像分割领域，具体涉及采用深度学习的方法实现语义图像分割。
技术介绍
伴随着计算机视觉研究的不断加深，研究者逐渐将目光投向对于图像更为准确的分析和理解。语义图像分割问题正是为了满足这一要求而提出的。语义图像分割的根本目的是通过训练图像的内容，从而确定图像中每个像素的语义类别。下面是近几年图像语义分割领域的一些成果。全卷积神经网络（FCN，FullyConvolutionalNetworks）可以说是深度学习在图像语义分割任务上的开创性工作，由加州大学伯克利分校的研究团队提出，推广了原有的卷积神经网络结构（CNN，ConvolutionalNeuralNetwork）。FCN将CNN网络最后三层完全连接层换成三层卷积层，这样做的好处是能够进行密集预测，从而可以实现FCN对图像进行像素级的分类，进而解决了语义级别的图像分割问题。FCN可以接受任意尺寸的输入图像，采用反卷积对最后一个卷积层的特征图（featuremap）进行上采样，使它恢复到输入图像的尺寸。之后，几乎所有关于语义分割的最新研究都采用了这种结构。虽然FCN网络有很大的突破，但是还是存在两大重要的问题。一是连续的卷积和池化使特征图的分辨率大大下降，这对密集预测任务非常不利，FCN中跳跃结构的使用虽然使效果好了很多，但是其上采样的结果还是比较粗糙，对图像中的细节不敏感。二是FCN是对各个像素进行分类，没有考虑像素与像素之间的关系。
技术实现思路
鉴于上述现有技术的缺陷与不足，本专利技术的目的旨在提出一种全新的卷积神经网络架构，利用图像上下文信息聚合来解决图像语义分割的问题。本专利技术实现上述目的的技术解决方案为：卷积神经网络中的一种语义图像分割方法，其特征在于：重构包含骨干网和上下文融合网络的网络框架，其中上下文融合网络对骨干网中的若干层特征图分别进行精炼提取，并将提取后的每层特征图进行上采样至原图分别率大小，再将浅层和深层的特征图通过堆叠操作进行融合，输出一个21维且与原图大小相同的矩阵。进一步地，所述骨干网基于经典FCN构建，包含输入层、卷积层、最大池化层、线性修正单元及损失函数，对输入图像和任意特征图卷积后特征图的通道数加倍、最大池化后特征图的长和宽减半。进一步地，所述上下文融合网络包含上下文卷积单元、上采样器和多尺度特征融合单元构成，其中上下文卷积单元的数量与骨干网输出的特征图数量匹配，上采样器匹配衔接每一个上下文卷积单元运作。进一步地，语义图像分割方法包括步骤：S1，定义骨干网的卷积层为五层，骨干网对输入图像进行卷积和最大赤化操作来提取特征，且卷积后特征图的通道数加倍、最大池化后特征图的长和宽减半；S2，将骨干网的五层卷积层输出分别对接一个上下文卷积单元，根据各卷积层提供不同尺度的图像特征信息，各上下文卷积单元采用相应的卷积核进行上下文特征精炼提取，并都采用1×1的卷积核进行降维操作，使特征图变成通道数为21的输出；S3，将各上下文卷积单元的输出续接一个上采样器，使输出特征图片的分别率大小和原图的分辨率大小一致，并通过堆叠的方式进行特征融合；S4，对特征融合后输出的特征图使用1×1的卷积，把特征矢量映射到所需的类别个数，输出一个通道数为21维的矩阵。进一步地，所述图像语义分割方法中每一次卷积前均对特征图的图像外圈进行补0的填充操作。进一步地，所述图像语义分割方法中每一次卷积后衔接运行一个线性修正单元。进一步地，所述图像语义分割方法中根据输入图像的分辨率、尺寸，具有匹配可选的卷积核大小及个数。应用本专利技术的上述图像分割算法，较之于传统方案具有突出的实质性特点和显著的进步性，本专利技术重新定义了网络结构，通过使用上下文融合网络对骨干网中的每层进行特征提取，最终将提取的特征进行融合。本专利技术充分地利用了卷积网络中的上下文信息，在一定程度上提高了最终的准确率；并且使分割图相对原始图像的分辨率大小保持不变。附图说明图1为本专利技术语义图像分割方法的网络架构图。图2为在PASCALVOC2012数据集下训练的loss曲线。图3为本专利技术语义图像分割方法较之于其它分割方法定性的结果比较。具体实施方式以下便结合实施例附图，对本专利技术的具体实施方式作进一步的详述，以使本专利技术技术方案更易于理解、掌握，从而对本专利技术的保护范围做出更为清晰的界定和支持。本专利技术设计者分析并研究了现有FCN模型及多个改进模型在语义图像分割方面的优缺点，针对图像中的细节不敏感问题，经创造性劳动创新提出了一种新型的语义图像分割方法，其特征可以概述为：先重构包含骨干网和上下文融合网络的网络框架，其中上下文融合网络对骨干网中的若干层特征图分别进行精炼提取，并将提取后的每层特征图进行上采样至原图分别率大小，再将浅层和深层的特征图通过堆叠操作进行融合，输出一个21维且与原图大小相同的矩阵。具体如图1所示，其中骨干网基于经典FCN构建，包含输入层、卷积层、最大池化层、线性修正单元及损失函数，对输入图像和任意特征图卷积后特征图的通道数加倍、最大池化后特征图的长和宽减半。其中上下文融合网络包含上下文卷积单元、上采样器和多尺度特征融合单元构成，其中上下文卷积单元的数量与骨干网输出的特征图数量匹配，上采样器匹配衔接每一个上下文卷积单元运作。图1所示的整体框架定义为上下文信息聚合网络（CAN,ContextualAggregatingNetworkForSemanticSegmentation）。该重构的网络在实际语义图像分割操作中，概述包括如下步骤：S1，定义骨干网的卷积层数量，骨干网对输入图像进行卷积和最大赤化操作来提取特征，且卷积后特征图的通道数加倍、最大池化后特征图的长和宽减半；S2，将骨干网的五层卷积层输出分别对接一个上下文卷积单元，根据各卷积层提供不同尺度的图像特征信息，各上下文卷积单元采用相应的卷积核进行上下文特征精炼提取，并都采用1×1的卷积核进行降维操作，使特征图变成通道数为21的输出；S3，将各上下文卷积单元的输出续接一个上采样器，使输出特征图片的分别率大小和原图的分辨率大小一致，并通过堆叠的方式进行特征融合；S4，对特征融合后输出的特征图使用1×1的卷积，把特征矢量映射到所需的类别个数，输出合适通道数的矩阵。为便于具象化理解本专利技术该方案的创新特点，以下通过更具体的实施步骤进一步展现其实现过程。结合图示，定义骨干网中的卷积层数量为五层，以下详细阐述语义图像分割的过程。Sa、输入一张任意大小的图像，对图像进行两步卷积操作，每步卷积操作中卷积核大小为3×3，卷积核个数为64，步长为1，得到通道数为64的第一特征图。Sb、对第一特征图进行步幅为2的2×2最大池化操作，池化后特征图的长宽都缩减一半，接着再进行两步卷积操作，每步卷积操作中卷积核大小为3×3，卷积核个数为128，步长为1，得到通道数为128的第二特征图。Sc、对第二特征图进行步幅为2的2×2最大池化操作，池化后特征图的长宽都缩减一半，接着再进行三步卷积操作，每步卷积操作中卷积核大小为3×3，卷积核个数为256，步长为1，得到通道数为256的第三特征图。Sd、对第三特征图进行步幅为2的2×2最大池化操作，池化后特征图的长宽都缩减一半，接着再进行三步卷积操作，每步卷积操作中卷积核大小为3×3，卷积本文档来自技高网...

【技术保护点】
1.卷积神经网络中的一种语义图像分割方法，其特征在于：重构包含骨干网和上下文融合网络的网络框架，其中上下文融合网络对骨干网中的若干层特征图分别进行精炼提取，并将提取后的每层特征图进行上采样至原图分别率大小，再将浅层和深层的特征图通过堆叠操作进行融合，输出一个21维且与原图大小相同的矩阵。

【技术特征摘要】
1.卷积神经网络中的一种语义图像分割方法，其特征在于：重构包含骨干网和上下文融合网络的网络框架，其中上下文融合网络对骨干网中的若干层特征图分别进行精炼提取，并将提取后的每层特征图进行上采样至原图分别率大小，再将浅层和深层的特征图通过堆叠操作进行融合，输出一个21维且与原图大小相同的矩阵。2.根据权利要求1所述卷积神经网络中的一种语义图像分割方法，其特征在于：所述骨干网基于经典FCN构建，包含输入层、卷积层、最大池化层、线性修正单元及损失函数，对输入图像和任意特征图卷积后特征图的通道数加倍、最大池化后特征图的长和宽减半。3.根据权利要求1所述卷积神经网络中的一种语义图像分割方法，其特征在于：所述上下文融合网络包含上下文卷积单元、上采样器和多尺度特征融合单元构成，其中上下文卷积单元的数量与骨干网输出的特征图数量匹配，上采样器匹配衔接每一个上下文卷积单元运作。4.根据权利要求1所述卷积神经网络中的一种语义图像分割方法，其特征在于包括步骤：S1，定义骨干网的卷积层为五层，骨干网对输入图像进行卷积和最大赤化操作来提取特征，且卷积后特征...

【专利技术属性】
技术研发人员：周全，从德春，杨文斌，王雨，卢竞男，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32