一种基于多尺度低层特征融合的全卷积网络语义分割方法技术

本发明专利技术公开了一种基于多尺度低层特征融合的全卷积网络语义分割方法，首先用全卷积神经网络对输入图像进行密集特征的提取；然后对提取的特征图像进行多尺度特征融合处理。其步骤包括对输入特征图进行多尺度池化，形成多条处理分支，然后对各分支中池化后尺度不变的特征图进行低层特征融合处理，对于池化后尺度缩小的特征图，则进行低层特征融合上采样处理，接着分别经过3×3卷积层以学习更深层次的特征及减少输出特征图的通道数，之后再把各分支的输出特征图以通道数拼接的方式结合在一起，并经过类别卷积层和双线性插值上采样处理后，得到跟原图像等尺寸的得分图。结合局部低层特征信息和全局多尺度图像信息，使图像语义分割的效果更为显著。

【技术实现步骤摘要】
一种基于多尺度低层特征融合的全卷积网络语义分割方法
本专利技术涉及机器学习与计算机视觉
，具体涉及一种基于多尺度低层特征融合的全卷积网络语义分割方法。
技术介绍
近年来，随着科学技术的发展，计算机的性能得到了快速的提高，机器学习、计算机视觉、人工智能等领域也得到迅猛的发展，图像语义分割也就作为其中的一个重要的研究课题。所谓图像语义分割，就是将一幅图像按照自己既定的标准，被划分为若干个小块，每个小块内部的像素具有一定的相关性，并标出每一块的语义，如：天空、草原、沙发、床等等。从技术的角度来看，图像语义分割在一定程度上类似于数据处理中的聚合，聚成各个不同的类别，并标示出来。从应用的角度上看，图像语义分割也经常作为底层来为高层智能化图像处理服务。对于图像语义分割的研究历史而言，可以以深度学习出现作为界限，划分成两个不同的时代。在尚未普及深度学习理论时，语义标注研究使用传统的方法来进行分割、识别与分类，专注于图像特征的描述、提取和学习预测。而现在的图像的语义分割任务大部分都是在深度学习的技术下进行的，使用深度神经网络能很好地捕捉到数据中的深层次关系，不仅是人类定义的类别之间的不同之处，连人类都察觉不到的差别也能通过深度神经网络的深层次特征提取来获得，并且可以对不同的类别加以区分，以达到更好的语义分割效果。基于深度神经网络的语义分割技术有很多种类型，能完成各种不同的语义分割任务。其中经典的深度神经网络有KarenSimonyan和AndrewZisserman在2014年发表的论文中提出的VGG网络(K.SimonyanandA.Zisserman.Verydeepconvolutionalnetworksforlarge-scaleimagerecognition.CoRR,abs/1409.1556,2014.)，该论文提出深度是获取好的分割结果的关键，然而深度对结果的影响还是会饱和的，所以它提出16层的特征提取网络结构，其中使用多个3×3的小尺寸卷积过滤器来替换原来大尺寸的卷积核，最后再接上两个全连通层作优化学习，以提供限定维度的特征向量给最后的分类器进行分类识别。以其为基础，J.Long等人认为最后两个全连接层会对丰富的特征图信息进行压缩，造成特征信息的丢失，因此提出全卷积的神经网络(J.Long,E.Shelhamer,andT.Darrell.Fullyconvolutionalnetworksforsemanticsegmentation.InCVPR,pages3431–3440,2015.)，简称FCN网络。该网络将VGG网络中的后几个全连通层改为了卷积层，实现了一种端到端的语义分割方式，可以直接输出一张像素级别的预测图，而不仅仅是一个特征向量。其中反卷积层的应用还方便了网络参数的学习，能够很好的利用已经训练好的supervisedpre-training的网络，不用再从头开始训练，只需要微调即可。而chen等人则在这基础上，提出基于带“洞”卷积层的全卷积神经网络(L.Chen,G.Papandreou,I.Kokkinos,K.Murphy,andA.L.Yuille.Semanticimagesegmentationwithdeepconvolutionalnetsandfullyconnectedcrfs.CoRR,abs/1412.7062,2014.)，简称deeplab_largeFOV网络，且在其后加上了全连通的条件随机场进行优化。虽然这些算法都在一定程度上扩大了全卷积神经网络的感受野，但是很容易使分割物体的边缘变得非常粗糙，而且在对小尺度物体的分割识别方面显得力不从心。
技术实现思路
本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种基于多尺度低层特征融合的全卷积网络语义分割方法。本专利技术的目的可以通过采取如下技术方案达到：一种基于多尺度低层特征融合的全卷积网络语义分割方法，所述的语义分割方法包括以下几个步骤：S1、对输入的图像使用全卷积神经网络进行密集特征的提取；S2、对提取的特征进行多尺度特征融合处理，所述多尺度特征融合包括池化层、特征融合层和3×3卷积层的处理；S3、多尺度特征融合后的图像通过3×3卷积层、类别卷积层和双线性插值上采样处理，得到跟原图像等尺寸的得分图，以此实现对图像的语义分割任务。进一步地，所述的全卷积神经网络利用deeplab_largeFOV(vgg16)网络的前5个模块，获取稠密的高层特征信息，实现密集特征的提取。在这前5个模块中，每个模块都是由2-3个卷积层和relu层的集合与一个最大池化层组成。由于前3个模块中的池化层步长是2，而后两个大层中的池化层步长是1，因此在第四个池化层之后，即从第5个模块开始，小卷积层都是带“洞”的，这样可以使感受野与预训练的网络(FCN网络)保持一致，而且还能在一定程度上扩大感受野，获取更多全局信息。进一步地，所述的多尺度特征融合，所述多尺度特征融合包括池化层、特征融合层和3×3卷积层的处理，首先需要对输入特征图进行多尺度池化，即对输入特征图的多个副本分别进行不同形式的池化处理，从而形成多条处理分支；然后对各分支中池化后尺度不变的特征图进行低层特征融合处理，对于池化后尺度缩小的特征图，则需要进行低层特征融合上采样处理，使得各分支特征图的尺寸保持一致；再分别将特征融合后的特征图输入到3×3卷积层，通过限制卷积核的个数，减少输出特征图的通道数目；之后再把各分支的输出特征图以通道数拼接的方式结合在一起，得到融合多尺度低层特征的图像。进一步地，所述的多尺度池化方法，对输入特征图的多个副本分别进行不同形式的池化处理，其中包括传统的最大值池化和新型的相似度矩阵池化。通过利用不同尺寸的池化核和不同移动步长的池化窗口，可以获取丰富的多尺度图像信息，然而各分支池化后特征图的尺寸会因此而不一样。进一步地，所述的相似度矩阵池化方法，首先需要让基于低层特征生成的相似度矩阵进行二值化处理，再把该矩阵当作权重矩阵，对输入特征图进行均值池化处理。进一步地，所述的低层特征融合和低层特征融合上采样低层特征融合是针对相似度矩阵池化后特征图尺寸没有发生变化的情况所实施的处理方式，而低层特征融合上采样则是针对相似度矩阵池化后特征图尺寸缩小的情况所实施的尺寸复原的处理方法。另外，对于最大值池化后的特征图，不需要进行任何特征融合处理，直接输入到3×3卷积层。低层特征融合和低层特征融合上采样的基本原理都是利用融合HOG特征信息的相似度矩阵进行反卷积处理。HOG特征又名方向梯度直方图特征(HistogramsofOrientedGradients)，它是经过计算图像中各局部区域的梯度方向直方图来构成特征描述向量。由于该特征主要针对一块局部区域，因此与池化后尺寸缩小的特征图中每个特征点相对应。进一步地，基于低层HOG特征的相似度矩阵，该矩阵对不同尺度的输入特征图由不同的大小对应。对原尺度大小的特征图，可使用步长为1的相似度矩阵进行反卷积操作，该矩阵的尺寸大小与之前的池化窗口保持一致。而对于经过池化缩小的特征图，则需要使用与池化窗口步长一致的相似度矩阵，进行反卷积上采样处理。进一步地，基于低层HOG特征的相似度矩阵的生成方法，首先需要利用hog特征提取算法提本文档来自技高网...

【技术保护点】
1.一种基于多尺度低层特征融合的全卷积网络语义分割方法，其特征在于，所述的语义分割方法包括下列步骤：S1、对输入的图像使用全卷积神经网络进行密集特征的提取；S2、对提取的特征进行多尺度特征融合处理，所述的多尺度特征融合包括池化层、特征融合层和3×3卷积层的处理；S3、多尺度特征融合后的图像通过3×3卷积层、类别卷积层和双线性插值上采样处理，得到跟原图像等尺寸的得分图，以此实现对图像的语义分割任务。

【技术特征摘要】
1.一种基于多尺度低层特征融合的全卷积网络语义分割方法，其特征在于，所述的语义分割方法包括下列步骤：S1、对输入的图像使用全卷积神经网络进行密集特征的提取；S2、对提取的特征进行多尺度特征融合处理，所述的多尺度特征融合包括池化层、特征融合层和3×3卷积层的处理；S3、多尺度特征融合后的图像通过3×3卷积层、类别卷积层和双线性插值上采样处理，得到跟原图像等尺寸的得分图，以此实现对图像的语义分割任务。2.根据权利要求1所述的一种基于多尺度低层特征融合的全卷积网络语义分割方法，其特征在于，所述的多尺度特征融合，首先需要对输入特征图进行多尺度池化，即对输入特征图的多个副本分别进行不同形式的池化处理，从而形成多条处理分支；然后对各分支中池化后尺度不变的特征图进行低层特征融合处理，对于池化后尺度缩小的特征图，则需要进行低层特征融合上采样处理，使得各分支特征图的尺寸保持一致；再分别将特征融合后的特征图输入到3×3卷积层，通过限制卷积核的个数，减少输出特征图的通道数目；之后再把各分支的输出特征图以通道数拼接的方式结合在一起，得到融合多尺度低层特征的图像。3.根据权利要求2所述的一种基于多尺度低层特征融合的全卷积网络语义分割方法，其特征在于，所述的多尺度池化通过利用不同尺寸的池化核和不同移动步长的池化窗口，获取多尺度图像信息，所述的多尺度池化包括最大值池化方法和相似度矩阵池化方法。4.根据权利要求3所述的一种基于多尺度低层特征融合的全卷积网络语义分割方法，其特征在于，所述的相似度矩阵池化方法首先让基于低层特征生成的相似度矩阵进行二值化处理，再把该矩阵当作权重矩阵，对输入特征图进行均值池化处理。5.根据权利要求1所述的一种基于多尺度低层特征融合...

【专利技术属性】
技术研发人员：罗荣华，陈俊生，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44