自然场景下图像语义分割方法和装置制造方法及图纸

本申请涉及一种自然场景下图像语义分割方法和装置。所述方法包括：通过卷积神经网络的卷积层提取待语义分割图像的初步特征矩阵，通过池化层分别计算初步特征矩阵感受野中像素的最大值和平均值，根据最大值和平均值的差异信息，得到初步特征矩阵的边缘梯度特征，根据边缘梯度特征和初步特征矩阵，得到融合特征，并且根据预先设置的深度残差网络对融合特征进行特征融合与提取，得到深度特征，建立深度特征中各个像素之间的长依赖关系，得到依赖特征图，通过输出层对依赖特征图进行分类，得到每个像素所对应的分类。采用本方法能够提高图像语义分割的准确率。

【技术实现步骤摘要】
自然场景下图像语义分割方法和装置
本申请涉及机器学习
，特别是涉及一种自然场景下图像语义分割方法和装置。
技术介绍
与高级计算机视觉的图像级处理不同，图像语义分割是低级计算机视觉中的基础和难点。属于像素级图像处理，图像分割将每个像素划分为特定的语义标签。它可以使计算机方便地了解场景并准确地找到相应的对象位置。图像语义分割在计算机视觉和人工智能领域，如自动驾驶、机器人环境感知和医院图像测量中扮演着重要的角色。在现有的图像语义分割技术中，主要通过深度卷积网络(DCNNs)来提取图像的特征和像素的分类，但是深度卷积网络不仅会降低图像中目标对象的特征分辨率和定位精度，并且在目标对象具有不同的尺度的情况下通常会导致部分部件的丢失。因此，图像语义分割的主流解决方案是增加特征分辨率。通过对现有模型的分析，目标边缘，边界的清晰度会极大的影响图像分割结果。在DCNNs的结构中，目标边界精度主要受两个因素的影响。一方面，在卷积层和池化层中通过下采样降低特征映射的空间分辨率，导致边界模糊和偏移。另一方面，对象的多尺度可能导致大的对象部件丢失而小的对象分类错误等一系列问题。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够解决深度卷积网络进行图像语义分割不准确问题的自然场景下图像语义分割方法和装置。一种自然场景下图像语义分割方法方法，所述方法包括：通过卷积神经网络的卷积层提取待语义分割图像的初步特征矩阵；通过池化层分别计算所述初步特征矩阵感受野中像素的最大值和平均值，根据所述最大值和所述平均值的差异信息，得到所述初步特征矩阵的边缘梯度特征；根据所述边缘梯度特征和所述初步特征矩阵，得到融合特征，并且根据预先设置的深度残差网络对所述融合特征进行特征融合与提取，得到深度特征；建立所述深度特征中各个像素之间的长依赖关系，得到依赖特征图；通过输出层对所述依赖特征图进行分类，得到每个像素所对应的分类。在其中一个实施例中，还包括：通过卷积神经网络的卷积层对预设尺寸的待语义分割图像进行特征提取，并且通过批量标准化层处理之后，得到目标尺寸的初步特征矩阵。在其中一个实施例中，还包括：通过最大池化层计算感受野中像素的最大值，通过平均池化层计算感受野中像素的平均值。在其中一个实施例中，还包括：通过Eltwise层计算所述最大值和所述平均值的差值，得到所述差异信息，根据所述差异信息得到边缘梯度特征；通过设置的Eltwise层的参数，将所述边缘梯度特征和所述初步特征矩阵进行融合，得到融合特征。在其中一个实施例中，还包括：分别通过金字塔池化层和孔卷积金字塔层建立所述深度特征中各个像素之间的长依赖关系，得到依赖特征图。在其中一个实施例中，还包括：通过金字塔池化层获取多级池化输出，采用双线性插值对所述多级池化输出进行采样，得到与所述深度特征相同大小的二维特征矩阵；将所述二维特征矩阵进行融合，得到先验特征，将所述先验特征与所述深度特征进行融合，得到融合特征图；将所述融合特征图输入所述孔卷积金字塔层，得到与所述深度特征相同大小的多个孔特征矩阵；所述孔卷积金字塔层包括多个卷积核相同，且卷积核间隔不同的池化层；采用双线性插值对所述孔特征矩阵进行采样，得到依赖特征图。在其中一个实施例中，还包括：通过softmax层对所述依赖特征图进行分类，得到每个像素所对应的分类。一种自然场景下图像语义分割装置，所述装置包括：初步特征提取模块，用于通过卷积神经网络的卷积层提取待语义分割图像的初步特征矩阵；边缘特征提取模块，用于通过池化层分别计算所述初步特征矩阵感受野中像素的最大值和平均值，根据所述最大值和所述平均值的差异信息，得到所述初步特征矩阵的边缘梯度特征；深度特征提取模块，用于根据所述边缘梯度特征和所述初步特征矩阵，得到融合特征，并且根据预先设置的深度残差网络对所述融合特征进行特征融合与提取，得到深度特征；依赖建立模块，用于建立所述深度特征中各个像素之间的长依赖关系，得到依赖特征图；分类模块，用于通过输出层对所述依赖特征图进行分类，得到每个像素所对应的分类。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：通过卷积神经网络的卷积层提取待语义分割图像的初步特征矩阵；通过池化层分别计算所述初步特征矩阵感受野中像素的最大值和平均值，根据所述最大值和所述平均值的差异信息，得到所述初步特征矩阵的边缘梯度特征；根据所述边缘梯度特征和所述初步特征矩阵，得到融合特征，并且根据预先设置的深度残差网络对所述融合特征进行特征融合与提取，得到深度特征；建立所述深度特征中各个像素之间的长依赖关系，得到依赖特征图；通过输出层对所述依赖特征图进行分类，得到每个像素所对应的分类。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：通过卷积神经网络的卷积层提取待语义分割图像的初步特征矩阵；通过池化层分别计算所述初步特征矩阵感受野中像素的最大值和平均值，根据所述最大值和所述平均值的差异信息，得到所述初步特征矩阵的边缘梯度特征；根据所述边缘梯度特征和所述初步特征矩阵，得到融合特征，并且根据预先设置的深度残差网络对所述融合特征进行特征融合与提取，得到深度特征；建立所述深度特征中各个像素之间的长依赖关系，得到依赖特征图；通过输出层对所述依赖特征图进行分类，得到每个像素所对应的分类。上述自然场景下图像语义分割方法、装置、计算机设备和存储介质，通过将深度神经网络、边缘梯度理论和长距离依赖原理相结合，当输入图像到深度神经网络时，可以直接得出最终的图像语义分割结果。因此，本专利技术能实现端对端的图像语义分割，并能够对图像中特定对象的边缘进行更加精确的判别，同时能够克服对象多尺度问题的影响，对图像中大的对象和小的对象都能够实现更好的分割。附图说明图1为一个实施例中自然场景下图像语义分割方法的流程示意图；图2为一个实施例中边缘梯度特征提取的设计框架图；图3为另一个实施例中全连接条件随机场和孔卷积金字塔层的关系示意图；图4为一个实施例中金字塔池化层和孔卷积金字塔层的长距离依赖的设计框架图；图5为一个实施例中自然场景下图像语义分割方法的总体流程图；图6为一个实施例中自然场景下图像语义分割装置的结构框图；图7为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。在一个实施例中，如图1所示，提供了一种自然场景下图像语义分割方法，包括以下步骤：步骤102，通过卷积神经网络的卷积层提取待语义分割图像的初步特征矩阵。卷积层是卷积神经网络中本文档来自技高网...

【技术保护点】
1.一种自然场景下图像语义分割方法，所述方法包括：/n通过卷积神经网络的卷积层提取待语义分割图像的初步特征矩阵；/n通过池化层分别计算所述初步特征矩阵感受野中像素的最大值和平均值，根据所述最大值和所述平均值的差异信息，得到所述初步特征矩阵的边缘梯度特征；/n根据所述边缘梯度特征和所述初步特征矩阵，得到融合特征，并且根据预先设置的深度残差网络对所述融合特征进行特征融合与提取，得到深度特征；/n建立所述深度特征中各个像素之间的长依赖关系，得到依赖特征图；/n通过输出层对所述依赖特征图进行分类，得到每个像素所对应的分类。/n

【技术特征摘要】
1.一种自然场景下图像语义分割方法，所述方法包括：
通过卷积神经网络的卷积层提取待语义分割图像的初步特征矩阵；
通过池化层分别计算所述初步特征矩阵感受野中像素的最大值和平均值，根据所述最大值和所述平均值的差异信息，得到所述初步特征矩阵的边缘梯度特征；
根据所述边缘梯度特征和所述初步特征矩阵，得到融合特征，并且根据预先设置的深度残差网络对所述融合特征进行特征融合与提取，得到深度特征；
建立所述深度特征中各个像素之间的长依赖关系，得到依赖特征图；
通过输出层对所述依赖特征图进行分类，得到每个像素所对应的分类。


2.根据权利要求1所述的方法，其特征在于，所述通过卷积神经网络的卷积层提取待语义分割图像的初步特征矩阵，包括：
通过卷积神经网络的卷积层对预设尺寸的待语义分割图像进行特征提取，并且通过批量标准化层处理之后，得到目标尺寸的初步特征矩阵。


3.根据权利要求1所述的方法，其特征在于，所述通过池化层分别计算所述初步特征矩阵感受野中像素的最大值和平均值，包括：
通过最大池化层计算感受野中像素的最大值，通过平均池化层计算感受野中像素的平均值。


4.根据权利要求1所述的方法，其特征在于，根据所述边缘梯度特征和所述初步特征矩阵，得到融合特征，包括：
通过Eltwise层计算所述最大值和所述平均值的差值，得到所述差异信息，根据所述差异信息得到边缘梯度特征；
通过设置的Eltwise层的参数，将所述边缘梯度特征和所述初步特征矩阵进行融合，得到融合特征。


5.根据权利要求1至4任一项所述的方法，其特征在于，建立所述深度特征中各个像素之间的长依赖关系，得到依赖特征图，包括：
分别通过金字塔池化层和孔卷积金字塔层建立所述深度特征中各个像素之间的长依赖关系，得到依赖特征图。


6.根据权利要求5所述的方法，其特征在于，所述分别通过金字塔池化层和孔卷积金字塔层建立所述深度...

【专利技术属性】
技术研发人员：李硕豪，张军，何华，周浩，王风雷，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43