基于深度学习的全局特征和局部特征的图像语义分割方法技术

本发明专利技术涉及一种基于深度学习的全局特征和局部特征的图像语义分割方法，包括以下步骤：在编码端，使用基于深度学习卷积神经网络模型提取图像的基础深度特征，同时根据卷积层的深度将特征分为低层特征和高层特征；应用特征融合模块将低层特征和高层特征融合成增强型的深度特征；在获取深度特征后，将其输入到解码端；以交叉熵损失函数为目标训练网络，使用mIoU评价网络性能。本发明专利技术设计合理，其使用深度卷积神经网络模型提取图像的全局和局部特征，充分利用了全局特征和局部特征的互补性，并且利用了堆叠池化层进一步提高性能，有效地提高了图像语义分割地准确率。

Image Semantic Segmentation Based on Global and Local Features of Deep Learning

The present invention relates to an image semantics segmentation method based on global and local features of deep learning, which includes the following steps: at the coding end, the basic depth features of the image are extracted by using the convolution neural network model based on deep learning, and the features are divided into low-level features and high-level features according to the depth of the convolution layer; and the low-level features and high-level features are applied by the feature fusion module. Fusion into enhanced depth features; after acquiring depth features, input them to the decoder; take cross-entropy loss function as the goal of training network, use mIoU to evaluate network performance. The method has reasonable design, uses the depth convolution neural network model to extract the global and local features of the image, makes full use of the complementarity of the global and local features, and further improves the performance by using the stacked pooling layer, thus effectively improving the accuracy of image semantics segmentation.

【技术实现步骤摘要】
基于深度学习的全局特征和局部特征的图像语义分割方法
本专利技术属于计算机视觉图像语义分割
，尤其是一种基于深度学习的全局特征和局部特征的图像语义分割方法。
技术介绍
图像语义分割是指通过一定的方法将图像中的每个像素分为不同的语义类别，实现从底层到高层语义的推理过程，最终得到显示不同分割区域的逐像素语义标注的分割图。图像语义分割广泛用于汽车自动驾驶中的街景识别及目标检测、无人机落地点检测、场景理解、机器人视觉等许多计算机视觉任务方面的应用。从基于计算机视觉的机器学习方法到目前基于深度学习的方法，图像语义分割算法的研究得到了很大的进展，但是，由于工业需求的不断加大，图像语义分割依然是计算机视觉任务中的研究热点之一。尽管图像语义分割方法目前已经有了快速的发展，但是，因为它的复杂性，仍然有很多问题有待解决。图像语义分割的挑战性主要体现在：(1)物体层次的不确定性，这是因为图像的明亮程度、模糊程度、图像中物体的大小及方向等诸多因素的影响；(2)物体类别层次的模糊性，同一个物种的不同类别，也不好分别开。为了减少不确定性和模糊性等外界因素的影响，充分利用图像中的信息(如图像像素值，从中可以提出许多特征，如颜色特征、图像中像素、物体之间的联系等上下文信息)，获得更好的特征表示，是一个重要的方法。为了提高图像语义分割的准确性，人们也一直在努力使用先进的算法。因此，对图像语义分割算法进行进一步的研究仍然具有非常重大的实际意义。早期的图像语义分割利用手工标注特征，如方向梯度直方图HOG和尺度不变特征转换SIFT。基于机器学习的方法从最简单的像素级别阈值法、基于像素聚类的分割方法到基于图论划分的分割方法。这些方法过于依赖手工标注的特征库，难以广泛表示图像特征，在实际应用中有很大的局限性。近年来，卷积神经网络(CNN)的发展，使计算机视觉任务中的许多问题得到了巨大的突破。由于深度卷积网络可以从大量样本数据中提取出图像的特征，比手工标注特征更好，在图像分类和目标检测等高层计算机视觉任务上获得了巨大的成功，因此，如何利用深度学习技术以提高图像语义分割性能是目前迫切需要解决的问题。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出一种设计合理且识别准确率高的基于深度学习的全局特征和局部特征的图像语义分割方法。本专利技术解决其技术问题是采取以下技术方案实现的：一种基于深度学习的全局特征和局部特征的图像语义分割方法，包括以下步骤：步骤1、在编码端，使用基于深度学习卷积神经网络模型提取图像的基础深度特征，同时根据卷积层的深度将特征分为低层特征和高层特征；步骤2、应用特征融合模块将低层特征和高层特征融合成增强型的深度特征；步骤3、在获取深度特征后，将其输入到解码端；步骤4、以交叉熵损失函数为目标训练网络，使用mIoU评价网络性能。所述低层特征由纹理、边缘的局部特征组成，所述高层特征包括语义信息的全局特征。所述步骤1的具体实现方法包括以下步骤：⑴将输入图像缩放到统一尺寸224×224，以Resnet18卷积神经网络架构作为预训练的基础卷积神经网络并去除其最后的全连接层，然后将网络分成4个模块；⑵将缩放后的图像输入到修改后的Resnet18卷积神经网络架构中，图像经过一系列卷积、批量归一化、池化、ReLU操作后，每个模块输出一种特征，其分辨率依次为56×56，28×28，14×14，7×7的局部特征；⑶将7×7的局部特征输入到全局池化层，得到1×1的全局特征。所述步骤2的具体实现方法包括以下步骤：⑴将全局特征经过反池化得到7×7的全局特征；⑵通过级联器将原始7×7的局部特征和全局特征在维度上级联起来获得融合特征。所述解码端由一系列卷积层和堆叠池化层组成，卷积层的输出和堆叠池化层的输出融合后得到更强的特征表示。所述步骤3的具体实现方法包括以下步骤：⑴将全局特征分别经过卷积层和堆叠池化层，分别得到不同的特征；⑵将这两种特征级联，然后经过卷积层和上采样层，增大其特征分辨率，使其分辨率为14×14，然后与14×14的特征级联；⑶然后将14×14的经过步骤⑵的处理，得到28×28特征，最后同样经过步骤⑵的处理，直至获得112×112的特征；⑷将112×112特征经过卷积和上采样处理，得到输出的预测分割图。所述步骤4的具体实现方法包括以下步骤：⑴计算预测分割图与已标注好的分割图的交叉熵损失，利用反向传播算法更新权重；⑵网络训练完成后，使用mIoU衡量其预测性能。本专利技术的优点和积极效果是：本专利技术设计合理，其使用深度卷积神经网络模型提取图像的全局和局部特征，然后将局部特征与全局特征融合，以获得更强的特征表示，并在解码端使用堆叠池化层将图像特征经过堆叠的最大池化层、卷积层，最后经过反池化层，将输出的特征与之前的卷积特征融合，用来减小特征图中的噪声，使其分割图的边界更加清晰，同时也减小了因全局信息缺失而造成的分类错误，本专利技术充分利用了全局特征和局部特征的互补性，并且利用了堆叠池化层进一步提高性能，有效地提高了图像语义分割地准确率。附图说明图1是本专利技术的图像语义分割算法网络框架图；图2是卷积模块(CB)的工作原理图；图3是堆叠池化模块(SPB)的工作原理图。具体实施方式以下结合附图对本专利技术实施例做进一步详述。一种基于深度学习的全局特征和局部特征的图像语义分割方法，如图1至图3所示，在编码端，使用深度卷积神经网络模型提取图像的全局和局部特征；在解码端，将两种特征融合获得互补的图像判别特征用于图像语义分割。同时在解码端为了获得更加准确地恢复图像原始分辨率，提出了一种堆叠池化层，将图像特征经过堆叠的最大值池化层、卷积层，最后经过反池化层，将输出的特征与之前的卷积特征融合，用来减小特征图中的噪声，使其分割图的边界更加清晰，同时也减小了因全局信息缺失而造成分类错误。网络的输出是与原图像分辨率大小一致的分割图，使用图像已有的标签计算分割准确率，最后以最小化交叉熵损失函数为目标来训练网络。在本实施例中，一种基于深度卷积神经网络的利用全局特征和局部特征融合的图像语义分割方法，包括以下步骤：步骤S1、在编码端，使用基于深度学习卷积神经网络模型提取图像的基础深度特征，同时根据卷积层的深度将特征分为低层特征和高层特征。低层特征由一些纹理、边缘等局部特征组成，高层特征包含了一些语义信息表征了全局特征。本步骤的具体实现方法如下：步骤S1.1、将输入图像缩放到统一尺寸224×224，以Resnet18卷积神经网络架构作为预训练的基础卷积神经网络并去除其最后的全连接层，然后将网络分成4个模块；步骤S1.2、将缩放后的图像输入到修改后的Resnet18卷积神经网络架构中，图像经过一系列卷积、批量归一化、池化、ReLU操作后，每个模块输出一种特征，其分辨率依次为56×56，28×28，14×14，7×7的局部特征；步骤S1.3、将7×7的局部特征输入到全局池化层，得到1×1的全局特征。步骤S2、应用特征融合模块将低层特征和高层特征融合成增强型深度特征。步骤S3、在获取深度特征后，将其输入到解码端，解码端由一系列卷积层和堆叠池化层组成，卷积层的输出和堆叠池化层的输出融合后得到更强的特征表示。本步骤的具体实现方法如下：步骤S3.1、将全局特征分别经过卷积层和堆叠池化层，分别得到不同的特征步本文档来自技高网...

【技术保护点】
1.一种基于深度学习的全局特征和局部特征的图像语义分割方法，其特征在于包括以下步骤：步骤1、在编码端，使用基于深度学习卷积神经网络模型提取图像的基础深度特征，同时根据卷积层的深度将特征分为低层特征和高层特征；步骤2、应用特征融合模块将低层特征和高层特征融合成增强型的深度特征；步骤3、在获取深度特征后，将其输入到解码端；步骤4、以交叉熵损失函数为目标训练网络，使用mIoU评价网络性能。

【技术特征摘要】
1.一种基于深度学习的全局特征和局部特征的图像语义分割方法，其特征在于包括以下步骤：步骤1、在编码端，使用基于深度学习卷积神经网络模型提取图像的基础深度特征，同时根据卷积层的深度将特征分为低层特征和高层特征；步骤2、应用特征融合模块将低层特征和高层特征融合成增强型的深度特征；步骤3、在获取深度特征后，将其输入到解码端；步骤4、以交叉熵损失函数为目标训练网络，使用mIoU评价网络性能。2.根据权利要求1所述的基于深度学习的全局特征和局部特征的图像语义分割方法，其特征在于：所述低层特征由纹理、边缘的局部特征组成，所述高层特征包括语义信息的全局特征。3.根据权利要求1或2所述的基于深度学习的全局特征和局部特征的图像语义分割方法，其特征在于：所述步骤1的具体实现方法包括以下步骤：⑴将输入图像缩放到统一尺寸224×224，以Resnet18卷积神经网络架构作为预训练的基础卷积神经网络并去除其最后的全连接层，然后将网络分成4个模块；⑵将缩放后的图像输入到修改后的Resnet18卷积神经网络架构中，图像经过一系列卷积、批量归一化、池化、ReLU操作后，每个模块输出一种特征，其分辨率依次为56×56，28×28，14×14，7×7的局部特征；⑶将7×7的局部特征输入到全局池化层，得到1×1的全局特征。4.根据权利要求1所述的基于深...

【专利技术属性】
技术研发人员：宋辉，解伟，郭晓强，周芸，姜竹青，门爱东，
申请(专利权)人：国家新闻出版广电总局广播科学研究院，北京邮电大学，
类型：发明
国别省市：北京,11