基于卷积神经网络的图像语义分割方法及其装置制造方法及图纸

本申请实施例公开了基于卷积神经网络的图像语义分割方法及其装置，通过对图像语义分割网络模型进行改进，以达到提升图像语义分割的准确度，提升图像语义分割效果的目的。该图像语义分割方法包括：获取待处理图像，待处理图像是预先采集准备进行图像语义分割的图像；使用预先训练好的图像语义分割网络模型对待处理图像进行图像语义分割，得到分割结果图，图像语义分割网络模型包括编码器和解码器，编码器是使用空洞卷积对卷积神经网络进行改进后得到，解码器是采用边界增强模块、金字塔池化模块和像素对齐模块组合而成多层次结构设计得到。计得到。计得到。

【技术实现步骤摘要】
基于卷积神经网络的图像语义分割方法及其装置


[0001]本申请涉及图像处理和深度学习
，尤其涉及基于卷积神经网络的图像语义分割方法及其装置。

技术介绍

[0002]图像语义分割在计算机视觉领域有着广泛而活跃的研究，是实现场景理解的一项重要前置任务。其目的是为图像中的所有像素分配语义类别的标签，将场景图像分割解析为与语义类别相关的不同区域。
[0003]目前，在相关技术中，传统的图像图像语义分割是基于全卷积神经网络FCN模型实现语义分割的。FCN模型能够实现端到端全图像分割，具有一定的精度优势，但FCN模型侧重于图像的核心区域的图像特征，很大程度上忽略了图像的局部特征和边界特征的提取，从而导致FCN模型在复杂场景下使用FCN模型进行图像语义分割的准确度低、效果不佳。

技术实现思路

[0004]基于此，有必要针对上述问题，本申请提出了基于卷积神经网络的图像语义分割方法及其装置，通过对图像语义分割网络模型进行改进，以达到提升图像语义分割的准确度，提升图像语义分割效果的目的。
[0005]第一方面，本申请提供了一种基于卷积神经网络的图像语义分割方法，包括：
[0006]获取待处理图像，待处理图像是预先采集准备进行图像语义分割的图像；
[0007]使用预先训练好的图像语义分割网络模型对待处理图像进行图像语义分割，得到分割结果图，图像语义分割网络模型包括编码器和解码器，编码器是使用空洞卷积对卷积神经网络进行改进后得到，解码器是采用边界增强模块、金字塔池化模块和像素对齐模块组合而成多层次结构设计得到。
[0008]可选的，在第一方面的一种可能的实现方式中，卷积神经网络为残差网络ResNet50，残差网络ResNet50分为四层，其中第三层和第四层中使用的卷积为空洞卷积，每一层的输出图像均输入解码器中。
[0009]可选的，在第一方面的一种可能的实现方式中，编码器和解码器之间的连接方式如下：残差网络ResNet50中第一层的输出图像输入边界增强模块中；残差网络ResNet50中第三层的输出图像通过卷积模块控制后，与第二层的输出图像进行通道合并后输入像素对齐模块中；残差网络ResNet50中第四层的输出图像输入金字塔池化模块中，并通过金字塔池化模块后与第二层和第三层的融合输出进行通道合并后输入像素对齐模块。
[0010]可选的，在第一方面的一种可能的实现方式中，边界增强模块采用平均池化和最大池化技术设计得到，用于增加图像中目标的边界。
[0011]可选的，在第一方面的一种可能的实现方式中，金字塔池化模块中包括至少两个不同尺寸的自适应平均池化块，用于获取不同图像的多尺度特征。
[0012]可选的，在第一方面的一种可能的实现方式中，像素对齐模块采用深度可分离卷
积和上采样技术设计得到，用于获取不同尺寸特征图之间的像素关联性。
[0013]可选的，在第一方面的一种可能的实现方式中，上述图像语义分割方法还包括：基于语义分割图像数据集中的数据，使用带动量的随机梯度下降算法，对图像语义分割网络模型进行数据训练。
[0014]第二方面，本申请提供了一种图像语义分割装置，包括：
[0015]图像获取模块和图像语义分割模块；
[0016]图像获取模块，用于获取待处理图像，待处理图像是预先采集准备进行图像语义分割的图像；
[0017]图像语义分割模块，用于使用预先训练好的图像语义分割网络模型对待处理图像进行图像语义分割，得到分割结果图，图像语义分割网络模型包括编码器和解码器，编码器是使用空洞卷积对卷积神经网络进行改进后得到，解码器是采用边界增强模块、金字塔池化模块和像素对齐模块组合而成多层次结构设计得到。
[0018]第三方面，本申请提供了一种电子设备，包括：存储器和处理器，存储器上存储有可执行代码，当可执行代码被处理器所调用时，使得电子设备执行如第一方面及其实现方式中任一项所述的基于卷积神经网络的图像语义分割方法。
[0019]第四方面，本申请提供了一种计算机可读存储介质，其上存储有有可执行代码，当可执行代码被电子设备的处理器所调用时，使得电子设备执行如第一方面及其实现方式中任一项所述的基于卷积神经网络的图像语义分割方法。
[0020]本申请提供的技术方案具有以下有益效果：
[0021]本申请技术方案中，通过对图像语义分割网络模型进行改进，一方面，使用空洞卷积对卷积神经网络中的编码器进行改进，使得改进后的编码器可以将不同网络层的输出图像输出至解码器中；另一方面，解码器采用边界增强模块、金字塔池化模块和像素对齐模块组合而成多层次结构设计，使得解码器可以更好地利用编码器不同网络层的输出图像，提取图像中丰富的多尺度局部信息和全局信息，深度挖掘图像的内在联系，细化图像的语义分割结果，提升图像语义分割的准确度，提升图像语义分割效果。
[0022]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0023]通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
[0024]图1为本申请实施例中基于卷积神经网络的图像语义分割方法的一个实施例示意图；
[0025]图2为本申请实施例中图像语义分割网络模型的一个结构示意图；
[0026]图3为本申请实施例中边界增强模块的一个结构示意图；
[0027]图4为本申请实施例中金字塔池化模块的一个结构示意图；
[0028]图5为本申请实施例中像素对齐模块的一个结构示意图；
[0029]图6为本申请实施例中图像语义分割装置的一个结构示意图；
[0030]图7为本申请实施例中电子设备的一个结构示意图。
具体实施方式
[0031]下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
[0032]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0033]应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的图像语义分割方法，其特征在于，包括：获取待处理图像，所述待处理图像是预先采集准备进行图像语义分割的图像；使用预先训练好的图像语义分割网络模型对所述待处理图像进行图像语义分割，得到分割结果图，所述图像语义分割网络模型包括编码器和解码器，所述编码器是使用空洞卷积对卷积神经网络进行改进后得到，所述解码器是采用边界增强模块、金字塔池化模块和像素对齐模块组合而成多层次结构设计得到。2.根据权利要求1所述的方法，其特征在于，所述卷积神经网络为残差网络ResNet50，所述残差网络ResNet50分为四层，其中第三层和第四层中使用的卷积为所述空洞卷积，每一层的输出图像均输入所述解码器中。3.根据权利要求2所述的方法，其特征在于，所述编码器和所述解码器之间的连接方式如下：所述残差网络ResNet50中第一层的输出图像输入所述边界增强模块中；所述残差网络ResNet50中第三层的输出图像通过卷积模块控制后，与第二层的输出图像进行通道合并后输入所述像素对齐模块中；所述残差网络ResNet50中第四层的输出图像输入所述金字塔池化模块中，并通过所述金字塔池化模块后与第二层和第三层的融合输出进行通道合并后输入所述像素对齐模块。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述边界增强模块采用平均池化和最大池化技术设计得到，用于增加图像中目标的边界。5.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述金字塔池化模块中包...

【专利技术属性】
技术研发人员：周仿荣，马仪，谭向宇，文刚，张辉，马御棠，王国芳，王一帆，杨杰琼，朱龙昌，
申请(专利权)人：云南电网有限责任公司电力科学研究院，
类型：发明
国别省市：