一种语义分割方法及系统技术方案

本发明专利技术提供一种语义分割方法及装置，该方法包括：构建多层金字塔反卷积结构的高层特征提取网络，所述高层特征提取网络中用软概率池化层和软概率反池化层代替平均池化层；基于所述高层特征提取网络提取遥感图像中的高层特征得到特征图及标签；构建VGG网络，所述VGG网络后端采用上采样层和CRF分类器，将所述特征图及标签输入所述VGG网络中，训练得到分割模型，通过所述分割模型对遥感图像进行区域分类。通过该方案可以提高遥感图像的语义分割精度，并提高分割模型的训练速度。并提高分割模型的训练速度。并提高分割模型的训练速度。

A semantic segmentation method and system

【技术实现步骤摘要】
一种语义分割方法及系统


[0001]本专利技术涉及遥感影像处理领域，尤其涉及一种语义分割方法及系统。

技术介绍

[0002]图像语义分割作为图像处理领域的重要分支，其可以实现文字识别、车辆行人识别、地块信息识别、水域面积提取等，广泛应用于遥感监测、无人驾驶、城乡规划等领域。常见的语义分割方法包括像素点阈值区别、数学统计分析、机器学习等方法提取语义信息，由于深度卷积网络能够细致挖掘图像的底层特征并进行高效学习，通过单层反卷积网络与多层卷积网络的矢量连接，很大程度上已经能满足自动驾驶、遥感、自然语言解译的要求。深度学习能从特征挖掘角度改善了提取效果，但是图像类间差异性较小、单一特征表达不充分、高层特征提取网络框架缺失等问题依然存在困扰。
[0003]在遥感领域，高低型建筑群的区别较小，同属于建筑类光学特征、多光谱信息、空间位置信息，仅仅依赖于建筑密集程度难以区别；高速公路与桥梁的建筑材料较为像素，空谱信息区别较小，人为结合周边环境进行语义理解才能准确辨识；植被森林中存在高低植被，树木的生长周期较为相似。基于现有的深度学习框架，对这类遥感图像语义分割的准确度较低。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供了一种语义分割方法方法及系统，以解决的现有遥感图像语义分割精度低的问题。
[0005]在本专利技术实施例的第一方面，提供了一种语义分割方法，包括：
[0006]构建多层金字塔反卷积结构的高层特征提取网络，所述高层特征提取网络中用软概率池化层和软概率反池化层代替平均池化层；
[0007]基于所述高层特征提取网络提取遥感图像中的高层特征得到特征图及标签；
[0008]构建VGG网络，所述VGG网络后端采用上采样层和CRF分类器，将所述特征图及标签输入所述VGG网络中，训练得到分割模型，通过所述分割模型对遥感图像进行区域分类。
[0009]在本专利技术实施例的第二方面，提供了一种语义分割装置，包括：
[0010]模型构建模块，用于构建多层金字塔反卷积结构的高层特征提取网络，所述高层特征提取网络中用软概率池化层和软概率反池化层代替平均池化层，并构建VGG网络，所述VGG网络后端采用上采样层和CRF分类器；
[0011]训练模块，用于基于所述高层特征提取网络提取遥感图像中的高层特征得到特征图及标签，将所述特征图及标签输入所述VGG网络中，训练得到分割模型；
[0012]分割模块，用于通过所述分割模型对遥感图像进行区域分类。
[0013]在本专利技术实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本专利技术实施例第一方面所述方法的步骤。
[0014]在本专利技术实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本专利技术实施例第一方面提供的所述方法的步骤。
[0015]本专利技术实施例中，基于多层金字塔反卷积结构的高层特征提取网络，可以减少细节特征丢失，利用软概率池化层和软概率反池化层代替平均池化层可以保留空间位置信息，能保证池化过程空间坐标的一致性，有利于高层语义特征的挖掘和整理，进而提升语义分割精度，结合VGG迁移网络可以提高模型训练速度。
附图说明
[0016]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
[0017]图1为本专利技术的一个实施例提供的一种语义分割方法的流程示意图；
[0018]图2为本专利技术的一个实施例提供的软概率反池化过程示意图；
[0019]图3为本专利技术的一个实施例提供的高层特征提取网络结构示意图；
[0020]图4为本专利技术的一个实施例提供的改进型高层特征提取网络结构示意图；
[0021]图5为本专利技术的一个实施例提供的一种语义分割装置的结构示意图。
具体实施方式
[0022]为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本专利技术一部分实施例，而非全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。
[0023]本专利技术的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。
[0024]请参阅图1，本专利技术实施例提供的一种语义分割方法的流程示意图，包括：
[0025]S101、构建多层金字塔反卷积结构的高层特征提取网络，所述高层特征提取网络中用软概率池化层和软概率反池化层代替平均池化层；
[0026]构建多层金字塔反卷积结构的图像高层特征提取网络，其中，该高层特征提取网络设置为单线无分支网络模型，有利于提高网络训练速度。采用多层金字塔结构可减少网络传递过程中细节特征丢失。
[0027]如图3所示，在构建多层反卷积金字塔结构中，对第一层池化后的特征图和反池化特征图都进行细致反卷积操作，然后导入第二层的卷积池化结构，对第二层卷积特征图、池化后的特征图、反池化特征图都进行细致反卷积操作得到feature map。为减少算法的参数、硬件消耗、防止欠拟合现象，避免了将网络深度的延展，而采用纵向的扩展，模拟金字塔
的稳定结构来搭建多层反卷积结构。
[0028]使用软概率池化层和软概率反池化层代替平均池化层，能同时保留反最大池化和反平均池化的优势。
[0029]具体的，在软概率反池化层中，基于初始池化坐标矩阵，计算每个滑块(滑动窗口)中各元素的概率；
[0030][0031]式中，a
i
表示滑块中的某一元素，p
i
表示元素概率，a
k
表示第k个元素，k∈R
j
，R
j
为窗口所有元素个数；
[0032]计算每个元素概率与最大元素的差异；
[0033]Δ＝p
i
‑
p
max
；
[0034]若Δ值在预设范围(如
±
0.15)内，则保存坐标信息和概率信息组成池化坐标矩阵。如图2所示，软概率池化过程还原池化坐标矩阵的元素，其余为止按照0填充，既保证来空间信息的一致性，同时保留了部分重要信息突出高层语义的边界信息。
[0035]S102、基于所述高层特征提取网络提取遥感图像中的高层特征得到特征图及标签；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义分割方法，其特征在于，包括：构建多层金字塔反卷积结构的高层特征提取网络，所述高层特征提取网络中用软概率池化层和软概率反池化层代替平均池化层；基于所述高层特征提取网络提取遥感图像中的高层特征得到特征图及标签；构建VGG网络，所述VGG网络后端采用上采样层和CRF分类器，将所述特征图及标签输入所述VGG网络中，训练得到分割模型，通过所述分割模型对遥感图像进行区域分类。2.根据权利要求1所述的方法，其特征在于，所述高层特征提取网络为单线无分支网络。3.根据权利要求1所述的方法，其特征在于，所述构建多层金字塔反卷积结构的高层特征提取网络，所述高层特征提取网络中用软概率池化层和软概率反池化层代替平均池化层包括：在软概率反池化层中，基于初始池化坐标矩阵，计算每个滑块中各元素的概率；计算每个元素概率与最大元素概率的差异值；若差异值在预定范围内则保存元素坐标信息和概率信息组成池化坐标矩阵。4.根据权利要求1所述的方法，其特征在于，所述将所述特征图及标签输入所述VGG网络中，训练得到分割模型包括：将所述特征图及标签输入所述VGG网络中，更新所述VGG网络权重，并根据所述VGG网络的损失函数判断所述分割模型的可行性。5.一种语义分割装置，其特征在于，包括：模型构建模块，用于构建多层金字塔反卷积结构的高层特征提取网络，所述高层特征提取网络中用软概率池化层和软概率反池化层代替平均池化层，并构建VGG网络，所述VGG网络后端采用上...

【专利技术属性】
技术研发人员：罗冷坤，董朝阳，姜益民，
申请(专利权)人：武汉光谷信息技术股份有限公司，
类型：发明
国别省市：