基于高度感知的多路并行网络的遥感图像分割方法技术

本发明专利技术公开了一种基于高度感知的多路并行网络的遥感图像分割方法，以原始遥感图像作为网络输入，设计多路并行网络作为提取图像特征的底层网络用以提取遥感图像的多层语义特征图，同时固定每条路径中的空间分辨率；利用门控高低层特征融合方法，将低层特征图与高层特征图相互融合，同时门机制在融合过程中筛选出来自每层的有效信息；引入高度特征解码器分支，将数字地表面模型图像作为训练时的额外标签，利用学习高度几何特征作为语义上下文的亲和指导，并且该模型在测试时不需要遥感图像对应的数字地表面图像作为额外的标签；最后构建联合损失函数对多任务进行训练。本发明专利技术减少了模型的参数量，提高了遥感图像分割的准确度。提高了遥感图像分割的准确度。提高了遥感图像分割的准确度。

【技术实现步骤摘要】
基于高度感知的多路并行网络的遥感图像分割方法


[0001]本专利技术属于遥感测绘与信息工程领域，尤其涉及基于高度感知的多路并行网络的遥感图像分割方法。

技术介绍

[0002]随着高光谱遥感技术的发展，新的高光谱传感器能够同时采集具有高分辨率信息的遥感图像和具有高程信息的数字地表模型（DSM）图像，这些图像包含丰富的地物信息。遥感数据不仅反映了地物的光谱信息，且同时包含了地物的空间分布信息，因此，在农业、建筑物提取、城市规划和军事侦察等领域有着广泛的应用。遥感图像中场景复杂，图像内像素类间差异性较小，因此能否有效利用DSM图像中的高程信息，来辅助对场景与物体的理解，是对遥感图像类别进行分割与识别的关键。
[0003]遥感数据不仅包含了地物的光谱信息，还含有地物的空间分布信息。遥感图像相对于自然图像，场景复杂，类内差异性较小，给高光谱遥感图像的分割带来了挑战。传统的高光谱遥感图像分割方法仅仅利用了图像的图像信息，导致分割的准确度一直很不如人意。深度学习作为一种能够结合图像信息和高程信息的分割方法，能对高光谱遥感图像的像素类别进行准确的划分与识别，近年来被广泛应用于高光谱图像的分割任务中。在遥感图像分割领域中，以全卷积神经网络为基础的网络模型取得了巨大进展，基于全卷积神经网络的模型以能够同时对输入遥感图像和DSM图像进行不同层次的学习，浅层保留了图像分辨率信息，深层特征捕获了更丰富的语义信息，然后对学习到的语义特征和高程特征进行融合，最后通过上采样操作直接将融合后的特征图恢复成与原始输入遥感图像相同大小，得到具有高程信息指导的遥感图像分割结果。
[0004]基于全卷积网络的模型可以同时处理遥感图像和DSM图像，为高光谱遥感图像分割提供新的机制，全卷积网络可以作为一种能够结合高程信息和图像信息的分割方法能对高光谱遥感图像的地物信息进行准确的分割与识别，近年来被广泛应用于高光谱图像的分割任务中。

技术实现思路

[0005]为了解决上述
技术介绍
提到的技术问题，本专利技术提出了基于高度感知的多路并行网络(HA
‑
MPPNet)的遥感图像分割方法，用于高光谱遥感图像的分割，有效提升运算效率，减少模型的参数量，提高分割的准确度，充分利用了数字地表模型（DSM）图像来提升像素的区分能力，同时解决了实际生活的所得DSM图像与遥感图像不匹配的问题，增强了网络模型的普适性。
[0006]为了实现上述技术目的，本专利技术的技术方案为：基于高度感知的多路并行网络的遥感图像分割方法，包括以下步骤：S1、将原始遥感图像作为网络输入，设计多路并行网络提取原始遥感图像的多层语义特征图，固定每条路径中的空间分辨率；S2、利用门控高低层特征融合方法，将多层语义特征图的低层特征图
与高层特征图相互融合；同时筛选出每层的有效信息；S3、引入高度特征解码器分支，设数字地表面模型图像为训练时的额外标签，将学习到的高度几何特征作为语义上下文的指导；S4、根据语义分割和高度估计两种任务构建联合损失函数对多任务进行训练。
[0007]可选地，所述步骤S1具体包括： 首先将原始遥感图像输入两个连续的下采样模块进行下采样，其中，第二个下采样模块的通道数设置为64；然后通过最大值池化的方式完成下采样；最后通过另外两个连续的下采样模块生成多层语义特征图。
[0008]可选地，所述多路并行网络分为三个阶段和三条并行路径，在每个阶段开始时，将前一阶段获取的遥感图像特征图送入特征提取模块在维持分辨率的同时提取语义特征；每个特征提取模块包含四个残差单元，在每个阶段结束时，通过下采样模块生成新的并行路径，获取具有双采样分辨率和双通道数的高层语义特征；每条路径中的特征图的通道和分辨率在整个特征提取过程中都是固定的；最终得到三个尺度的特征图尺度分别为原始遥感图像分辨率的1/4、1/8和1/16；对应的通道数分别为64、128和256。
[0009]可选地，所述步骤S2具体包括：S21、通过双线性插值上采样和1
×
1卷积的方法将高层特征图进行重塑使其分辨率和通道数与低层特征图保持一致，表示第层特征图，C为通道数，H和W为当前特征图的高度和宽度；S22、将重塑过后的高层特征图与进行通道上的维度拼接，紧接使用通道数为C的1
×
1卷积，将输出通道数减少为C后得到门图，公式如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(1)其中 || 表示通道拼接，SE是通道挤压模块，是sigmoid函数；S23、利用得到的门图，将 与进行逐像素的相加融合，公式如下：
ꢀꢀꢀ
式(2)其中是指在通道维度上的哈达玛积，代表融合过后的特征图；S24、将融合过后的特征图继续与更低层特征图继续融合，最终自下而上逐步融合得到特征图 。
[0010]可选地，所述步骤S3具体包括：S31、将融合过后的特征图经过两个不同的3
×
3卷积分别得到语义上下文和高度特征，接着将通过和函数转变成两个子特征，对两个子特征通过内积计算得到高度相似矩阵；具体公式如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(3)其中，i和j是像素位置，T代表矩阵转置操作，为1
×
1卷积函数，为批量归一化
指数函数；S32、将产生的高度相似矩阵用作额外指导，将另一个融合高度特征和语义上下文点积相乘；再将原始语义上下文添加到获得的结果中，整个传播过程保持语义特征的尺寸大小和维度；在位置i处的高度感知语义上下文传播输出计算为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(4)其中，N是像素的总数目，为1
×
1卷积函数与批量归一化函数点积后的函数，正则化系数R设置为。
[0011]可选地，所述步骤S4具体包括： 针对语义分割和高度估计多任务学习，设计联合损失函数，具体公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(5)其中L为联合损失函数，是语义分割损失函数，是高度估计损失函数； 所述语义分割损失函数为： 式(6)其中i是像素位置，是像素类索引，表示第 i个像素属于类别C的预测概率，是像素i对应的真实值； 所述高度估计损失函数为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(7)其中和 分别表示像素i处的预测高度值和真实高度值。
[0012]采用上述技术方案带来的有益效果：本专利技术提出了基于高度感知的多路并行网络(HA
‑
MPPNet)的高光谱遥感图像分割方法。由于全卷积神经网络在获取深层语义特征时，频繁地使用下采样操作使得遥感图像中的丰富的空间和边缘信息丢失，使得分割精度降低，所以本专利技术设计多路并行网络（MPPNet）固定每条路径地空间分辨率，以保留遥感图像中的细节和边缘信息。同时设计门控特征融合方法，降低网络模型的参数量。此外合理利用DSM图像作为训练时的标签，通过在训练时学习高度特征作为语义上下文的额外指导，关键的是本专利技术在测试和实际运用时不需要遥感图像相对应的DSM图像，从而增强了网络模型的普适性。本专利技术充分利用了DSM图像的高程信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高度感知的多路并行网络的遥感图像分割方法，其特征在于，包括以下步骤： S1、将原始遥感图像作为网络输入，设计多路并行网络提取原始遥感图像的多层语义特征图，固定每条路径中的空间分辨率；S2、利用门控高低层特征融合方法，将多层语义特征图的低层特征图与高层特征图相互融合；同时筛选出每层的有效信息；S3、引入高度特征解码器分支，设数字地表面模型图像为训练时的额外标签，将学习到的高度几何特征作为语义上下文的指导；S4、根据语义分割和高度估计两种任务构建联合损失函数对多任务进行训练。2.根据权利要求1所述的一种基于高度感知的多路并行网络的遥感图像分割方法，其特征在于，所述步骤S1具体包括：首先将原始遥感图像输入两个连续的下采样模块进行下采样，其中，第二个下采样模块的通道数设置为64；然后通过最大值池化的方式完成下采样，最后通过另外两个连续的下采样模块生成多层语义特征图。3.根据权利要求2所述的一种基于高度感知的多路并行网络的遥感图像分割方法，其特征在于，所述多路并行网络分为三个阶段和三条并行路径，在每个阶段开始时，将前一阶段获取的遥感图像特征图送入特征提取模块在维持分辨率的同时提取语义特征；每个特征提取模块包含四个残差单元，在每个阶段结束时，通过下采样模块生成新的并行路径，获取具有双采样分辨率和双通道数的高层语义特征；每条路径中的特征图的通道和分辨率在整个特征提取过程中都是固定的；最终得到三个尺度的特征图尺度分别为原始遥感图像分辨率的1/4、1/8和1/16；对应的通道数分别为64、128和256。4.根据权利要求1所述的一种基于高度感知的多路并行网络的遥感图像分割方法，其特征在于，所述步骤S2具体包括：S21、通过双线性插值上采样和1
×
1卷积的方法将高层特征图进行重塑使其分辨率和通道数与低层特征图保持一致，表示第层特征图，C为通道数，H和W为当前特征图的高度和宽度；S22 、将重塑过后的高层特征图与进行通道上的维度拼接，紧接使用通道数为C的1
×
1卷积，将输出通道数减少为C后得到门图，公式如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(1)其中 || 表示通道拼...

【专利技术属性】
技术研发人员：陈苏婷，吴超群，张艳艳，许鑫，成泽华，马文妍，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：