基于神经网络的遥感图像分类方法、计算设备及存储介质技术

本发明专利技术提供一种基于神经网络的遥感图像分类方法、计算设备及存储介质，所述方法包括：搭建几何结构感知的神经网络分类模型；使用包含真实分类标签的遥感图像样本对所述几何结构感知的神经网络分类模型进行训练，并得到训练后的神经网络分类模型；基于训练后的神经网络分类模型构建神经网络分类系统，并设计所述神经网络分类系统用于交互的输入模块与输出模块；通过所述输入模块输入遥感图像，并由训练后的神经网络分类模型进行分类处理，得到可感知几何的分割图，再由所述输出模块输出。本发明专利技术的模型以DSM图像作为辅助监督进行训练，而在推理阶段，不需要DSM图像数据并直接预测出可感知几何结构的语义标签。出可感知几何结构的语义标签。出可感知几何结构的语义标签。

【技术实现步骤摘要】
基于神经网络的遥感图像分类方法、计算设备及存储介质


[0001]本专利技术涉及神经网络和图像处理领域，尤其涉及一种基于神经网络的遥感图像分类方法、计算设备及存储介质。

技术介绍

[0002]语义分割问题，通常在遥感领域中被称为图像分类，通常定义为确定输入图像中所有像素的语义类别。自动语义分割是遥感领域的一个长期存在的问题，在各种应用中起着至关重要的作用，例如土地使用/土地覆盖图，农业生产估算，建筑物提取，城市规划等。近年来，由于卷积神经网络(CNN)在许多应用中的出色表现，在遥感和摄影测量中引起了极大的关注。令人鼓舞的性能促使研究人员开发基于CNN的遥感图像(RSI)语义标记方法。在这个方向上，早期的工作是采用基于补丁的CNN对每个输入补丁的中心像素进行分类。最近的方法大多使用全卷积网络执行逐像素分割。研究人员开发了用于遥感图像分类的全卷积模型。大量研究试图通过使用功能更强大的编码器网络，使用膨胀的卷积模块或使用功能更强大的输出表示来提高性能。
[0003]众所周知，遥感图像中的物体具有复杂的光谱空间特性，需要全面的特征提取过程以确保分类性能。尽管如此，现有的基于CNN的方法主要集中在使用单个编码器
‑
解码器网络进行频谱和上下文特征提取的过程中，而几何特征(例如，地面以上的高度，隐式3D结构)却常常未被充分研究。解决此问题的直接方法是将与几何相关的数据(例如DSM，Digital Surface Model)明确纳入其他输入。一些学者通过融合RGB图像和高程合成图像(NVDI，DSM，nDSM)中的特征表示来增强遥感图像的分割性能。他们提出了一种同时学习频谱和辅助几何特征的两流网络，并利用残差校正模块融合来自两个编码器网络的特征。但是，以前的方法大多采用3D高程信息作为附加输入。在许多实际应用中，手头没有相应的DSM信息，并且所获取的DSM图像的空间分辨率通常与航拍图像不匹配。

技术实现思路

[0004]为了解决上述至少一个技术问题，本专利技术提出了一种基于神经网络的遥感图像分类方法、计算设备及存储介质。
[0005]为了实现上述目的，本专利技术第一方面提出了一种基于神经网络的遥感图像分类方法，所述方法包括：
[0006]搭建几何结构感知的神经网络分类模型；
[0007]使用包含真实分类标签的遥感图像样本对所述几何结构感知的神经网络分类模型进行训练，并得到训练后的神经网络分类模型；
[0008]基于训练后的神经网络分类模型构建神经网络分类系统，并设计所述神经网络分类系统用于交互的输入模块与输出模块；
[0009]通过所述输入模块输入遥感图像，并由训练后的神经网络分类模型进行分类处理，得到可感知几何的分割图，再由所述输出模块输出。
[0010]本方案中，上述几何结构感知的神经网络分类模型通过联合高度估计实现对遥感图像的分类，其包括一个共享的编码器网络，一个用于语义分类的解码器网络和一个用于高度估计的解码器网络。
[0011]本方案中，共享的编码器网路采用ResNet
‑
101作为骨干网络，在骨干网络之后附加了一个空间金字塔池模块，以融合多尺度特征得到高级别特征，并所述高级别特征与骨干网络中具有相同分辨率的低级别特征相拼接，得到组合的特征图。
[0012]本方案中，在得到组合的特征图之后，所述方法还包括：
[0013]将组合的特征图送到两个单独的3x 3卷积层，以分别学习用于语义分割和高度估计的独立特征表示；
[0014]在上述用于语义分类的解码器网络增设一个几何结构感知卷积模块，由所述几何结构感知卷积模块融合高度估计分支中的3D几何特征和语义分割分支中的2D上下文特征，以进行几何结构感知语义标记；
[0015]基于融合的特征嵌入生成具有增强性能的可感知几何的分割图。
[0016]本方案中，所述空间金字塔池化模块接收所述骨干网络输出的卷积特征图作为输入，然后分别使用一个全局平均池化层、一个1x1卷积层、以及3个空洞率分别为6、8、12的3x3卷积层来提取多尺度特征图，并将输出的多尺度特征图进行拼接；然后使用3x3卷积层、BatchNormalization层、ReLU层对拼接后的特征图进行特征提取，输出最终组合的特征图。
[0017]本方案中，在将组合的特征图送到两个单独的3x 3卷积层之后，所述方法还包括：
[0018]在高度估计的解码器网络分支，组合的特征图经过单独的3x 3卷积层学习得到独立的几何嵌入特征图；
[0019]将所述几何嵌入特征图送到两个卷积层中以获得两个子嵌入特征图；
[0020]通过两个子嵌入特征图的点积运算生成几何相似度矩阵；
[0021]通过点积运算将几何相似度矩阵与语义特征融合在一起，得到融合信息；
[0022]将所述融合信息通过元素求和与上下文特征结合在一起以产生可感知几何的分割图。
[0023]本方案中，所述几何结构感知卷积模块的公式：
[0024]给定一个输入特征图x和对应的几何特征G，其中H、W、E分别表示特征图x的宽度、高度和通道数，几何结构感知卷积模块输出公式表示为：
[0025][0026]其中，σ为激活函数，为像素i的邻域点索引，x
j
为邻域点，b为偏置项；W
ij
表示卷积核权重，其度量了像素i和像素j之间的几何相似性；W
ij
的计算公式如下：
[0027]W
ij
(G)＝φ(G
i
)
·
ψ(G
j
)；
[0028]其中和ψ(
·
)分别表示子空间特征，G
i
和G
j
分别为像素i，j的几何特征；
[0029]结合上述两个公式，得到最终几何结构感知卷积模块的计算公式：
[0030][0031]本方案中，上述几何结构感知的神经网络分类模型受到语义分割分支和高度估计
分支的监督，总损失函数公式为：
[0032][0033]其中表示分割损失，表示高度估计损失，λ是用于平衡这两个损失项的超参数；
[0034]对于语义分割任务，利用加权的交叉熵损失来训练语义分割的解码器网络，其中将类别频率的倒数用作该类所有像素的平衡权重，语义分割损失函数计算公式为：
[0035][0036]其中i表示像素位置，c表示类别索引，l
i
是像素i的地面真值标签，p
ic
是像素i属于类别c的预测概率，w
i
表示像素i的权重；
[0037]对于高度估计任务，采用L1损失来训练高度估计的解码器网络，高度估计损失函数计算公式为：
[0038][0039]其中和H
i
表示像素i的预测高度和真实高度。
[0040]本专利技术第二方面还提出一种计算设备，所述计算设备包括：存储器及处理器，所述存储器中包括一种基于神经网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的遥感图像分类方法，其特征在于，所述方法包括：搭建几何结构感知的神经网络分类模型；使用包含真实分类标签的遥感图像样本对所述几何结构感知的神经网络分类模型进行训练，并得到训练后的神经网络分类模型；基于训练后的神经网络分类模型构建神经网络分类系统，并设计所述神经网络分类系统用于交互的输入模块与输出模块；通过所述输入模块输入遥感图像，并由训练后的神经网络分类模型进行分类处理，得到可感知几何的分割图，再由所述输出模块输出。2.根据权利要求1所述的一种基于神经网络的遥感图像分类方法，其特征在于，上述几何结构感知的神经网络分类模型通过联合高度估计实现对遥感图像的分类，其包括一个共享的编码器网络，一个用于语义分类的解码器网络和一个用于高度估计的解码器网络。3.根据权利要求2所述的一种基于神经网络的遥感图像分类方法，其特征在于，共享的编码器网路采用ResNet
‑
101作为骨干网络，在骨干网络之后附加了一个空间金字塔池模块，以融合多尺度特征得到高级别特征，并所述高级别特征与骨干网络中具有相同分辨率的低级别特征相拼接，得到组合的特征图。4.根据权利要求3所述的一种基于神经网络的遥感图像分类方法，其特征在于，在得到组合的特征图之后，所述方法还包括：将组合的特征图送到两个单独的3x3卷积层，以分别学习用于语义分割和高度估计的独立特征表示；在上述用于语义分类的解码器网络增设一个几何结构感知卷积模块，由所述几何结构感知卷积模块融合高度估计分支中的3D几何特征和语义分割分支中的2D上下文特征，以进行几何结构感知语义标记；基于融合的特征嵌入生成具有增强性能的可感知几何的分割图。5.根据权利要求3所述的一种基于神经网络的遥感图像分类方法，其特征在于，所述空间金字塔池化模块接收所述骨干网络输出的卷积特征图作为输入，然后分别使用一个全局平均池化层、一个1x1卷积层、以及3个空洞率分别为6、8、12的3x3卷积层来提取多尺度特征图，并将输出的多尺度特征图进行拼接；然后使用3x3卷积层、BatchNormalization层、ReLU层对拼接后的特征图进行特征提取，输出最终组合的特征图。6.根据权利要求4所述的一种基于神经网络的遥感图像分类方法，其特征在于，在将组合的特征图送到两个单独的3x 3卷积层之后，所述方法还包括：在高度估计的解码器网络分支，组合的特征图经过单独的3x 3卷积层学习得到独立的几何嵌入特征图；将所述几何嵌入特征图送到两个卷积层中以获得两个子嵌入特征图；通过两个子嵌入特征图的点积运算生成几何相似度矩阵；通过点积运算将几何相似度矩阵与...

【专利技术属性】
技术研发人员：贺忠华，樊高峰，何月，李祥，蔡菊珍，方贺，张育慧，张小伟，周楠，
申请(专利权)人：南通科遥软件科技有限公司，
类型：发明
国别省市：