基于跨模态融合与图神经网络的遥感影像语义分割方法技术

本发明专利技术涉及图像处理技术领域，提供了一种基于跨模态融合与图神经网络的遥感影像语义分割方法，包括：获取RGB遥感图和对应的高程图；将所述RGB遥感图和所述高程图输入第一双流编码器

【技术实现步骤摘要】
基于跨模态融合与图神经网络的遥感影像语义分割方法


[0001]本专利技术涉及图像处理
，具体而言，涉及一种基于跨模态融合与图神经网络的遥感影像语义分割方法。

技术介绍

[0002]城市规划、土地利用、环境监测对一个城市或者地区的发展至关重要，遥感影像指的是通过卫星、无人机、飞机等遥感平台获取的地球表面图像，高分辨率遥感影像具有更高的空间分辨率，可以清晰地显示地表特征，如建筑物、道路、绿地等。随着遥感技术的发展，逐渐将高分辨率遥感影像应用到城市规划、土地利用、环境监测等领域，可以更加方便地实现城市规划、土地利用、环境监测，因此，对高分辨率遥感影像进行准确的语义分割变得尤为重要。
[0003]现有技术例如传统的遥感影像语义分割方法以及基于卷积神经网络的遥感影像语义分割方法，它们的分割精确度较低。具体地，传统的遥感影像语义分割方法依赖于手工设计的特征提取器，如Gabor滤波器、局部二值模式LBP等。这些特征提取器可以捕捉图像中的纹理、边缘等信息，但在复杂场景下表现不佳。基于卷积神经网络的遥感影像语义分割方法，如使用全卷积网络、U
‑
Net等分割方法进行遥感影像语义分割时常常会遇到“椒盐现象”，“椒盐现象”是指在分割结果中出现零散、孤立的错误分类像素点，这些像素点通常与周围像素的真实类别不同，就像椒盐般散布在图像中。

技术实现思路

[0004]本专利技术解决的问题是如何提高现有技术中遥感影像语义分割的精确度。
[0005]为解决上述问题，本专利技术提供一种基于跨模态融合与图神经网络的遥感影像语义分割方法，该方法包括：
[0006]获取RGB遥感图和对应的高程图；
[0007]将所述RGB遥感图和所述高程图输入第一双流编码器
‑
解码器模块，输出第一重构特征图；
[0008]将所述第一重构特征图输入图卷积神经网络模块，输出一级分类体系预测图像；
[0009]将所述RGB遥感图、所述高程图以及所述一级分类体系预测图像输入构建好的语义分割网络，输出二级分类体系预测图像。
[0010]可选地，所述将所述RGB遥感图、所述高程图以及所述一级分类体系预测图像输入构建好的语义分割网络，输出二级分类体系预测图像包括：
[0011]将所述RGB遥感图、所述高程图输入第二双流编码器
‑
解码器模块，输出第二重构特征图；
[0012]按照类别对所述一级分类体系预测图像进行拆分，获得多个二值预测图像；
[0013]将所述第二重构特征图和多个所述二值预测图像输入分割头，输出所述二级分类体系预测图像。
[0014]可选地，所述将所述RGB遥感图、所述高程图输入第二双流编码器
‑
解码器模块，输出第二重构特征图包括：
[0015]将所述RGB遥感图和所述高程图输入第二双流编码器，依次输出多个遥感特征图以及对应的多个高程特征图；其中，多个所述遥感特征图包括第一遥感特征图、第二遥感特征图、第三遥感特征图和第四遥感特征图；多个所述高程特征图包括第一高程特征图、第二高程特征图、第三高程特征图和第四高程特征图；
[0016]在跨模态特征融合模块中分别对多个所述遥感特征图以及对应的多个所述高程特征图进行融合，获得多个融合特征图；其中，多个所述融合特征图包括第一融合特征图、第二融合特征图以及第三融合特征图；
[0017]将第四遥感特征图和第四高程特征图进行拼接，获得第一拼接特征图；
[0018]将所述第一拼接特征图输入多尺度特征提取模块，输出第一尺度特征图；
[0019]将所述第一尺度特征图以及多个所述融合特征图输入第二解码器，输出所述第二重构特征图。
[0020]可选地，所述将所述RGB遥感图和所述高程图输入第二双流编码器，依次输出多个遥感特征图以及对应的多个高程特征图包括：
[0021]分别将所述RGB遥感图和所述高程图输入串行双卷积层，获得第一遥感特征图和第一高程特征图；
[0022]分别将所述第一遥感特征图和所述第一高程特征图依次输入最大池化层、串行双卷积层，获得第二遥感特征图和第二高程特征图；
[0023]分别将所述第二遥感特征图和所述第二高程特征图依次输入最大池化层、串行双卷积层，获得第三遥感特征图和第三高程特征图；
[0024]分别将所述第三遥感特征图和所述第三高程特征图依次输入最大池化层、串行双卷积层，获得第四遥感特征图和第四高程特征图。
[0025]可选地，所述在跨模态特征融合模块中分别对多个所述遥感特征图以及对应的多个所述高程特征图进行融合，获得多个融合特征图包括：
[0026]在所述跨模态特征融合模块中对输入的所述遥感特征图和所述高程特征图进行拼接，再进行卷积处理以及形状转换，获得转换后的特征图；
[0027]提取所述转换后的特征图中不同图像块之间的特征，并再次进行形状转换以及卷积处理，获得所述融合特征图。
[0028]可选地，所述将所述第一拼接特征图输入多尺度特征提取模块，输出第一尺度特征图包括：
[0029]将所述第一拼接特征图通过并行的多个膨胀卷积层，然后拼接获得第二拼接特征图；
[0030]对所述第二拼接特征图进行全局平均池化，再通过多层感知机获得权重；
[0031]将所述权重与所述第二拼接特征图相乘，再进行卷积处理获得所述第一尺度特征图。
[0032]可选地，所述将所述第一尺度特征图以及多个所述融合特征图输入第二解码器，输出所述第二重构特征图包括：
[0033]对所述第一尺度特征图进行卷积、上采样处理，获得第二尺度特征图；
[0034]将所述第二尺度特征图与所述第三融合特征图拼接并进行卷积、上采样处理，获得第三尺度特征图；
[0035]将所述第三尺度特征图与所述第二融合特征图拼接并进行卷积、上采样处理，获得第四尺度特征图；
[0036]对所述第四尺度特征图与所述第一融合特征图拼接并进行卷积、上采样处理，获得所述第二重构特征图。
[0037]可选地，所述将所述第二重构特征图和多个所述二值预测图像输入分割头，输出所述二级分类体系预测图像包括：
[0038]将所述第二重构特征图与多个所述二值预测图像分别相乘后，再进行卷积处理，然后相加获得特征图；
[0039]将所述特征图通过串行卷积层处理，获得所述二级分类体系预测图像。
[0040]可选地，所述将所述第一重构特征图输入图卷积神经网络模块，输出一级分类体系预测图像包括：
[0041]采用SLIC方法对所述第一重构特征图进行超像素划分，获得超像素图；
[0042]基于所述超像素图构建无向图，获取所述无向图的邻接矩阵和特征矩阵；
[0043]将所述邻接矩阵和所述特征矩阵输入多层图卷积模块，输出所述一级分类体系预测图像。
[0044]可选地，所述第二双流编码器
‑
解码器模块与所述第一双流编码器
‑
解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨模态融合与图神经网络的遥感影像语义分割方法，其特征在于，包括：获取RGB遥感图和对应的高程图；将所述RGB遥感图和所述高程图输入第一双流编码器
‑
解码器模块，输出第一重构特征图；将所述第一重构特征图输入图卷积神经网络模块，输出一级分类体系预测图像；将所述RGB遥感图、所述高程图以及所述一级分类体系预测图像输入构建好的语义分割网络，输出二级分类体系预测图像。2.根据权利要求1所述的基于跨模态融合与图神经网络的遥感影像语义分割方法，其特征在于，所述将所述RGB遥感图、所述高程图以及所述一级分类体系预测图像输入构建好的语义分割网络，输出二级分类体系预测图像包括：将所述RGB遥感图、所述高程图输入第二双流编码器
‑
解码器模块，输出第二重构特征图；按照类别对所述一级分类体系预测图像进行拆分，获得多个二值预测图像；将所述第二重构特征图和多个所述二值预测图像输入分割头，输出所述二级分类体系预测图像。3.根据权利要求2所述的基于跨模态融合与图神经网络的遥感影像语义分割方法，其特征在于，所述将所述RGB遥感图、所述高程图输入第二双流编码器
‑
解码器模块，输出第二重构特征图包括：将所述RGB遥感图和所述高程图输入第二双流编码器，依次输出多个遥感特征图以及对应的多个高程特征图；其中，多个所述遥感特征图包括第一遥感特征图、第二遥感特征图、第三遥感特征图和第四遥感特征图；多个所述高程特征图包括第一高程特征图、第二高程特征图、第三高程特征图和第四高程特征图；在跨模态特征融合模块中分别对多个所述遥感特征图以及对应的多个所述高程特征图进行融合，获得多个融合特征图；其中，多个所述融合特征图包括第一融合特征图、第二融合特征图以及第三融合特征图；将第四遥感特征图和第四高程特征图进行拼接，获得第一拼接特征图；将所述第一拼接特征图输入多尺度特征提取模块，输出第一尺度特征图；将所述第一尺度特征图以及多个所述融合特征图输入第二解码器，输出所述第二重构特征图。4.根据权利要求3所述的基于跨模态融合与图神经网络的遥感影像语义分割方法，其特征在于，所述将所述RGB遥感图和所述高程图输入第二双流编码器，依次输出多个遥感特征图以及对应的多个高程特征图包括：分别将所述RGB遥感图和所述高程图输入串行双卷积层，获得第一遥感特征图和第一高程特征图；分别将所述第一遥感特征图和所述第一高程特征图依次输入最大池化层、串行双卷积层，获得第二遥感特征图和第二高程特征图；分别将所述第二遥感特征图和所述第二高程特征图依次输入最大池化层、串行双卷积层，获得第三遥感特征图和第三高程特征图；分别将所述第三遥感特征图和所述第三高程特征图依次输入最大池...

【专利技术属性】
技术研发人员：李显巨，李天屹，周引，陈伟涛，唐厂，冯如意，王力哲，陈刚，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：