一种图神经网络与Mamba模型结合的U型多模态融合分割方法技术

本发明专利技术提出一种图神经网络与Mamba模型结合的U型多模态融合分割方法，属于遥感图像多模态融合分割领域。首先，获取并标记遥感图像集，并将它们切分为训练集、验证集。然后，构建多模态融合分割网络，主体架构包括编码器、融合层、解码器和分割头。再者，进行类别平衡与增强，然后在多模态融合分割网络中进行训练。最后，将遥感图像全集分割并输入到网络中，得到语义分割结果。详细过程包括各种特征表示和融合模块的构建。构建网络的编码和解码部分用的是Mamba‑Graph结合的方式。本发明专利技术考虑了不同模态的特点，充分利用模态间的互补性，建立跨模态之间的长距离依赖。缓解由于模态间的不兼容性而导致的较差特征表示。

【技术实现步骤摘要】

本专利技术属于遥感图像多模态融合分割领域，更具体的说涉及一种图神经网络与mamba模型结合的u型多模态融合分割方法。

技术介绍

1、遥感作为对地观测的重要手段，收集海量地物数据。准确的遥感图像语义分割则是利用这些数据的关键。多模态融合分割方法因能充分利用现有数据，达到相对传统单模态技术更优异的性能而引起广泛的关注，然而现有方法大多基于cnn与transformer架构，这导致全局-局部建模能力受限、计算复杂度过高而不能支持较大图片的输入。

2、此外，现有的多模态融合分割方法还存在一些其他的问题。例如，该类方法往往依赖于大量的已标注数据，而在实际的遥感图像处理任务中，获取大量高质量的已标注数据是非常困难的。另一方面，现有的多模态融合分割方法大多采用手动调整的方式来进行参数优化，这不仅工作量大，而且可能会导致分割性能的降低。

技术实现思路

1、本专利技术提出了一种图神经网络与mamba模型结合的u型多模态融合分割方法。能够解决以下问题：基于纯cnn方法全局建模能力不足。基于cnn+transforme本文档来自技高网...

【技术保护点】

1.一种图神经网络与Mamba模型结合的U型多模态融合分割方法，其特征在于：所述的方法包括：

2.根据权利要求1所述的一种图神经网络与Mamba模型结合的U型多模态融合分割方法，其特征在于：所述的构建多模态融合分割网络的编码部分采用Mamba-Graph结合的方式；

3.根据权利要求1所述的一种图神经网络与Mamba模型结合的U型多模态融合分割方法，其特征在于：所述的构建多模态融合分割网络包括以下步骤：

4.根据权利要求1所述的一种图神经网络与Mamba模型结合的U型多模态融合分割方法，其特征在于：所述的编码器前三层由Mamba构成，编码器最后一层由G...

【技术特征摘要】

1.一种图神经网络与mamba模型结合的u型多模态融合分割方法，其特征在于：所述的方法包括：

2.根据权利要求1所述的一种图神经网络与mamba模型结合的u型多模态融合分割方法，其特征在于：所述的构建多模态融合分割网络的编码部分采用mamba-graph结合的方式；

3.根据权利要求1所述的一种图神经网络与mamba模型结合的u型多模态融合分割方法，其特征在于：所述的构建多模态融合分割网络包括以下步骤：

4.根据权利要求1所...

【专利技术属性】
技术研发人员：刘明华，刘鸿荣，邵洪波，渠连恩，范晓雨，李文静，
申请(专利权)人：青岛科技大学，
类型：发明
国别省市：