一种基于Mamba和Transformer架构融合的遥感图像语义分割方法技术

本发明专利技术公开一种基于Mamba和Transformer架构融合的遥感图像语义分割方法，包括以下步骤：S1.数据预处理；S2.MAE预训练模型；S3.初步特征提取，MAE处理后的图像通过线性投影、卷积层、非线性激活函数进行初步特征提取，得到一个低维特征图；S4.CFF特征融合，将低维特征图和MAE处理后的图像利用CFF模块进行融合；S5.Mamba‑T模块的特征增强，将融合后的图像的特征图输入到Mamba‑T模块中进行操作，得到图像进一步的特征增强；S6.多尺度特征提取；S7.分割模块，特征图输入到Mask2Former分割模块进行最终的图像分割；S8.输出与后处理。不仅能够捕捉图像中的局部和全局特征，还通过自适应的注意力机制和卷积操作的结合，有效解决了细小水体和复杂背景下的分割问题。

【技术实现步骤摘要】

本专利技术属于遥感图像语义分割，具体涉及基于mamba结构的编码器和transformer结构解码器的遥感图像语义分割方法。

技术介绍

1、随着遥感技术的发展，高分辨率遥感图像在水资源管理、环境监测和灾害预警等领域得到了广泛的应用。然而，现有的遥感图像处理技术在针对水体的精确提取方面仍然存在诸多挑战。特别是，在面对细小水体和复杂背景(如植被、交界区域)时，现有方法的精度和效率常常不足。

2、当前，主流的水体提取技术大多基于深度学习中的卷积神经网络(cnns)，通过对图像进行多层卷积处理，从中提取水体的特征。这类方法虽然在大尺度水体提取中取得了不错的效果，但在处理细小水体时常常表现不佳，原因在于卷积操作的局部性使其难以捕捉到跨越长距离的上下文依赖关系。此外，传统的卷积神经网络在面对复杂背景和噪声时容易导致误分割，尤其是在具有高反射率物体或植被的区域，水体的边界模糊不清，影响了分割结果的精度。

3、此外，由于高分辨率遥感图像数据量大，计算复杂度高，现有技术在处理这类数据时效率较低。尤其在需要实时处理的场景下，现有的方法显得力不从心，无法本文档来自技高网...

【技术保护点】

1.一种基于Mamba和Transformer架构融合的遥感图像语义分割方法，其特征在于，包括以下步骤：

2.如权利要求1所述基于Mamba和Transformer架构融合的遥感图像语义分割方法，其特征在于，步骤S1中进行归一化处理、数据增强和噪声去除操作，提升图像的质量，减少噪声对后续特征提取的影响，同时增强模型的泛化能力，

3.如权利要求1所述的基于Mamba和Transformer架构融合的遥感图像语义分割方法，其特征在于,步骤S2中，输入图像X的某些部分被随机选择进行遮盖，掩码比例为75％，具体的掩码操作是通过随机选择图像中的一部分像素区域，并将这些区域设...

【技术特征摘要】

1.一种基于mamba和transformer架构融合的遥感图像语义分割方法，其特征在于，包括以下步骤：

2.如权利要求1所述基于mamba和transformer架构融合的遥感图像语义分割方法，其特征在于，步骤s1中进行归一化处理、数据增强和噪声去除操作，提升图像的质量，减少噪声对后续特征提取的影响，同时增强模型的泛化能力，

3.如权利要求1所述的基于mamba和transformer架构融合的遥感图像语义分割方法，其特征在于,步骤s2中，输入图像x的某些部分被随机选择进行遮盖，掩码比例为75％，具体的掩码操作是通过随机选择图像中的一部分像素区域，并将这些区域设置为零，定义掩码矩阵m，其中m(i,j)＝1表示位置(i,j)处的像素未被遮盖，m(i,j)＝0则表示该位置的像素被掩盖，掩码后的图像xmasked表示为：

4.如权利要求1所述的基于mamba和transformer架构融合的遥感图像语义分割方法，其特征在于，步骤s3中，然后将经过mae预训练输出的zencoded图像特征作为输入再进行特征提取，包括线性投影、卷积操作和非线性激活函数，投影操作计算公式为：

5.如权利要求1所述的基于mamba和transformer架构融合的遥感图像语义分割方法，其特征在于，步骤s4中，cff模块被用于融合来自mae预训练和经过投影、卷积、激活函数两个不...

【专利技术属性】
技术研发人员：吴庆国，于永涛，张蓝天，卢伟彬，黄龙，顾函竹，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：