【技术实现步骤摘要】
本专利技术属于图像处理，涉及多模态遥感图像语义分割方法，尤其涉及一种基于互补提示提高多源遥感图像语义分割性能的方法和系统。
技术介绍
1、近年来，成像方式的多样化导致了遥感图像的多元化，例如高分二号、worldview-2、sentinel-2等卫星能够获取光学图像，高分三号、terrasar-x、sentinel-1等卫星能够获取合成孔径雷达(sar)图像。虽然不同模态的遥感图像为地球观测提供更加全面的描述，但其异质性也为遥感图像解译带来了全新的挑战。随着深度学习技术的发展，多模态遥感基础模型凭借海量的训练数据以及庞大的模型参数量，在遥感领域中的众多下游任务中表现优异。然而，这些基础模型方法过分追求跨模态影像特征的统一表示，往往忽略了不同模态特征间的信息交流与提示作用。一些研究通过解耦合多模态数据特征的共有部分与特有部分，虽然一定程度上加强了各模态的特征表达，但仍然没有摆脱模态特有特征提取器的局限性，或者通过一个统一的编码器实现多模态特征的融合，但其性能会因数据的异质性而骤降。
技术实现思路
...【技术保护点】
1.一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于，包括以下具体步骤：
2.如权利要求1所述一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于：步骤4中，互补提示生成器的具体处理过程为：以多模态特征中的一个为主模态，另一个作为提示模块，通过与作差得到模态间差异化特征，并利用通道注意力机制对于差异化特征进行全局平均池化，得到通道权重，利用通道权重与对应的多模态特征进行加权，然后经过多层感知机，生成对于主模态的互补视觉提示C1；切换主模态和提示模态，以获得另一互补视觉提示C2。
3.如权利要求1所述一种基于互补提示提高多...
【技术特征摘要】
1.一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于，包括以下具体步骤：
2.如权利要求1所述一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于：步骤4中，互补提示生成器的具体处理过程为：以多模态特征中的一个为主模态，另一个作为提示模块，通过与作差得到模态间差异化特征，并利用通道注意力机制对于差异化特征进行全局平均池化，得到通道权重，利用通道权重与对应的多模态特征进行加权，然后经过多层感知机，生成对于主模态的互补视觉提示c1；切换主模态和提示模态，以获得另一互补视觉提示c2。
3.如权利要求1所述一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于：互补提示生成器并列位于双分支特征编码器的每一层中。
4.如权利要求1所述一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于：模态特征融合模块的处理过程如下；
5.如权利要求1所述一种基于互补提示提高多源遥感图像语义分割性能的方法，其特征在于：训练双分支特征编码器和解码器时，图像块嵌入层与transformer block的参数不进行梯度更新。
6.如权利要求1所述一种基于互补提示提高多源遥感...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。