基于分布一致性约束的遥感多模态多空间泛函映射方法技术

技术编号:39935657 阅读:17 留言:0更新日期:2024-01-08 22:09
本发明专利技术提供一种基于分布一致性约束的遥感多模态多空间泛函映射方法,可以解决现有方法无法充分挖掘每个模态的本质特征,以及不同模态间存在的语义鸿沟对特征融合的影响的问题。该方法首先分别在欧式空间和复数空间提取光学图像和SAR图像的模态本质特征,然后通过泛函约束将两个空间内的模态本质特征映射到同一个低维的特征空间,确保跨模态对应特征的相似性,从而减小语义鸿沟的影响;同时使用重构损失约束保证不同模态的独特性。其次,通过对映射后两个模态特征相似度进行一致性约束,更充分地融合两个模态的有用信息。通过这种方式,可以从不同传感器的成像机理出发挖掘模态内的本质特征,通过泛函映射实现不同模态特征的分域降维,跨域融合。

【技术实现步骤摘要】

本专利技术涉及遥感,尤其涉及一种基于分布一致性约束的遥感多模态多空间泛函映射方法及装置。


技术介绍

1、近些年,随着遥感技术的快速发展,遥感数据量呈指数增长,且为对地观测提供了多样化的数据。不同的传感器能够捕捉不同的地物特性,例如光学图像可以更加真实、直观的描述地物目标的纹理、颜色等细节信息,而sar图像反应不同地物不同的散射特性。然而由于不同传感器的成像差异,不同模态的图像也存在不同的固有缺点,如光学图像易受云雾遮挡、天气等因素的影响,sar图像中存在透视收缩、散斑噪声等问题。因此如何缩小语义鸿沟、更充分地利用多模态的数据提供的信息进行精细化解译极具重要的研究意义。

2、最简单的融合方法包括直接求和或沿通道对特征进行拼接,pscnn以及mrsdc方法采用沿通道拼接的融合方式融合两个模态的信息,fusenet和v_fusenet则采用直接相加的方式融合两个模态特征,这种融合方式忽略了模态间的语义鸿沟从而导致分割效果差强人意。为了进一步增强特征融合,一些学者提出了基于注意力的网络。mbfnet 提出了一个全局平均池化和全局最大池化的双线性注意力模本文档来自技高网...

【技术保护点】

1.一种基于分布一致性约束的遥感多模态多空间泛函映射方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在步骤S1,所述光学图像和SAR图像由不同的传感器成像得到。

3.根据权利要求1所述的方法,其特征在于,在步骤S2,所述在欧式空间提取所述光学图像的第一模态本质特征,包括:

4.根据权利要求1所述的方法,其特征在于,在步骤S2,所述在复数空间提取所述SAR图像的第二模态本质特征,包括:

5.根据权利要求1所述的方法,其特征在于,所述步骤S3具体包括:

6.一种基于分布一致性约束的遥感多模态多空间泛函映射装置,其...

【技术特征摘要】

1.一种基于分布一致性约束的遥感多模态多空间泛函映射方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在步骤s1,所述光学图像和sar图像由不同的传感器成像得到。

3.根据权利要求1所述的方法,其特征在于,在步骤s2,所述在欧式空间提取所述光学图像的第一模态本质特征,包括:

4.根据权利要...

【专利技术属性】
技术研发人员:付琨孙显刁文辉肖思宁申志平王佩瑾王萌雨
申请(专利权)人:中国科学院空天信息创新研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1