一种基于多模态特征对齐的遥感影像融合分类方法技术

本发明专利技术公开了一种基于多模态特征对齐的遥感影像融合分类方法，充分利用了卷积神经网络从不同的模态中提取特征，并使用Transformer网络作为特征融合框架；对传统的交叉注意方法进行了改进，使其更适合于高光谱影像与LiDAR数据的融合分类任务；同时，为了解决输入到Transformer时不同模态特征不对齐导致多模态编码器难以学习和建模其相互作用的问题，提出了一种将多模态特征模块对齐的方法，使后续多模态Transformer更容易进行跨模态学习；针对当前网络训练中不同标签的多模态样本利用效率不高的问题，提出了一种基于最难负样本对比学习方法的特征匹配模块；有效提高了融合分类的精度。

【技术实现步骤摘要】

本专利技术涉及多源遥感影像处理领域，尤其是一种能有效发掘不同模态间的特征交互性、融合质量好、分类精度高的基于多模态特征对齐的遥感影像融合分类方法。

技术介绍

1、近年来，在科技进步的推动下，遥感技术进入了一个新的发展阶段。对地观测平台和遥感传感器的普及，简化了同一地理区域内不同特征遥感数据的获取过程。在众多类型的传感器中，高光谱影像以其连续而广泛的光谱细节、优越的表面覆盖和卓越的目标检测能力而脱颖而出。另一方面，光探测和测距(lidar)数据捕获高程信息，能够区分光谱响应相似但高度不同的地物。若能通过整合高光谱影像和lidar数据，充分利用这些信息来协同完成地物分析，则有利于融合两类传感器的优势，实现智能处理算法性能的有效提高，进而更加全面地对地物信息进行解析。目前，基于高光谱影像与lidar数据的融合已成为土地利用/土地覆盖分类研究领域的一个突出研究重点，在各个领域都有广泛的应用。

2、在早期研究阶段，高光谱影像与lidar数据的融合通常遵循特征提取、特征变换和基于权值的融合策略。ghamisi等人分别对高光谱影像的第一主成分分析(first本文档来自技高网...

【技术保护点】

1.一种基于多模态特征对齐的遥感影像融合分类方法，其特征在于按如下步骤进行：

【技术特征摘要】

1.一种基于多模态特征对齐的遥感影像融...

【专利技术属性】
技术研发人员：王相海，冯一宁，金嘉蕊，殷茵，宋传鸣，
申请(专利权)人：辽宁师范大学，
类型：发明
国别省市：