面向遥感解译一体机的多模态信息融合推理方法及装置制造方法及图纸

本发明专利技术提供一种面向遥感解译一体机的多模态信息融合推理方法及装置，涉及遥感图像处理技术领域，可解决传统的单模态信息解译方法对解译的准确性和可信度不足的问题。该方法包括：获取待推理的两个遥感图像，两个遥感图像在同一场景下且属于不同模态；将每个遥感图像输入双分支编码器进行处理，获得每个遥感图像的通用分支特征和专有分支特征；使用特征融合模块，将两个通用分支特征进行融合，并将两个专有分支特征进行融合；将融合后的通用分支特征和融合后的专有分支特征求和后输入下游任务检测头，得到两个遥感图像在场景下的推理结果。本发明专利技术不仅在遥感解译一体机上实现了边缘部署，并且实现多模态观测信息的融合，提高了对地观测的推理精度。

【技术实现步骤摘要】

本专利技术涉及遥感图像处理，尤其涉及一种面向遥感解译一体机的多模态信息融合推理方法及装置。

技术介绍

1、随着遥感技术的不断发展，在轨遥感卫星的数量以及对地观测手段极大地丰富起来，获取到的遥感图像覆盖了多种传感器获取的多模态信息，如光学图像、雷达图像、红外图像等，同时遥感图像解译任务也逐渐向边缘化发展。如何在终端设备上能有效地利用这些多模态信息，将不同传感器获取的信息有机地融合在一起，从而提高遥感图像解译的准确性和可信度，需要考虑到不同信息源之间的关联，传统的单模态信息解译方法已经不再适用。

技术实现思路

1、鉴于传统的单模态信息解译方法对遥感图像解译的准确性和可信度不足的问题，本专利技术提供了一种面向遥感解译一体机的多模态信息融合推理方法及装置。

2、本专利技术一方面提供了一种面向遥感解译一体机的多模态信息融合推理方法，包括：步骤s1，获取待推理的两个遥感图像，所述两个遥感图像在同一场景下且属于不同模态；步骤s2，将每个所述遥感图像输入预先构建的双分支编码器进行处理，获得每个所述遥感图像的通用分本文档来自技高网...

【技术保护点】

1.一种面向遥感解译一体机的多模态信息融合推理方法，其特征在于，包括：

2.根据权利要求1所述的面向遥感解译一体机的多模态信息融合推理方法，其特征在于，在步骤S1，所述两个遥感图像是通过不同传感器获取的，且包括光学图像、雷达图像和红外图像中的任意两种。

3.根据权利要求1所述的面向遥感解译一体机的多模态信息融合推理方法，其特征在于，在步骤S2，所述双分支编码器采用基于空洞可分离卷积的轻量化CNN架构，包括：

4.根据权利要求1所述的面向遥感解译一体机的多模态信息融合推理方法，其特征在于，在所述步骤S3，所述特征融合模块通过以下方式训练得到：

...

【技术特征摘要】

1.一种面向遥感解译一体机的多模态信息融合推理方法，其特征在于，包括：

2.根据权利要求1所述的面向遥感解译一体机的多模态信息融合推理方法，其特征在于，在步骤s1，所述两个遥感图像是通过不同传感器获取的，且包括光学图像、雷达图像和红外图像中的任意两种。

3.根据权利要求1所述的面向遥感解译一体机的多模态信息融合推理方法，其特征在于，在步骤s2，所述双分支编码器采用基于空洞可分离卷积的轻量化cnn架构，包括：

4.根据权利要求1所述的面向遥感解译一体机的多模态信息融合推理方法，其特征在于，在所述步骤s3，所述特征融合模块通过以下方式训练得到：

5.根据权利要求4所述的面向遥感解译...

【专利技术属性】
技术研发人员：付琨，孙显，王智睿，赵良瑾，成培瑞，陈凯强，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人