一种基于多模态知识蒸馏传输的SAR图像分类方法技术

本发明专利技术公开了一种基于多模态知识蒸馏传输的SAR图像分类方法，涉及土地覆盖分类技术领域。本发明专利技术的基于多模态知识蒸馏传输的SAR图像分类方法，构建了一个包括教师模型和学生模型的多模态知识蒸馏模型，利用训练完成的学生模型对待测SAR图像进行分类识别。在模型在训练过程中，基于知识蒸馏传输的光学‑SAR知识迁移策略实现了不同模态图像之间以及图像文本模态之间的知识迁移，可以从遥感光学图像的教师模型中提取多级语义特征辅助SAR图像的学生模型的学习，并且以最优传输方法进行图像语义和多标签文本语义的对齐，克服了光学和SAR图像在不同环境条件下识别能力的不足，有效地提高了SAR图像多标签地物类型判别的精度。

【技术实现步骤摘要】

本专利技术属于土地覆盖分类，具体涉及一种基于多模态知识蒸馏传输的sar(synthetic aperture radar，合成孔径雷达)图像分类方法。

技术介绍

1、土地覆盖分类是遥感学科的最大挑战之一，也是大规模监测自然和人为现象的关键组成部分。随着遥感技术的飞速发展，研究人员可以通过各种传感器获得大量具有相当复杂异质性的地球观测数据。如何融合多源数据进行多模态遥感图像解译正在成为更引人关注的问题，在遥感领域数据融合中，人们广泛研究了两种模式：sar图像和遥感光学图像。

2、遥感光学图像是用数百个波段描述同一个对象，每个对象具有丰富的光谱特性，分辨率高，颜色纹理特征清晰，且获取代价低，可用于精细的地物场景分类感知和环境监测，但易受天气和光照干扰，特别是在雨、雪、云、雾等气象条件下成像质量下降严重，严重损害光谱和空间信息。与遥感光学图像不同，合成孔径雷达是一种有源微波传感器，几乎对这些因素不敏感，由于波长长，其辐射可以穿透云层、烟雾、灰尘和除强降雨以外的其他气候条件，由于这一特性，sar图像在几乎所有的天气和环境条件下都可获得。虽然sar图像可本文档来自技高网...

【技术保护点】

1.一种基于多模态知识蒸馏传输的SAR图像分类方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态知识蒸馏传输的SAR图像分类方法，其特征在于，所述训练数据集包括多个遥感光学图像和对应SAR图像的图像对，其中，所述遥感光学图像和所述SAR图像均赋有真实类别标签。

3.根据权利要求1所述的基于多模态知识蒸馏传输的SAR图像分类方法，其特征在于，所述教师模型和所述学生模型均为Vision Transformer架构。

4.根据权利要求3所述的基于多模态知识蒸馏传输的SAR图像分类方法，其特征在于，所述Vision Transformer架构包括级联...

【技术特征摘要】

1.一种基于多模态知识蒸馏传输的sar图像分类方法，其特征在于，包括：

2.根据权利要求1所述的基于多模态知识蒸馏传输的sar图像分类方法，其特征在于，所述训练数据集包括多个遥感光学图像和对应sar图像的图像对，其中，所述遥感光学图像和所述sar图像均赋有真实类别标签。

3.根据权利要求1所述的基于多模态知识蒸馏传输的sar图像分类方法，其特征在于，所述教师模型和所述学生模型均为vision transformer架构。

4.根据权利要求3所述的基于多模态知识蒸馏传输的sar图像分类方法，其特征在于，所述vision transformer架构包括级联的嵌入层、编码模块和多层感知机，所述编码模块包括多个级联的编码单元，其中，

5.根据权利要求2所述的基于多模态知识蒸...

【专利技术属性】
技术研发人员：张昊，苏钰迪，孙剑桥，陈驰宇，陈渤，王正珏，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：