隐式Transformer高-多光谱遥感融合方法技术

本发明专利技术属于图像处理技术领域，涉及隐式Transformer高‑多光谱遥感融合方法，通过预编码模块、引导式特征融合和隐式Transformer模块协同以实现高光谱与多光谱遥感图像融合，在融合过程中充分利用图像的光谱和空间信息。其中，预编码模块通过并联的卷积层对高光谱遥感和多光谱遥感图像进行浅层编码，以提取图像的光谱和空间特征；引导式特征融合模块利用编码后的多光谱遥感图像引导高光谱遥感图像进行上采样，生成初步融合结果；隐式Transformer模块对初步融合结果进行整合，生成高质量融合图像。本发明专利技术融合方法还引入了生成对抗框架增强了融合图像谱表达能力，实现了高光谱与多光谱遥感图像的信息互补。

【技术实现步骤摘要】

本专利技术属于图像处理，具体涉及一种联合隐式transformer的高光谱与多光谱遥感图像融合方法。

技术介绍

1、高光谱遥感图像（hsi）因其丰富的光谱分辨率，现已广泛应用于环境监测、土地分类和灾害检测等领域。然而，受传感器物理条件的限制，hsi通常具有较低的空间分辨率。具体而言，当侧重于光谱分辨率时，可通过增加光谱波段的数量以获取更丰富的光谱信息，但这会削弱空间分辨率，限制了hsi的应用潜力。相较之下，多光谱遥感图像（msi）具有较低的光谱分辨率和更高的空间分辨率，能更完整地描述土地覆盖的形态和分布。在许多实际应用中，需要同时具备高空间和高光谱分辨率特性。为满足高空间和高光谱分辨率需求，常采用图像融合技术，将不同传感器获取的同场景数据进行融合，提取有利信息，进而重建高空间和高光谱分辨率的遥感图像（hr-hsi）。

2、深度学习方法因其多层结构具有强大非线性拟合能力，在高光谱与多光谱遥感图像融合方面往往优于传统方法。但是，现有深度学习方法在融合过程中通常以离散的形式实现像素级融合，而对于人类视觉来说，场景是以连续的形式表达。因此，在融合过程中本文档来自技高网...

【技术保护点】

1.隐式Transformer高-多光谱遥感融合方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的隐式Transformer高-多光谱遥感融合方法，其特征在于：步骤S1中，处理后的图像被用作模拟低分辨率输入的高光谱图像和多光谱图像，原始高光谱图像则被保留作为参考图像。

3.根据权利要求1所述的隐式Transformer高-多光谱遥感融合方法，其特征在于：步骤S2中，所述预编码模块能够将高光谱图像和多光谱图像的特征映射至相同的光谱维度，实现图像转换成为抽象的表征形式，具体地，预编码模块通过设置两个并联的卷积层捕捉高光谱图像和多光谱图像中的局部浅层特征，将其转...

【技术特征摘要】

1.隐式transformer高-多光谱遥感融合方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的隐式transformer高-多光谱遥感融合方法，其特征在于：步骤s1中，处理后的图像被用作模拟低分辨率输入的高光谱图像和多光谱图像，原始高光谱图像则被保留作为参考图像。

3.根据权利要求1所述的隐式transformer高-多光谱遥感融合方法，其特征在于：步骤s2中，所述预编码模块能够将高光谱图像和多光谱图像的特征映射至相同的光谱维度，实现图像转换成为抽象的表征形式，具体地，预编码模块通过设置两个并联的卷积层捕捉高光谱图像和多光谱图像中的局部浅层特征，将其转换成具有一致性的表征，其数学表达式如下：

4.根据权利要求3所述的隐式transformer高-多光谱遥感融合方法，其特征在于：步骤s2中，所述引导式隐式神经采样模块能够将编码后的多光谱图像作为引导图像引导编码后的高光谱图像进行特征上...

【专利技术属性】
技术研发人员：朱春宇，仲秦，王琦，李亚超，
申请(专利权)人：西安电子科技大学杭州研究院，
类型：发明
国别省市：