【技术实现步骤摘要】
本专利技术设计光学遥感影像处理，尤其是涉及一种基于光谱保真的全局交互高光谱多光谱跨模态融合方法。
技术介绍
1、遥感图像是地面监测行业中关键的数据基础。图像融合作为遥感图像处理的重要步骤之一，是目前改进高光谱数据空间分辨率不足的重要手段。高光谱成像技术以其精确的光谱信息捕获能力，能够实现对地物的精细分类和识别。然而，这种技术通常受限于较低的空间分辨率。与此相反，多光谱成像虽然在光谱信息的表达上不如高光谱成像丰富，但它能提供更高的空间分辨率，从而更加完整地描述地物的形态和分布特征。因此，通过将高光谱和多光谱图像进行有效融合，可以生成既具备高空间分辨率又包含细致光谱信息的图像，这一过程显著提升了遥感数据的实用价值。
2、目前，针对高光谱数据与多光谱数据融合的方法主要有三种：细节注入方法、模型优化方法及深度学习方法。细节注入方法旨在解决多光谱图像超分辨率融合问题，因此当迁移到高光谱和多光谱图像超分辨率融合领域，随之而来的是不可避免的空间和光谱畸变。相比于细节注入方法，模型优化方法通过对待求图像施加先验信息，在退化模型的辅助之下可以实现高保真度的图像重建。然而，在面对复杂的自然场景时，设计合适且有效的先验约束是一项烦琐的探索性工作，往往伴随着高复杂度的求解过程。相反，深度学习方法则摆脱人为设计先验的过程，通过对大量数据的自动化挖掘，实现了复杂函数的高度拟合。但大规模、高质量的训练集让监督类方法难以有效应用到实际需求中。
3、现有的高光谱和多光谱融合方法中主要存在以下问题：对所有波段同步处理，忽略了相邻波段的高度相
技术实现思路
1、本专利技术的目的在于针对现有技术的不足，提出一种基于光谱保真的全局交互高光谱多光谱跨模态融合方法。首先对高光谱遥感图像进行波段分割及去噪，对单波段及其相邻四波段进行分析，然后对分组波段进行交叉融合；其次，融合去噪后的高光谱图像和多光谱图像，实现高光谱多光谱图像空间模态和光谱模态引导融合的跨模态交互信息提取；最后通过编码器-解码器结构的u型多尺度transformer模块，利用相邻像素和相邻光谱之间的相关性对重建像素执行明确的约束，同时获取不同粒度的特征，更好得学习局部和更远的表示。
2、这种光谱保真的全局交互高光谱多光谱跨模态融合方法，具体包括如下步骤：
3、11）获取不同分辨率的合成高光谱多光谱数据集：根据wald协议构建训练网络所需模拟数据集和测试集，使用原始高光谱图像作为训练标签数据，训练集中的低空间分辨率高光谱图像和高空间分辨率多光谱图像分别是以原始高光谱图像经过空间降采样和光谱降采样生成得到，并对训练集进行加噪处理，对低空间分辨率高光谱图像进行波段分组处理；
4、12）构建光谱保真的全局交互高光谱多光谱跨模态融合模型：该模型主要由高光谱相邻波段融合模块、多光谱空间纹理提取模块、引导融合信息重建模块、加窗多尺度视觉transformer模块组成；
5、13）光谱保真的全局交互高光谱多光谱跨模态融合模型训练：将构建好的成对不同分辨率的高光谱多光谱训练数据集作为输入，同时以原始高光谱数据作为参考对模型进行监督训练，得到训练好的光谱保真的全局交互高光谱多光谱跨模态融合模型；
6、14）待融合成对真实高光谱多光谱遥感影像数据获取；
7、15）高光谱和多光谱遥感影像融合结果获取：将获取的成对待融合真实高光谱和多光谱遥感影像输入到训练好的光谱保真的全局交互高光谱多光谱跨模态融合模型，得到融合后的高光谱遥感影像。
8、进一步地，所述获取不同分辨率的合成高光谱多光谱数据集，包括以下步骤：
9、21）采用原始高光谱图像作为训练的标签图像；
10、22）对原始参考高光谱图像进行空间降采样操作，使用大小为5×5、0均值和标准差为2的高斯模糊核滤波和四次双线性插值下采样得到用于训练的低空间分辨率高光谱图像；
11、23）对原始参考高光谱图像进行光谱降采样操作，使用对应多光谱卫星的光谱响应函数，得到用于训练的高空间分辨率多光谱图像；
12、24）给高分辨率多光谱图像和低分辨率高光谱图像中分别加入高斯白噪声，模拟真实场景中的噪声干扰；
13、25）对原始参考数据的中心区域裁剪出128×128的分块作为测试集，剩余区域用于训练，训练区域被随机裁剪为 128 × 128 的大小，以便在每次迭代中进行训练；
14、25）对随机划分出的训练集与测试集重叠的部分，用0像素填充；
15、26）对低空间分辨率高光谱图像进行波段分组操作，具体步骤如下：
16、261）对单波段及其相邻四个波段进行分析，波段分割公式为：
17、<mstyle displaystyle="true" mathcolor="#000000"><mi>p</mi><mi>(</mi><mi>i</mi><mi>)</mi><mi>=</mi><mrow><mo>[</mo><mrow><msubsup><mi>i</mi><mi>lr</mi><mn>1</mn></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mn>2</mn></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mn>3</mn></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mn>4</mn></msubsup><mi>,</mi><msubsup><mi>i</mi><mi>lr</mi><mn>5本文档来自技高网...
【技术保护点】
1.一种光谱保真的全局交互高光谱多光谱跨模态融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种光谱保真的全局交互高光谱多光谱跨模态融合方法，其特征在于，所述获取不同分辨率的合成高光谱多光谱数据集，具体包括以下步骤：
3.根据权利要求1所述的一种光谱保真的全局交互高光谱多光谱跨模态融合方法，其特征在于，所述构建光谱保真的全局交互高光谱多光谱跨模态融合模型包括以下步骤：
4.根据权利要求1所述的一种光谱保真的全局交互高光谱多光谱跨模态融合方法，其特征在于，所述光谱保真的全局交互高光谱多光谱跨模态融合模型训练包括以下步骤：
【技术特征摘要】
1.一种光谱保真的全局交互高光谱多光谱跨模态融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种光谱保真的全局交互高光谱多光谱跨模态融合方法，其特征在于，所述获取不同分辨率的合成高光谱多光谱数据集，具体包括以下步骤：
3.根据权利要求1所述的一种光谱...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。