一种多尺度和全局特征的高光谱与多光谱遥感融合方法技术

本发明专利技术提供了一种多尺度和全局特征的高光谱与多光谱遥感融合方法，该方法从高光谱图像和多光谱图像提取融合图像和高光谱图像之间的残差信息，然后将其注入至上采样的高光谱图像中得到融合结果，网络分为光谱保持和细节注入两个分支，光谱保持分支采用空间插值技术将高光谱图像插值为与多光谱图像相同的空间尺寸，细节注入分支引入了残差多尺度卷积模块和全局上下文模块，其作用是提取残差信息，并将其注入至高光谱图像，能够生成同时具有高光谱分辨率和高空间分辨率的遥感图像，为遥感图像融合领域增添一种新方法。像融合领域增添一种新方法。像融合领域增添一种新方法。

【技术实现步骤摘要】
一种多尺度和全局特征的高光谱与多光谱遥感融合方法


[0001]本专利技术涉及图像处理
，尤其涉及一种多尺度和全局特征的高光谱与多光谱遥感融合方法。

技术介绍

[0002]高光谱分辨率遥感图像（HSI）在目标识别，环境监测，资源调查及植被反演等应用广泛，受限于传感器采样极限其空间分辨率较低，抑制了HSI的应用效果。多光谱遥感图像（MSI）光谱分辨率较低，其高空间分辨率可弥补HSI空间表达不足。遥感应用中空间和光谱信息具有相同重要性，HSI与MSI融合是提高HSI空间分辨率的一种有效且常用的方法，可增加遥感应用范围。
[0003]HSI与MSI融合包括物理模型和深度学习算法，深度学习算法以数据驱动经多层结构拟合复杂数据之间的非线性映射，适应数据更具灵活性，融合效果通常优于物理模型算法。
[0004]尽管有着良好的表现，基于深度学习的算法仍有较大提升空间：1）多数算法缺乏物理约束，人为感知可解释程度欠缺；2）空间上下文建模和远程依赖性有益于扩展遥感图像的全局理解，现有算法大多采用卷积方式建立局部依赖关系，上下文信息和远程依赖性建本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多尺度和全局特征的高光谱与多光谱遥感融合方法，其特征在于，包括以下步骤：S1：因现实中不存在融合图像，样本构建遵循Wald协议，利用高光谱图像作为标签图像，将高光谱图像和多光谱图像分别进行空间和光谱下采样，生成网络调参所需的数据集；S2：在细节注入框架约束下，网络包括光谱保持和细节注入两个分支，联合残差多尺度卷积模块和全局上下文建模模块构建卷积神经网络；其中注入框架表达式为：其中F是融合图像，k为低空间分辨率高光谱图像LR对应的波段数，upsample代表基于双线性插值的上采样操作，g
k
为注入系数，为多光谱图像HR的空间细节信息，Detract为细节提取操作；S3：利用Adam优化算法对多尺度和全局上下文特征的高光谱与多光谱融合网络进行训练，在训练过程中采用一种结合了内容、光谱和边缘损失的损失函数进行训练，得到一个充分训练的卷积神经网络模型；S4：将待融合的多光谱图像与高光谱图像输入至S3中训练好的卷积神经网络模型，得到同时具有高空间和高光谱分辨率的遥感图像。2.根据权利要求1所述的一种多尺度和全局特征的高光谱与多光谱遥感融合方法，其特征在于，所述步骤S1中具体包括：根据Wald协议，首先采用高斯滤波对高光谱图像和多光谱图像进行滤波，然后用双线性插值法将高光谱图像和多光谱图像进行相应倍数下采样，作为模拟的低分辨率输入的高光谱图像和多光谱图像，并原始高光谱图像作为参考图像。3.根据权利要求1所述的一种多尺度和全局特征的高光谱与多光谱遥感融合方法，其特征在于，所述步骤S2中具体包括：光谱保持分支对高光谱图像进行空间上采样，自适应的将高光谱图像采样至同多光谱图像相同的空间分辨率，该过程对应于注入框架中的upsample(LR)，细节注入分支包括初始化、特征提取、特征融合和空间细节注入四个子网络提取多光谱图像和高光谱图像的空间注入分量，其中初始化子网络由并联的3
×
3卷积分别提取高光谱图像和多光谱图像的浅层特征，并将高光谱图像和多光谱图像映射至相同的特征维度以便于后续的特征提取，具体表示为：式中，...

【专利技术属性】
技术研发人员：朱春宇，吴琼，张盈，巩丽玮，
申请(专利权)人：吉林大学，
类型：发明
国别省市：