【技术实现步骤摘要】
一种对抗性高光谱多光谱遥感融合方法
[0001]本专利技术属于图像处理
，具体涉及一种基于Swin Transformer和CNN的生成对抗网络的高光谱与多光谱遥感图像方法。
技术介绍
[0002]高光谱和多光谱遥感图像是常用的遥感图像类型，它们可通过不同光谱波段上的反射或辐射特征获取地物信息，实现遥感信息提取及分析。高光谱图像具有细致的光谱信息，可精细分类和识别地物，但空间分辨率往往低于多光谱图像；多光谱图像则光谱信息表达不足，但有高空间分辨率，能更完整描述地物形态和分布。因此，高光谱和多光谱遥感图像可采用融合方法，得到兼具高空间分辨率和细致光谱信息的图像，提高遥感数据的应用价值，并可应用于农业，环境监测，城市规划等领域，提供更准确、全面的信息，为决策提供更好支持。
[0003]高光谱与多光谱遥感图像融合分为传统算法和深度学习的算法，其中，传统算法大多依赖先验知识，然而，人为设定的先验表达无法有充分表征融合信息。深度学习是一种基于神经网络的机器学习方法，具有强大非线性建模能力和高层次特征提取能力，相较于传统算...
【技术保护点】
【技术特征摘要】
1.一种对抗性高光谱多光谱遥感融合方法，其特征在于，包括以下步骤：S1、构建训练网络所需数据集，使用原始高光谱图像作为训练标签数据，训练样本中的高光谱图像和多光谱图像分别是以原始高光谱和多光谱图像经过空间降采样生成得到；S2、基于CNN和Swin Transformer构建生成器网络，利用细节注入框架对生成器建模，生成器包括光谱保持和空间残差提取两个路径；其中，细节注入框架的公式为：，式中，F为融合图像，k为低空间分辨率图像LR对应的通道数，upsample为上采样算子，g
k
为注入系数，为高空间分辨率图像HR的空间信息，Detract为细节提取操作；S3、基于卷积神经网络结构构建鉴别器网络；S4、利用Adam优化算法对基于Swin Transformer和CNN的生成对抗网络的生成器和鉴别器网络进行交替训练，训练过程中生成器采用一种结合了内容损失、空间梯度损失、光谱梯度损失和对抗损失的生产器损失函数进行训练，生成一个充分训练的网络模型；其中，生成器损失函数的表达式为：，式中，Con
loss
为内容损失，Spa
Gradloss
为空间梯度损失，Spe
Gradloss
为光谱梯度损失，Adv
loss
为对抗损失；S5、将待融合的高光谱与多光谱遥感图像输入至S4步骤中得到的网络模型中，生成同时具有高空间分辨率和高光谱分辨率的遥感图像。2.根据权利要求1所述的一种对抗性高光谱多光谱遥感融合方法，其特征在于：步骤S1中，依据Wald协议，采用高斯滤波分别对高光谱图像和多光谱图像进行滤波，继而采用双线性插值法对其进行对应倍数的空间下采样，生成用于训练的样本图像，并采用原始的高光谱图像作为训练的标签图像。3.根据权利要求1所述的一种对抗性高光谱多光谱遥感融合方法，其特征在于：步骤S2中，生成器网络的构建，采用了光谱保持和空间残差提取两个路径，光谱保持路径为融合图像提供了光谱信息，其过程为对高光谱图像进行上采样，得到与多光谱相同的空间大小，这个过程对应细节注入框架公式中的upsample(LR)；空间残差路径提取的是高光谱图像和多光谱图像在各个波段中的空间残差信息，对应与注入框架中的g
k
·
Detract(HR)部分，其中细节注入路径包括浅层特征提取，深层特征提取和特征融合3个模块；最后将两个路径的信息进行相加实现细节信息的注入，进而得到融合图像。4.根据权利要求3所述的一种对抗性高光谱多光谱遥感融合方法，其特征在于，生成器的工作流程如下：将高光谱图像和多光谱图像输入至浅层特征提取模块中，采用两个卷积层分别提取上采样的高光谱图像和多光谱图像的浅层特征，该过程可以表示为：,式中，S
HSI
,S
MSI
分别为提取的高光谱图像和多光谱图像的浅层特征，Conv3为3
×
3卷积，其卷积核个数为192；在浅层特征基础上，网络进一步提取高光谱和多光谱图像的深层特征，采用由Swin Transformer和CNN组成的残差RSTB作为深层特征提取模块进行深层特征提取，该过程表示
为：,其中,D
HSI
,D
MSI
分别为提取的HSI和MSI的深层特征；PE表示Patch Embedding操作，其作用是将图像分成多个小块，并将每个小块进行嵌入式编码，从而生成一个...
【专利技术属性】
技术研发人员：朱春宇，吴琼，王军，张盈，巩丽玮，
申请(专利权)人：吉林大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。