基于多尺度空谱变换的高光谱与多光谱图像融合方法技术

本发明专利技术公开了一种基于多尺度空谱变换的高光谱与多光谱图像融合方法，其中，上述方法包括：使用双分支网络结构在融合前先进行跨分支融合以加强双分支网络提取特征之间的相关性；采用基于空间域划分的多头自注意力提取光谱特征，能有效获取光谱的全局特征；采用多尺度补丁提取空间特征以更好地挖掘多光谱中丰富的空间特征，再融合光谱特征和空间特征并进行图像重建，获得高分辨率高光谱图像。与现有技术相比，充分考虑到多光谱图像和高光谱图像特征图之间的相关性，提取特征精度高，能获得高质量的高分辨率高光谱图像。高质量的高分辨率高光谱图像。高质量的高分辨率高光谱图像。

【技术实现步骤摘要】
基于多尺度空谱变换的高光谱与多光谱图像融合方法


[0001]本专利技术涉及遥感图像处理
，尤其涉及的是一种基于多尺度空谱变换的高光谱与多光谱图像融合方法。

技术介绍

[0002]拍摄遥感图像时，受限于当前的物理成像系统，不能同时获得高空间分辨率和高光谱分辨率。只能捕获具有高空间分辨率和有限光谱带的图像(高分辨率多光谱图像)，或低空间分辨率但具有更高光谱分辨率的图像(低分辨率高光谱图像)。因此，实践中需要融合多光谱的高空间分辨率和高光谱的高光谱分辨率来生成高分辨率高光谱图像(HR
‑
HSI)。
[0003]虽然目前使用深度神经网络学习遥感图像的光谱和空间细节，获得了较好的融合性能，但仍没有考虑到多光谱图像和高光谱图像特征图之间的相关性，忽略了多光谱图像与高光谱图像之间可能会具有的互补性特征，多光谱图像和高光谱图像特征交互弱，提取特征精度不高，导致获得的图像质量不高。
[0004]因此，现有技术还有待改进和发展。

技术实现思路

[0005]本专利技术的主要目的在于提供一种基于多尺度空谱变换的高光谱与多光谱图像融合方法、装置、智能终端及计算机可读存储介质，旨在解决现有技术中多光谱图像和高光谱图像特征交互弱，提取特征精度不高的问题。
[0006]为了实现上述目的，本专利技术提供了一种基于多尺度空谱变换的高光谱与多光谱图像融合方法，包括：
[0007]将高光谱图像和多光谱图像各输入双分支网络中的一个分支并跨分支融合，获得融合后高光谱图像和融合后多光谱图像；
[0008]分别对所述融合后高光谱图像和所述融合后多光谱图像进行特征提取，获得光谱浅层特征和空间浅层特征；
[0009]将所述光谱浅层特征输入第一Transformer模块，获得光谱深度特征，所述第一Transformer模块设有基于空间域划分的多头自注意力；
[0010]将所述空间浅层特征输入第二Transformer模块，获得空间深度特征，所述第二Transformer模块采用多尺度补丁以多尺度提取多光谱图像中的空间特征；
[0011]融合所述光谱深度特征和所述空间深度特征，获得空间光谱特征；
[0012]将所述空间光谱特征输入图像重建模块，获得高分辨率高光谱图像。
[0013]可选的，所述将高光谱图像和多光谱图像各输入双分支网络中的一个分支并跨分支融合，获得融合后高光谱图像和融合后多光谱图像，包括：
[0014]对高光谱图像进行上采样，获得采样后高光谱图像；
[0015]对多光谱图像进行下采样，获得采样后多光谱图像；
[0016]连接所述多光谱图像和所述采样后高光谱图像，获得融合后多光谱图像；
[0017]连接所述高光谱图像和所述采样后多光谱图像，获得融合后高光谱图像。
[0018]可选的，所述将所述光谱浅层特征输入第一Transformer模块，获得光谱深度特征，包括：
[0019]将所述光谱浅层特征展平，获得二维矩阵；
[0020]对所述二维矩阵进行线性投影，获得光谱token；
[0021]将所述光谱token输入所述第一Transformer模块，获得光谱中间特征；
[0022]对所述光谱中间特征进行卷积，获得所述光谱深度特征。
[0023]可选的，所述第一Transformer模块包括多个Transformer层，每个Transformer层均设有基于空间域划分的多头自注意力。
[0024]可选的，所述第二Transformer模块包括若干个并列的特征提取子模块，所述将所述空间浅层特征输入第二Transformer模块，获得空间深度特征，包括：
[0025]以不同尺度的补丁划分所述空间浅层特征，获得不同尺度的补丁嵌入后特征；
[0026]对所有的补丁嵌入后特征进行线性投影，获得若干个空间token，将每个所述空间token各输入一个特征提取子模块，获得各个特征提取子模块输出的空间深度特征；
[0027]聚合所有特征提取子模块输出的空间深度特征，获得所述空间深度特征。
[0028]可选的，所述聚合所有特征提取子模块输出的空间深度特征，获得所述空间深度特征，包括：
[0029]采用可学习的权重聚合所有特征提取子模块输出的空间深度特征，获得所述空间深度特征。
[0030]可选的，所述融合所述光谱深度特征和所述空间深度特征，获得空间光谱特征，包括：
[0031]采用跳跃连接聚合所述光谱浅层特征和所述光谱深度特征，获得光谱特征；
[0032]采用跳跃连接聚合所述空间浅层特征和所述空间深度特征，获得空间特征；
[0033]对光谱特征进行上采样以使得光谱特征的特征维度和所述空间特征的特征维度相同；
[0034]连接所述空间特征和上采样后的光谱特征，获得所述空间光谱特征。
[0035]为了实现上述目的，本专利技术还提供了一种基于多尺度空谱变换的高光谱与多光谱图像融合装置，所述装置包括：
[0036]跨分支融合模块，用于将高光谱图像和多光谱图像各输入双分支网络中的一个分支并跨分支融合，获得融合后高光谱图像和融合后多光谱图像；
[0037]浅层特征模块，用于分别对所述融合后高光谱图像和所述融合后多光谱图像进行特征提取，获得光谱浅层特征和空间浅层特征；
[0038]深度特征模块，用于将所述光谱浅层特征输入第一Transformer模块，获得光谱深度特征，所述第一Transformer模块设有基于空间域划分的多头自注意力，将所述空间浅层特征输入第二Transformer模块，获得空间深度特征，所述第二Transformer模块采用多尺度补丁以多尺度提取多光谱图像中的空间特征；
[0039]深度特征融合模块，用于融合所述光谱深度特征和所述空间深度特征，获得空间光谱特征；
[0040]重建模块，用于将所述空间光谱特征输入图像重建模块，获得高分辨率高光谱图
像。
[0041]为了实现上述目的，本专利技术还提供了一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于多尺度空谱变换的高光谱与多光谱图像融合程序，上述基于多尺度空谱变换的高光谱与多光谱图像融合程序被上述处理器执行时实现任意一项上述基于多尺度空谱变换的高光谱与多光谱图像融合方法的步骤。
[0042]为了实现上述目的，本专利技术还提供了一种计算机可读存储介质，上述计算机可读存储介质上存储有基于多尺度空谱变换的高光谱与多光谱图像融合程序，上述基于多尺度空谱变换的高光谱与多光谱图像融合程序被处理器执行时实现任意一项上述基于多尺度空谱变换的高光谱与多光谱图像融合方法的步骤。
[0043]由上述可见，本专利技术的基于多尺度空谱变换的高光谱与多光谱图像融合方法，首先通过跨分支融合，加强双分支网络提取特征之间的相关性，然后采用基于空间域划分的多头自注意力提取光谱特征，提高了提取高相关性的光谱特征的能力，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多尺度空谱变换的高光谱与多光谱图像融合方法，其特征在于，包括：将高光谱图像和多光谱图像各输入双分支网络中的一个分支并跨分支融合，获得融合后高光谱图像和融合后多光谱图像；分别对所述融合后高光谱图像和所述融合后多光谱图像进行特征提取，获得光谱浅层特征和空间浅层特征；将所述光谱浅层特征输入第一Transformer模块，获得光谱深度特征，所述第一Transformer模块设有基于空间域划分的多头自注意力；将所述空间浅层特征输入第二Transformer模块，获得空间深度特征，所述第二Transformer模块采用多尺度补丁以多尺度提取多光谱图像中的空间特征；融合所述光谱深度特征和所述空间深度特征，获得空间光谱特征；将所述空间光谱特征输入图像重建模块，获得高分辨率高光谱图像。2.如权利要求1所述的基于多尺度空谱变换的高光谱与多光谱图像融合方法，其特征在于，所述将高光谱图像和多光谱图像各输入双分支网络中的一个分支并跨分支融合，获得融合后高光谱图像和融合后多光谱图像，包括：对高光谱图像进行上采样，获得采样后高光谱图像；对多光谱图像进行下采样，获得采样后多光谱图像；连接所述多光谱图像和所述采样后高光谱图像，获得融合后多光谱图像；连接所述高光谱图像和所述采样后多光谱图像，获得融合后高光谱图像。3.如权利要求1所述的基于多尺度空谱变换的高光谱与多光谱图像融合方法，其特征在于，所述将所述光谱浅层特征输入第一Transformer模块，获得光谱深度特征，包括：将所述光谱浅层特征展平，获得二维矩阵；对所述二维矩阵进行线性投影，获得光谱token；将所述光谱token输入所述第一Transformer模块，获得光谱中间特征；对所述光谱中间特征进行卷积，获得所述光谱深度特征。4.如权利要求3所述的基于多尺度空谱变换的高光谱与多光谱图像融合方法，其特征在于，所述第一Transformer模块包括多个Transformer层，每个Transformer层均设有基于空间域划分的多头自注意力。5.如权利要求1所述的基于多尺度空谱变换的高光谱与多光谱图像融合方法，其特征在于，所述第二Transformer模块包括若干个并列的特征提取子模块，所述将所述空间浅层特征输入第二Transformer模块，获得空间深度特征，包括：以不同尺度的补丁划分所述空间浅层特征，获得不同尺度的补丁嵌入后特征；对所有的补丁嵌入后特征进行线性投影，获得若干个空间token，将每个所述空间token各输入一个特征提取子模块，获得各个特征提取子模块输出的空间深度特征；聚合...

【专利技术属性】
技术研发人员：贾森，闵智超，符喜优，徐萌，
申请(专利权)人：深圳大学，
类型：发明
国别省市：