本发明专利技术公开了基于光谱增强稀疏注意力的高光谱超分辨率重建方法，包括：首先将HR‑HSI通过数据模拟获取HR‑MSI和LR‑HSI，并利用数据增强技术生成训练数据集。然后通过构建光谱增强模块、稀疏多头自注意力和局部增强前馈网络，组成光谱增强稀疏Transformer块用于网络中的深层特征提取，同时以设计不同窗口大小的方式使得网络获得多尺度学习的能力。最后通过构建浅层特征提取模块和重建模块以组成基于光谱增强稀疏的Transformer网络，并利用所设计的空间重建损失和空间光谱全变分损失对网络进行训练，并得到最终的超分辨率重建结果。
【技术实现步骤摘要】
本专利技术涉及高光谱图像超分辨率重建领域，尤其涉及基于光谱增强稀疏注意力的高光谱超分辨率重建方法。
技术介绍
1、高光谱成像系统可以同时采集数百个连续波段的地表信息，从而获得同一场景的一组图像，故而高光谱图像中每个像元的光谱是近似连续的曲线。得益于丰富的光谱信息，可以通过光谱对不同地物进行区分，所以使其被广泛应用于环境检测、矿产勘测、医疗诊断和军事伪装目标识别等领域。但是由于入射能量有限以及硬件的限制，高光谱图像的高光谱分辨率往往通过牺牲空间分辨率而实现的，这也极大影响了其的应用，因此如何更好地利用软件的方法提升高光谱图像空间分辨率成为了急需解决的问题。
2、传统的高光谱图像超分辨率重建方法，大多都是通过利用高光谱图像的一些自身先验信息来构建相应的正则化器来解决这一问题，但是由于这些先验信息都是人工构建的，具有局限性。且针对不同设备所采集的数据而言，传统算法中的参数对这一变化相当敏感。近年来，在高光谱图像超分辨率重建领域出现了基于深度学习的方法。从网络结构的角度出发，最早被应用的是基于直接映射的方法，这些方法直接学习一个从低分辨率到高分辨图像的映射函数。但这样增加了网络的训练难度，为此基于残差学习的方法注于学习低分辨率和高分辨率图像之间的残差(即高频细节部分)，然后将这些细节添加回输入的低分辨率图像以得到超分辨率图像。基于渐进式的方法通过多次利用相同的网络结构逐步增加图像分辨率。这些方法虽有效降低了网络的训练难度，但大多都是基于卷积神经网络所设计的。然而卷积神经网络其感受野受限于卷积核大小，无法有效地建模全局信息。</p>
技术实现思路
1、根据现有技术存在的问题，本专利技术公开了基于光谱增强稀疏注意力的高光谱超分辨率重建方法，具体包括如下步骤：
2、获取高光谱遥感数据，通过数据增强技术构建训练数据集。首先将获取到的高光谱遥感图像进行旋转、平移和翻转等手段获取更多的样本。之后将这些样本通过重叠分割的方法裁剪出若干空间大小为64×64图像，视作为高空间分辨率的高光谱图像(hr-hsi)。最后，一方面利用光谱响应函数进行光谱下采样获取高空间分辨率的多光谱图像(hr-msi)，另一方面利用模糊核大小为3×3且标准差为0.5的高斯滤波器进行空间下采样，获取低空间分辨率的高光谱图像(lr-hsi)。将这三类图像组合在一起，实现训练数据集的构建；
3、构建光谱增强稀疏transformer块。光谱增强稀疏transformer块主要由光谱增强模块、稀疏多头自注意力和局部增强前馈网络这三个核心部件组成。首先构建光谱增强模块，具体来说，首先将输入特征划分为不重叠的数据立方体块，记为之后将平均池化作用于fp，以聚合其通道特征得到映射光谱向量并利用线性层对其通道维度进行压缩得到该过程可描述为：
4、fc＝avgpool(fp)
5、fz＝wcfc
6、其中wc是线性层的权重，avgpool代表平均池化层。
7、最后为了增强空谱相关性并促进超分辨率过程，先利用线性层将得到的低秩向量映射到与输入光谱向量相同的尺度，并将其送入sigmoid中转化成权重系数，继而将这个权重系数作为指导对输入立方体块fp进行重新校正，过程可描述为：
8、
9、其中wz是线性层的权重，·是逐元素点积。
10、之后构建稀疏多头自注意力，具体来说，首先利用高光谱图像光谱分辨率较高的特点，将输入数据划分为一个个像元向量。之后由于图像在空间上具有局部相似性，利用若干大小相同的窗口将这些像元向量进行非重叠划分，并通过展平和转置处理得到最后对扁平化特征进行自注意力计算，并将所有头的输出连接在一起并通过线性投影以得到最终结果。第k个稀疏自注意力头可描述为：
11、
12、
13、
14、其中，和分别表示第k个头的查询、键和值的投影矩阵，是第k个头的输出。
15、接着构建局部增强前馈网络，具体来说首先对每个输入标记应用线性映射层以增加其特征维度。之后将映射后的标记按照其原本的位置进行空间重塑，并使用3×3的深度卷积对重塑后特征的每个通道进行卷积操作，从而更好捕获局部空间上下文信息。最后将特征还原为标记并通过另一个线性映射将通道维度与输入相匹配，作为最终的输出。
16、最后利用上述三个核心设计，共同构建光谱增强稀疏transformer块，其计算过程可描述为：
17、fn＝ln(f)
18、fm＝smsa(fn)+αse(fn)+f
19、f′＝leff(ln(fm))+fm
20、其中，fm和f′分别是混合注意力模块和leff模块的输出，ln表示归一化层，se表示光谱增强模块，α为自适应权重系数，用于权衡两种注意力模块；
21、叠加多个光谱增强稀疏transformer块，构建光谱增强稀疏transformer残差层；
22、利用不同窗口大小的光谱增强稀疏transformer残差层，构建多尺度窗口残差块，并为其设计融合模块；
23、构建基于光谱增强稀疏的transformer网络。首先对lr-hsi数据应用双三次插值方法得到上采样后的图像up-hsi，使其具有与hr-msi图像相同的空间尺度，并将二者在光谱维度上进行拼接得到网络的输入之后用一个3×3的卷积层来提取融合图像的浅层特征并用所设计的多尺度窗口残差块进一步提取多尺度深层特征继而通过全局跳跃连接将fs和fd融合在一起得到，ff。最后重建模块将ff的特征通道数降低到光谱段数，并通过残差学习生成重建结果
24、基于空间重建损失和空间光谱全变分损失，构建网络损失函数。网络损失函数由空间重建损失和空间光谱全变分损失组成，其中本方法采用l1损失来衡量网络的空间重建精度，具体可表示为：
25、
26、其中，xm和om分别表示第m个重建高空间分辨率高光谱图像和真实值，m是一个训练批次中的图像数量，θ表示网络的参数集。
27、空间光谱全变分损失具体可表示为：
28、
29、其中，和表示计算om的水平、垂直和光谱维度的梯度函数。
30、利用设计的损失函数和训练数据集训练网络，获得超分辨率重建结果。
31、由于采用了上述技术方案，本专利技术提供的基于光谱增强稀疏注意力的高光谱超分辨率重建方法，该方法有效地解决了在高光谱图像超分辨率重建领域中全局特征信息难以获取的问题，首先将hr-hsi通过数据模拟获取hr-msi和lr-hsi，并利用数据增强技术生成训练数据集。然后通过构建光谱增强模块、稀疏多头自注意力和局部增强前馈网络，组成光谱增强稀疏transformer块用于网络中的深层特征提取，同时以设计不同窗口大小的方式使得网络获得多尺度学习的能力。最后通过构建浅层特征提取模块和重建模块以组成基于光谱增强稀疏的transformer网络，并利用所设计的空间重建损失和空间光谱全变分损失对网络进行本文档来自技高网
...
【技术保护点】
1.一种基于光谱增强稀疏注意力的高光谱超分辨率重建方法，其特征在于包括：
2.根据权利要求1所述的方法，其特征在于：所述光谱增强稀疏Transformer块包括光谱增强模块、稀疏多头自注意力和局部增强前馈网络，所述光谱增强稀疏Transformer块构建过程为：
3.根据权利要求1所述的方法，其特征在于：所述多尺度窗口残差块构建过程为：
4.根据权利要求1所述的方法，其特征在于：所述网络损失函数包括空间重建损失和空间光谱全变分损失，所述网络损失函数的构建过程为：
【技术特征摘要】
1.一种基于光谱增强稀疏注意力的高光谱超分辨率重建方法，其特征在于包括：
2.根据权利要求1所述的方法，其特征在于：所述光谱增强稀疏transformer块包括光谱增强模块、稀疏多头自注意力和局部增强前馈网络，所述光谱增强稀疏transfo...
【专利技术属性】
技术研发人员：王玉磊，杨玉超，赵恩宇，宋梅萍，于纯妍，于浩洋，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。