一种基于Swin-Transformer的二阶光谱注意力高光谱图像超分辨率方法技术

本发明专利技术涉及图像处理技术领域，具体涉及一种基于Swin

【技术实现步骤摘要】
一种基于Swin
‑
Transformer的二阶光谱注意力高光谱图像超分辨率方法


[0001]本专利技术涉及图像处理
，具体涉及一种基于Swin
‑
Transformer的二阶光谱注意力高光谱图像超分辨率方法。

技术介绍

[0002]高光谱成像传感器可以在很宽的光谱覆盖范围内收集数十或数百个光谱带；然而，由于成像相机的局限性，光谱分辨率和空间分辨率存在一定的折衷，因此，具有大量波段的HSI通常具有较低的空间分辨率；由于高光谱图像场景多样，传统的超分辨率方法存在特征能力提取不足，算法时间复杂度高，模型参数敏感，泛化能力差等问题，图像的超分效果较差。

技术实现思路

[0003]为了解决现有模型效率低，超分效果差的问题，本专利技术的目的在于提供一种基于Swin
‑
Transformer的二阶光谱注意力高光谱图像超分辨率方法，所采用的技术方案具体如下：
[0004]本专利技术一个实施例提供了一种基于Swin
‑
Transformer的二阶光谱注意力高光谱图像超分辨率方法，该方法包括以下步骤：
[0005]获取待处理的低分辨率高光谱图像；
[0006]构建Swin
‑
Transformer超分辨率网络模型，将所述低分辨率图像输入训练完成的Swin
‑
Transformer超分辨率网络模型中，输出重建图像；
[0007]其中，所述Swin
‑
Transformer超分辨率网络模型的训练集为低分辨率图像，损失函数由原始图像与重建图像的差异得到，基于所述损失函数对所述Swin
‑
Transformer超分辨率网络模型训练并更新得到最优参数的Swin
‑
Transformer超分辨率网络模型，最优参数的Swin
‑
Transformer超分辨率网络模型为训练完成的Swin
‑
Transformer超分辨率网络模型。
[0008]优选的，所述获取待处理的低分辨率图像的步骤，包括：
[0009]将公开训练集中CAVE图像划分为相同大小的重叠块；对每个所述重叠块进行降采样以及高斯模糊生成低分辨率高光谱图像。
[0010]优选的，所述Swin
‑
Transformer超分辨率网络模型包括浅层特征提取、深层特征提取以及图像重建。
[0011]优选的，所述损失函数为：
[0012][0013]其中，L
totαl
表示目标损失函数；x
i
为原始图像；o
i
为重建图像；α为设定常数；acrcos表示反余弦函数；N表示训练图像的个数；S表示波段数；||*||1表示L1范数；||*||2表
示L2范数。
[0014]优选的，所述输出重建图像之后，还包括：
[0015]通过获取标准图像与重建图像之间的峰值信噪比、结构相似性以及光谱角对重建效果进行分析。
[0016]优选的，所述峰值信噪比的计算方法为：
[0017][0018]其中，PSNR表示峰值信噪比；MSE表示当前图像与参考图像f(i，j)之间的均方误差；n表示每个像素点比特数；
[0019]所述均方误差的计算为：
[0020][0021]其中，MSE表示当前图像与参考图像f(i，j)之间的均方误差；M
×
N1表示图像的尺寸。
[0022]优选的，所述结构相似性的计算方法为：
[0023]图像x和图像y之间的结构相似性为：
[0024][0025]其中，SSIM(x，y)表示图像x和图像y之间的结构相似性；μ
x
表示图像x的平均值；μ
y
表示图像y的平均值；表示图像x的方差；表示图像y的方差；σ
xy
表示图像x和图像y的协方差；c1和c2是用于维持稳定的常数。
[0026]优选的，所述光谱角的计算方法为：
[0027]图像x和图像o之间的光谱角为：
[0028][0029]其中，SAM(x，o)表示图像x和图像o的光谱角；N表示训练图像的个数；S表示波段数；||*||2表示L2范数；acrcos表示反余弦函数。
[0030]优选的，所述浅层特征提取是通过卷积核大小为3
×
3，步长为1的卷积层进行提取；深层特征提取由Swin
‑
Transformer、深度可分离卷积以及二阶光谱注意力组成的RDSATB模块堆叠而成，RDSATB模块接收浅层特征信息后，图像大小进行改变，并通过Swin
‑
Transformer模块提取图像中全局特征信息，Swin
‑
Transformer模块由Encoder编码层和Decoder解码层组成，其中Encoder层由Layer Norm归一化层、W
‑
MSA窗口自注意力层、Feed Forward前馈网络层组成的；Decoder层由Layer Norm归一化层、SW
‑
MSA移动窗口自注意力层、Feed Forward前馈网络层组成；Feed Forward前馈网络层由两个Linear mapping线性映射层以及GELU激活函数组成。
[0031]优选的，所述深度可分离卷积包含三个卷积，其结构可表示为[SConv3×3‑
LeakeyRelu
‑
Conv1×1‑
LeakeyRelu
‑
Sconv3×3]，三个卷积在提取到的全局特征的基础上进一
步提取图像的局部特征以及光谱信息；二阶光谱注意力由协方差矩阵COV、深度可分离卷积SConv以及激活函数Sigmoid构成；其结构可表示为[COV
‑
Sconv
n
×1‑
Sigmoid]，其中n为波段数。
[0032]本专利技术具有如下有益效果：本专利技术实施例是一种基于Swin
‑
Transformer的二阶光谱注意力高光谱图像超分辨率方法，通过利用Swin
‑
Transformer擅长提取全局信息的优势，能够更充分的提取网络的全局
‑
局部空间特征信息，对比传统方法以及CNN等方法本专利技术在具有高重建图像质量的同时解决了特征能力提取不足，泛化性弱等问题，图像重建效果更好。
附图说明
[0033]为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0034]图1为本专利技术一个实施例所提供的一种基于Swin
‑
Transfor本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Swin
‑
Transformer的二阶光谱注意力高光谱图像超分辨率方法，其特征在于，该方法包括以下步骤：获取待处理的低分辨率高光谱图像；构建Swin
‑
Transformer超分辨率网络模型，将所述低分辨率图像输入训练完成的Swin
‑
Transformer超分辨率网络模型中，输出重建图像；其中，所述Swin
‑
Transformer超分辨率网络模型的训练集为低分辨率图像，损失函数由原始图像与重建图像的差异得到，基于所述损失函数对所述Swin
‑
Transformer超分辨率网络模型训练并更新得到最优参数的Swin
‑
Transformer超分辨率网络模型，最优参数的Swin
‑
Transformer超分辨率网络模型为训练完成的Swin
‑
Transformer超分辨率网络模型。2.根据权利要求1所述的一种基于Swin
‑
Transformer的二阶光谱注意力高光谱图像超分辨率方法，其特征在于，所述获取待处理的低分辨率图像的步骤，包括：将公开训练集中CAVE图像划分为相同大小的重叠块；对每个所述重叠块进行降采样以及高斯模糊生成低分辨率高光谱图像。3.根据权利要求1所述的一种基于Swin
‑
Transformer的二阶光谱注意力高光谱图像超分辨率方法，其特征在于，所述Swin
‑
Transformer超分辨率网络模型包括浅层特征提取、深层特征提取以及图像重建。4.根据权利要求1所述的一种基于Swin
‑
Transformer的二阶光谱注意力高光谱图像超分辨率方法，其特征在于，所述损失函数为：其中，L
total
表示目标损失函数；x
i
为原始图像；o
i
为重建图像；α为设定常数；acrcos表示反余弦函数；N表示训练图像的个数；S表示波段数；‖*‖1表示L1范数；‖*‖2表示L2范数。5.根据权利要求1所述的一种基于Swin
‑
Transformer的二阶光谱注意力高光谱图像超分辨率方法，其特征在于，所述输出重建图像之后，还包括：通过获取标准图像与重建图像之间的峰值信噪比、结构相似性以及光谱角对重建效果进行分析。6.根据权利要求5所述的一种基于Swin
‑
Transformer的二阶光谱注意力高光谱图像超分辨率方法，其特征在于，所述峰值信噪比的计算方法为：其中，PSNR表示峰值信噪比；MSE表示当前图像与参考图像f(i,j)之间的均方误差；n表示每个像素点比特数；所述均方误差的计算为：其中，MSE表示当前图像与参考图像f(i,j)之间的均方误差；M
×
N1表示图像的尺

【专利技术属性】
技术研发人员：乔保军，许冰辉，肖一卓，林英豪，谢毅，左宪禹，
申请(专利权)人：河南大学，
类型：发明
国别省市：