一种高光谱遥感图像超分辨率重建方法、装置及计算机设备制造方法及图纸

本发明专利技术公开了一种高光谱遥感图像超分辨率重建方法、装置及计算机设备，涉及图像超分辨率重建技术领域。所述方法是先将多个低分辨率影像作为输入项，以及将多个高分辨率影像作为输出项，导入包括有线性嵌入层、依次连接的K个残差组块、合并层、上采样层、全域跳跃连接和反嵌入层的光谱

【技术实现步骤摘要】
一种高光谱遥感图像超分辨率重建方法、装置及计算机设备


[0001]本专利技术属于图像超分辨率重建
，具体涉及一种高光谱遥感图像超分辨率重建方法、装置及计算机设备。

技术介绍

[0002]高光谱遥感图像(HyperspectralImages，HSI)是由机载或卫星平台上的传感器捕获的数字图像，这些传感器测量地球表面在多个狭窄且连续的波段中的电磁波反射，从而产生高光谱分辨率数据。从这些图像中收集的信息提供了有关地面物体的化学和物理特性的详细信息，从而可以对不同地面物体进行准确分类和识别。高光谱遥感图像应用广泛，例如矿产勘探(Govilet al.，2021；Bedini，2017)、农业(Nguyenet al.，2021；Zhang et al.，2016)、城市规划(Navinet al.，2020；Weber et al.，2018)和环境监测(Stuartet al.，2021；Niu et al.，2019)等。由于传感器、摄影高度、成本等因素，高光谱遥感图像不得不牺牲空间分辨率来追求更为详细的光谱分辨率(Fu et al.，20本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高光谱遥感图像超分辨率重建方法，其特征在于，包括：获取真实的高光谱遥感图像数据集；将从所述高光谱遥感图像数据集的部分区域中剪切出的且尺寸大小分别为的多个方形图像作为在训练集中的多个高分辨率影像，其中，和分别表示正整数，所述多个方形图像与所述多个高分辨率影像一一对应；采用比例因子2
κ
对所述多个高分辨率影像中的各个高分辨率影像分别进行下采样处理，得到与所述多个高分辨率影像一一对应的且尺寸大小分别为H
×
W的多个低分辨率影像，其中，H表示正整数且有W表示正整数且有κ表示正整数；将所述多个低分辨率影像作为输入项，以及将所述多个高分辨率影像作为输出项，导入光谱
‑
空间Transformer模型进行训练，得到图像超分辨率重建模型，其中，所述光谱
‑
空间Transformer模型的网络结构包括有线性嵌入层、依次连接的K个残差组块、合并层、上采样层、全域跳跃连接和反嵌入层，所述残差组块由M个集成Transformer模块和一个块内合并层依次串联而成，并在所述M个集成Transformer模块中的首个集成Transformer模块的输入端与所述块内合并层的输出端之间增加有第一残差连接，所述集成Transformer模块包括有一个3D Transformer子模块或两个多头自注意力MSA子模块，所述3D Transformer子模块用于提取局部窗口内所有光谱波段之间的自注意力特征，所述两个多头自注意力MSA子模块包括有作用于光谱域的光谱Transformer子模块和作用于空间域的空间Transformer子模块，所述光谱Transformer子模块用于提取单个像元内不同光谱波段之间的自注意力特征，所述空间Transformer子模块用于提取局部窗口内不同像元之间的自注意力特征，K和M分别表示大于等于2的正整数；所述线性嵌入层，用于将低分辨率输入影像的光谱波段数目映射至更高维的特征空间，并提取所述低分辨率输入影像I
LR
的浅层特征，得到嵌入后特征影像F0＝H
E
(I
LR
)，其中，C
in
表示所述低分辨率输入影像I
LR
的光谱波段数目，C表示所述嵌入后特征影像F0的通道数，C与C
in
的比值为正整数，表示真实图像，H
E
()表示所述线性嵌入层的处理函数；所述K个残差组块，用于提取所述嵌入后特征影像F0的深层特征，得到深层特征影像的深层特征，得到深层特征影像其中，k表示在区间[1,K]内取值的正整数，表示在所述K个残差组块中的第k个残差组块的处理函数；所述合并层，用于对所述深层特征影像F
K
进行特征整合，得到提取有更深层次特征的更深层特征影像F
M
＝H
M
(F
K
)，其中，H
M
()表示所述合并层的处理函数；所述上采样层，用于对所述嵌入后特征影像F0和所述更深层特征影像F
M
进行特征影像的上采样处理，得到上采样后特征影像F
HF
＝H
U
(F0+F
M
)，其中，H
U
()表示所述上采样层的处理函数；所述全域跳跃连接，用于先通过双立方插值法对所述嵌入后特征影像F0进行上采样处理，然后经过边界为1的卷积层对上采样处理结果进行特征提取，最后将提取得到的特征影
像与所述上采样后特征影像F
HF
相加，得到组合特征影像相加，得到组合特征影像其中，H
cov
()表示所述卷积层的处理函数，表示基于双立方插值法的上采样处理函数；所述反嵌入层，用于将所述组合特征影像F
SK
的所述通道数C还原为所述光谱波段数目C
in
，得到作为图像超分辨率重建结果的高分辨率输出影像I
HR
＝H
UE
(F
SK
)，其中，H
UE
()表示所述反嵌入层的处理函数；将待重建的且低分辨率的高光谱遥感图像输入所述图像超分辨率重建模型，输出得到高分辨率的高光谱遥感图像。2.根据权利要求1所述的高光谱遥感图像超分辨率重建方法，其特征在于，所述集成Transformer模块还包括有第一归一化层、第二归一化层和多层感知机MLP子模块；所述第一归一化层位于所述3D Transformer子模块或所述两个多头自注意力MSA子模块之前，并在所述第一归一化层的输入端与所述3D Transformer子模块或所述两个多头自注意力MSA子模块的输出端之间增加有第二残差连接；所述第二归一化层位于所述第二残差连接的相加节点之后且位于所述多层感知机MLP子模块之前，并在所述第二归一化层的输入端与所述多层感知机MLP子模块的输出端之间增加有第三残差连接。3.根据权利要求1所述的高光谱遥感图像超分辨率重建方法，其特征在于，所述3DTransformer子模块的工作方式如下：将尺寸大小为H
×
W
×
C的输入特征影像分割至(H
×
W)/(m2)个相互不重叠的局部窗体中，其中，每个局部窗体的尺寸大小为m
×
m
×
C且包含有m
×
m
×
C
in
个光谱波段特征影像，m表示大于等于2的正整数；针对所述每个局部窗体，单独计算得到对应的且在不同光谱波段之间的自注意力特征。4.根据权利要求1所述的高光谱遥感图像超分辨率重建方法，其特征在于，所述光谱Transformer子模块的工作方式沿用标准Transformer的多头注意力机制：在输入特征影像经过多头注意力层时，针对所述输入特征影像中每个输入像元的嵌入元素在每个头中按照如下公式计算得到对应的查询query矩阵关键字key矩阵和值value矩阵和值value矩阵式中，W
Q
表示所述查询query矩阵的投影矩阵，W
K
表示所述关键字key矩阵的投影矩阵，W
V
表示所述值value矩阵的投影矩阵，这三个投影矩阵在不同的像元之间是共享的，i表示所述每个输入像元在所述输入特征影像中的所在行数，j表示所述每个输入像元在所述输入特征影像中的所在列数，d表示所述查询query矩阵、所述关键字key矩阵和所述值value矩阵的维数；
针对所述每个输入像元，通过并行执行N次Attention函数获取到N个头的计算结果，并将它们串联后乘以权重矩阵W
O
，得到对应的且在不同光谱波段之间的自注意力特征其中，所述Attention函数的计算公式如下：式中，SoftMax()表示归一化指数函数，T表示矩阵转置...

【专利技术属性】
技术研发人员：张倩，左世祥，张晓锋，李志军，金箑，余娟，唐冬梅，王炳乾，陈建华，
申请(专利权)人：阿坝州自然资源与科技信息研究所，
类型：发明
国别省市：