一种基于光谱反投影残差的逐步式光谱超分辨率方法技术

本发明专利技术公开了一种基于光谱反投影残差的逐步式光谱超分辨率方法，步骤包括：步骤1、对训练数据进行预处理，得到一个新训练集；步骤2、构建光谱重建模块，输出特征图像I1；步骤3、构建光谱反投影残差块，输出特征图像I2；步骤4、进行光谱超分网络中第二个阶段、第三个阶段的逐步式光谱重建；步骤5、优化光谱超分网络，采用平均相对绝对误差计算光谱重建网络训练时的总损失函数，并通过不断地最小化总损失来优化提出的光谱重建网络，即成。本发明专利技术方法，充分利用反投影RGB与原始输入RGB的损失去细化重建的高光谱图像，精度明显提高。精度明显提高。精度明显提高。

【技术实现步骤摘要】
一种基于光谱反投影残差的逐步式光谱超分辨率方法


[0001]本专利技术属于高光谱图像处理
，涉及一种基于光谱反投影残差的逐步式光谱超分辨率方法。

技术介绍

[0002]高光谱成像不仅能够获得场景中的空间信息，而且能够从数百个或数千个连续光谱中捕获丰富的光谱信息，其光谱特性已经被证明在许多领域的有效性，如：图像分割、医疗诊断、环境检测、目标跟踪等等。目前获得高光谱图像的方法大致分为三类：1)基于融合的方法，将高空间分辨率的RGB图像和低空间分辨率的高光谱图像融合在一起，产生高质量的高光谱图像；2)单图像超分辨率，可直接通过空间超分的方法提高高光谱图像的空间分辨率；3)光谱超分辨率，可以通过提高给定的RGB图像的光谱分辨率去生成高光谱图像，也称光谱重建。虽然通过这三种方法都能够获得高质量的高光谱图像，但是前两种方法需要专门的高光谱传感器和昂贵的成像成本，而第三种方法仅通过传统的RGB相机就能够轻而易举的捕获RGB图像，这种成像方式能够大大降低捕获高光谱图像的成本。因此，通过RGB图像进行光谱超分辨率去生成高光谱图像的方法已经引起了广泛的关注和研究。
[0003]现有的光谱超分辨率方法大致可以分为两类，基于传统的方法以及基于深度学习的方法。基于传统方法的方向主要集中在利用潜在高光谱图像的先验信息，通过稀疏恢复、低秩张量恢复以及一些浅层映射模型来学习RGB图像到高光谱图像的三对多的映射关系。由于高光谱图像的先验信息往往是手工设计或启发式设计的浅层结构，导致这些方法在实际应用中未能很好地推广。
[0004]近年来，随着深度学习的快速发展，基于卷积神经网络(CNN)的光谱超分辨率方法得到了广泛使用。Galliani等人基于Densenet第一次将深度学习引入光谱超分辨率任务并设计了56个卷积层去恢复高光谱图像，熊等人对RGB图像的光谱维数进行上采样，然后利用全局残差学习策略去重建高光谱图像，李等人设计了一种混合的2D
‑
3D深度残差注意网络，以充分利用空间
‑
光谱上下文信息去提高光谱超分辨率精度。这些基于CNN的方法尽管在一定程度上弥补了传统方法的不足，但是他们大多数侧重于网络的非线性表达能力，利用CNN一次性的学习从RGB到高光谱图像的复杂映射关系，没有充分考虑到从RGB的3个通道映射到高光谱图像的31个通道是严重不适定的问题，因此在一定程度上限制了通过光谱超分辨率算法去恢复成高光谱图像的精度。

技术实现思路

[0005]本专利技术的目的是提供一种基于光谱反投影残差的逐步式光谱超分辨率方法，解决了现有光谱超分辨率方法中，通过一次性学习RGB与高光谱图像的不适定复杂映射关系就去恢复高光谱图像，导致精度不够的问题。
[0006]本专利技术采用的技术方案是，一种基于光谱反投影残差的逐步式光谱超分辨率方法，按照以下步骤具体实施：
[0007]步骤1、对训练数据进行预处理，
[0008]采用的数据集是NTIRE 2020，该数据集里的训练图像由450幅成对的RGB图像、HSI图像组成，空间分辨率为512*482；将成对的RGB、HSI图像随机裁剪成256*256，得到一个450对RGB大小为256*256*3、HSI大小为256*256*31的新训练集；
[0009]步骤2、构建光谱重建模块，
[0010]该光谱重建模块的输入为原始RGB图像，大小为256*256*3，该光谱重建模块的输出是大小为256*256*8的特征图像I1；
[0011]步骤3、构建光谱反投影残差块，
[0012]该光谱反投影残差块的输入是步骤2得到的特征图像I1，大小为256*256*8；该光谱反投影残差块的输出是特征图像I2，大小同样为256*256*8；
[0013]步骤4、进行光谱超分网络中第二个阶段、第三个阶段的逐步式光谱重建；
[0014]步骤5、优化光谱超分网络，
[0015]采用平均相对绝对误差计算光谱重建网络训练时的总损失函数，并通过不断地最小化总损失L
MRAE
来优化提出的光谱重建网络，即成。
[0016]本专利技术的有益效果是，能够通过提出的基于光谱反投影残差的逐步式光谱超分辨率方法利用三个阶段逐步增加光谱的通道数，从而有效的实现从RGB图像到高光谱图像端到端的映射。此外，本专利技术可以通过光谱反投影残差块将重建的高光谱图像反投影成RGB图像，并充分利用反投影RGB与原始输入RGB的损失去细化重建的高光谱图像，精度明显提高。
附图说明
[0017]图1是本专利技术方法整体的流程框图；
[0018]图2是本专利技术方法构建的光谱重建模块的结构流程图；
[0019]图3是本专利技术方法构建的光谱反投影残差块的结构流程图；
[0020]图4是本专利技术方法构建的基于图2中的通道空间注意块的结构流程图。
具体实施方式
[0021]下面结合附图和具体实施方式对本专利技术进行详细说明。
[0022]参照图1，本专利技术的方法基于一种光谱反投影残差的逐步式光谱超分辨率网络，以下简称光谱超分网络，由三个阶段的光谱重建模块以及光谱反投影残差块组成，主要是通过光谱重建模块去重建光谱图像，再利用光谱反投影残差块将重建的光谱图像反投影成RGB图像去细化重建图像；其中，第一个阶段(Stage1)的光谱重建模块直接以原始RGB图像作为输入，利用双残差结构和通道空间注意块去生成8通道的光谱图像，然后光谱反投影残差块将8通道的光谱图像反投影成RGB图像，再将反投影RGB与原始输入RGB的之间的图像损失进行上采样并与8通道的光谱图像形成残差学习被添加到第二个阶段(Stage2)光谱重建模块的输入中；第二个阶段(Stage2)与第三个阶段(Stage3)的光谱重建模块以及光谱反投影残差块同第一阶段结构原理是一样的，区别在于三个阶段恢复的通道数不一致；第一个阶段恢复成8通道，第二个阶段恢复成18个通道，第三个阶段恢复为31个通道，最终通过三个阶段的逐步重建输出通道数为31的高光谱图像。
[0023]本专利技术的方法，利用上述的光谱超分网络，按照以下步骤具体实施：
[0024]步骤1、对训练数据进行预处理，
[0025]本步骤采用的数据集是NTIRE 2020，该数据集里的训练图像由450幅成对的RGB图像、HSI图像(高光谱标签图像)组成，空间分辨率为512*482；为了降低复杂度和计算量，将成对的RGB、HSI图像随机裁剪成256*256，得到一个450对RGB大小为256*256*3、HSI大小为256*256*31的新训练集；
[0026]步骤2、构建光谱重建模块，
[0027]该光谱重建模块的输入为原始RGB图像，大小为256*256*3，该光谱重建模块的输出是大小为256*256*8的特征图像I1；该光谱重建模块的主要作用是将输入的原始RGB图像重建成8通道的光谱图像，得到特征图像I1；
[0028]参照图2，光谱重建模块的结构流程依次为：原始RGB图像(Inp本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光谱反投影残差的逐步式光谱超分辨率方法，其特征在于，按照以下步骤具体实施：步骤1、对训练数据进行预处理，采用的数据集是NTIRE 2020，该数据集里的训练图像由450幅成对的RGB图像、HSI图像组成，空间分辨率为512*482；将成对的RGB、HSI图像随机裁剪成256*256，得到一个450对RGB大小为256*256*3、HSI大小为256*256*31的新训练集；步骤2、构建光谱重建模块，该光谱重建模块的输入为原始RGB图像，大小为256*256*3，该光谱重建模块的输出是大小为256*256*8的特征图像I1；步骤3、构建光谱反投影残差块，该光谱反投影残差块的输入是步骤2得到的特征图像I1，大小为256*256*8；该光谱反投影残差块的输出是特征图像I2，大小同样为256*256*8；步骤4、进行光谱超分网络中第二个阶段、第三个阶段的逐步式光谱重建；步骤5、优化光谱超分网络，采用平均相对绝对误差计算光谱重建网络训练时的总损失函数，并通过不断地最小化总损失L
MRAE
来优化提出的光谱重建网络，即成。2.根据权利要求1所述的基于光谱反投影残差的逐步式光谱超分辨率方法，其特征在于：所述的光谱重建模块的结构流程依次为：原始RGB图像作为输入图像
→
Conv 3*3层
→
PReLU层
→
Conv 3*3层
→
CSAB层
→
残差结构层
→
PReLU层
→
Conv 3*3层
→
PReLU层
→
Conv 3*3层
→
CSAB层
→
残差结构层
→
Conv 3*3层
→
输出特征图像I1；其中，每个Conv 3*3层都是卷积运算，卷积核大小为3*3，卷积步长为1，填充值为0，特征映射数为8；三个PReLu层作为激活函数；每个CSAB层的结构流程包括通道注意块和空间注意块，其中通道注意块通过平均池化操作将空间维度的特征压缩，然后经过Conv 1*1
‑
ReLU
‑
Conv 1*1
‑
Sigmoid得到8个0到1之间的标量，再把这些表示特征通道间相关性的标量作为通道的权重并将该权重乘以平均池化前每个特征通道；而空间注意块是通过最大池化操作将通道维度的特征压缩，之后通过Conv 3*3
‑
ReLU
‑
...

【专利技术属性】
技术研发人员：孙帮勇，喻梦莹，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：