一种RGB图像光谱重建方法、系统、存储介质及应用技术方案

本发明专利技术属于高光谱图像的处理技术领域，公开了一种RGB图像光谱重建方法、系统、存储介质及应用，构建具有结构张量约束的混合2‑D–3‑D深度残差注意力网络的骨干网络；构建残差注意力模块，包含多个2‑D残差注意力模块和3‑D残差注意力模块；分别在2‑D深度残差注意力网络和3‑D深度残差注意力网络中引入2‑D通道注意力机制和3‑D波段注意力机制；结合高光谱图像的像素数值和结构差异，采用结合结构张量和MRAE的形式作为损失函数，形成一个更精细的约束。本发明专利技术实现RGB图像到高光谱图像的端到端的映射，自适应地重新校准通道和波段维度的特征响应，增强判别学习能力，有助于在训练过程中恢复更精细、更准确的高光谱图像。

【技术实现步骤摘要】
一种RGB图像光谱重建方法、系统、存储介质及应用
本专利技术属于高光谱图像的处理
，尤其涉及一种RGB图像光谱重建方法、系统、存储介质及应用。
技术介绍
目前，高光谱传感器记录从红外光谱到紫外线光谱的数百或数千个波段的反射率或透射率值。与传统的RGB图像不同，高光谱图像中的每个像素都包含具有丰富光谱特征的连续光谱。事实上，丰富的光谱特征已经被用于广泛地探索到各种任务中，例如目标跟踪、图像分类、场景分割和高光谱波段选择等。尽管如此，大多数现有的高光谱设备还是利用2-D传感器通过沿空间或光谱维度的扫描来捕获3-D数据，这会需要更多的曝光时间，阻碍其进一步应用于动态场景中。另外，成本高昂的高光谱系统需要在光谱分辨率与空间/时间分辨率之间进行折衷。为了解决上述问题，在过去的十年中，无扫描或快照的高光谱设备被开发，例如计算机断层扫描成像光谱仪(CTIS)、混合RGB-HS系统等。然而，这些采集系统仍然需要复杂的硬件设备，并且所采集的高光谱的空间分辨率也会受到限制。近来，已经提出了仅通过给定的RGB图像，实现三到多的映射来获得具有一致空间分辨率和更高本文档来自技高网...

【技术保护点】
1.一种RGB图像光谱重建方法，其特征在于，所述RGB图像光谱重建方法包括：/n构建具有结构张量约束的混合2-D–3-D深度残差注意力网络的骨干网络；/n构建残差注意力模块，包含多个2-D残差注意力模块和3-D残差注意力模块；/n分别在2-D深度残差注意力网络和3-D深度残差注意力网络中引入2-D通道注意力机制和3-D波段注意力机制；/n结合高光谱图像的像素数值和结构差异，采用结合结构张量和MRAE的形式作为损失函数，作为一个更精细的约束。/n

【技术特征摘要】
1.一种RGB图像光谱重建方法，其特征在于，所述RGB图像光谱重建方法包括：
构建具有结构张量约束的混合2-D–3-D深度残差注意力网络的骨干网络；
构建残差注意力模块，包含多个2-D残差注意力模块和3-D残差注意力模块；
分别在2-D深度残差注意力网络和3-D深度残差注意力网络中引入2-D通道注意力机制和3-D波段注意力机制；
结合高光谱图像的像素数值和结构差异，采用结合结构张量和MRAE的形式作为损失函数，作为一个更精细的约束。


2.如权利要求1所述的RGB图像光谱重建方法，其特征在于，所述构建具有结构张量约束的混合2-D–3-D深度残差注意力网络的骨干网络具体包括五个阶段：浅层特征提取，基于2-D深度残差注意力网络的深层空间特征提取，中间特征尺寸变换，基于3-D深度残差注意力网络的深层波段特征提取以及重建阶段，给定IRGB∈N×C×L×W表示RGB输入，IHSI∈N×31×L×W表示混合2-D–3-D深度残差注意力网络的高光谱图像输出，L是长度，W是宽度，3或31是波段数目，通过一个卷积层从RGB输入IRGB中提取浅层特征F0，表示为：
F0＝HSF(IRGB)；
其中，HSF(·)表示浅层特征提取函数，将提取的浅层特征F0∈N×C×L×W输入2-D深度残差混合注意力机制网络，以进行深层空间特征提取，其中，C是特征图的通道数，得到：
F2DSF＝H2D-RAN(F0)；
其中H2D-RAN(·)代表提出的2-D深度残差注意力网络，由M个2-D残差注意力模块堆叠而成，将提取的深度空间特征F2DSF∈N×C×L×W通过一个2-D卷积层映射到波段数目为31的新特征，通过尺寸扩展操作将其扩展为N×1×31×L×W，采用了3-D卷积层来扩大特征图的通道数，3-D深度残差注意力网络输入特征的最终尺寸为N×C×31×L×W，三个操作组合为HIFDT(·)来表示中间特征尺寸的转换：
G0＝H1FDT(F2DSF)；
其中，G0表示3-D深度残差注意力网络的输入，接着，将G0用于深度波段特征提取：G3DBF＝H3D-RAN(G0)；
其中H3D-RAN(·)代表本发明提出的3-D深度残差注意力网络，该网络由M个3-D残差注意力模块组成，G3DBF的尺寸为N×C×31×L×W，最终的重建部分由3-D卷积层组成，从而将尺寸更改为N×1×31×L×W，并进行尺寸压缩操作以将形状压缩为N×31×L×W，与真实高光谱图像的尺寸相同：
IHSI＝HREC(G3DBF)＝HHDRAN(IRGB)；
其中HREC(·)和HHDRAN(·)分别表示最后的重构部分和混合2-D–3-D深度残差注意力网络。


3.如权利要求1所述的RGB图像光谱重建方法，其特征在于，所述构建残差注意力模块，该结构主要包含多个2-D残差注意力模块和3-D残差注意力模块具体包括：2-D残差注意力模块：将注意力机制与残差模块集成在一起，与标准残差模块不同，使用PReLU作为激活函数来引入更多的非线性和加速收敛：



第m个2-D残差注意力模块表示为：
Fm＝Hm(Fm-1)＝Hm(Hm-1(…H1(F0)…))；
其中，Hm(·)是第m个2-D残差注意力模块的函数，Fm和Fm-1分别表示第m个2-D残差注意力模块的输入和输出，通过2-D深度残差注意力网络，空间信息从原始RGB输入中被充分提取，恢复与真实的高光谱图像尽可能地一致的空间特征；引入全局跳跃连接(GSC)帮助训练的深度网络，整个2-D深度残差注意力网络表示为：
F2DSF＝F0+WGSCFM；
其中WGSC表示2-D深度残差注意力网络的最后一个卷积层的权重参数；
3-D残差注意力模块与2-D残差注意力模块一致，使用PReLU作为激活函数，为3-D特征映射注入更多非线性，第m个模块中的3-D残差注意力机制模块表示为：
Gm＝Hm(Gm-1)＝Hm(Hm-1(…H1(G0)…))；
其中，Gm和Gm-1分别表示第m个3-D残差注意力模块的输入和输出，而Hm(·)表示第m个3-D残差注意力模块的函数；同样，3-D深度残差注意力网络也设计了全局残差连接(GRC)，使网络易于训练并获得良好表现，将3-D深度残差注意力网络表示为：
G3DBF＝G0+WGRCGM；
其中WGRC是在3-D深度残差注意力网络尾部设置的3-D卷积层的权重，而G3DBF是基于3-D深度残差注意力网络所提取的深度波段特征。


4.如权利要求1所述的RGB图像光谱重建方法，其特征在于，所述分别在2-D深度残差注意力网络和3-D深度残差注意力网络中引入2-D通道注意力机制和3-D波段注意力机制包括：在2-D深度残差混合注意力机制网络中引入2-D通道注意力机制，对于一个二维卷积层，特征输出为U∈RC×L×W，令U＝[u1，u2，…，uc]，其中每一项的尺寸为L×W，通过使用二维全局平均池化将通道维度的全局空间信息转换为通道描述符：
Z＝[z1，z2，…，zc](Z∈RC)；
z的第c个分量的计算公式为：



其中，H2DGAP(·)表示二维全局平均池化函数，而uc(i，j)是第c个特征图uc的位置(i，j)的响应，每个通道描述符代表具有全局感受野的特征统计，通过采用简单的门控机制，从二维全局平均池化聚合的信息中充分利用特征图之间的相互依赖性，门控机制应满足两个条件；首先，要学习通道特征之间的非线性相互作用；其次，与单次热激活相反，学习独立的非排斥关系，门控机制的形成如下：
s＝f(W2DDδ(W2DU(zc)))；
其中W2DD和W2DU分别表示不同2-D卷积层的权重集，W2DD以缩小率...

【专利技术属性】
技术研发人员：李娇娇，武超雄，杜松乘，宋锐，李云松，席博博，曹锴郎，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61