一种基于AGDRN网络的高光谱图像重建方法及装置制造方法及图纸

本发明专利技术涉及一种基于AGDRN网络的高光谱图像重建方法及装置，其中方法包括：获取CASSI系统采集的压缩测量数据；构建基于AGDRN主干网络的端到端重建网络并进行训练，AGDRN主干网络包括依次连接的特征映射层、特征处理模块和特征重建层，特征处理模块的顶层由一个全局跳连接跨过多个特征处理组以及一个卷积层组成，每个特征处理组由一个组级跳连接跨过一个残差注意力块、多个残差卷积块和一个卷积层组成，每个残差注意力块由一个局部跳连接跨过SSPA注意力块组成，每个残差卷积块由一个局部跳连接跨过多个卷积层组成；将压缩测量数据输入端到端重建网络，得到重建的高光谱图像。与现有技术相比，本发明专利技术具有特征提取高效、综合考虑光谱维和空间维的内在相关性等优点。考虑光谱维和空间维的内在相关性等优点。考虑光谱维和空间维的内在相关性等优点。

【技术实现步骤摘要】
一种基于AGDRN网络的高光谱图像重建方法及装置


[0001]本专利技术涉及高光谱计算成像领域，尤其是涉及一种基于AGDRN网络的高光谱图像重建方法及装置。

技术介绍

[0002]高光谱成像技术是将计算成像与光谱技术相结合的多维信息获取技术，能够同时获得场景的空间信息和光谱信息。与普通的彩色图像相比，三维的高光谱图像波段覆盖范围更广，波长分辨率也更高，因此包含更丰富的光谱细节信息，被广泛应用于遥感成像、医学诊断和计算机视觉领域。CASSI(Coded Aperture Snapshot Spectral Imaging，编码孔径快照光谱成像)是一种新兴的高光谱成像技术，基于压缩感知采样理论，其仅用少量压缩测量结果就能捕获图像的空间光谱信息，而成为该领域重要的发展方向之一。CASSI使用编码孔径与棱镜对高光谱图像进行空间与光谱调制，获取包含大部分图像信息的二维压缩测量，再使用重建技术重建得到三维高光谱图像。CASSI技术的瓶颈之一就在于如何准确地从二维压缩测量重建三维高光谱图像。
[0003]受到深度学习在其他计算成像领域的应用启发，研究人员开始将CNN(Convolutional Neural Network，卷积神经网络)引入CASSI重建。传统的CNN由于其卷积核的感受野有限，在捕获长距离相关性上有着固有局限性；其次当网络层数较深时，会出现梯度消失等问题，让网络难以训练，并丢失低频信息，降低重建精度。目前的主流做法是通过引入注意力机制与CNN结合，在重建过程中捕获特征图的长距离相关性；以及使用包含跳连接的网络结构作为重建网络的骨架，使得低频信息能够保留到深层网络中。与一般图像重建问题相比，高光谱图像重建问题有独特的数据特征：如其波段数更多更窄，因而其光谱维相关性很高，同时由于信息被分散到各个波段，每个光谱波段内的空间维信息分布较为稀疏；高光谱图像数据量远大于常见的灰度或彩色图像；CASSI将三维高光谱图像压缩为二维测量，因此信息压缩率很高。为此需要设计针对性的高效注意力模块和网络结构用于充分提取和传递特征信息。

技术实现思路

[0004]本专利技术的目的就是为了提供一种基于AGDRN网络的高光谱图像重建方法及装置，赋予网络在不同模块间传递不同频率水平的特征信息的能力，从而保留低频细节信息并解决梯度消失问题；同时，通过新型SSPA注意力机制高效发掘压缩测量数据的内在关联，并与卷积层结合，通过计算全局注意力来捕获长距离相关性，并通过自适应生成不同区域的重要性权重，增强网络的辨别性学习能力。
[0005]本专利技术的目的可以通过以下技术方案来实现：
[0006]一种基于AGDRN网络的高光谱图像重建方法，包括以下步骤：
[0007]获取CASSI系统采集的压缩测量数据；
[0008]构建基于AGDRN主干网络的端到端重建网络并进行训练，所述AGDRN主干网络包括
依次连接的特征映射层、特征处理模块和特征重建层，特征处理模块的顶层层次由一个全局跳连接跨过多个特征处理组以及一个卷积层组成，每个特征处理组由一个组级跳连接跨过一个残差注意力块、多个残差卷积块和一个卷积层组成，每个残差注意力块由一个局部跳连接跨过SSPA注意力块组成，每个残差卷积块由一个局部跳连接跨过多个卷积层组成；
[0009]将压缩测量数据输入端到端重建网络，得到重建的高光谱图像。
[0010]所述特征映射层由一层卷积层实现，用于将压缩测量数据映射到特征空间：
[0011]X
M
＝conv(Y)
[0012]其中，Y是CASSI系统采集的压缩测量数据，conv表示卷积操作，X
M
是初步映射到特征空间的特征图。
[0013]所述特征处理模块的顶层层次处理过程为：
[0014]X
P
＝conv(G
A
(...G2(G1(X
M
))...))+X
M
[0015]其中，G
A
()表示第A个特征处理组，X
P
表示特征处理模块的输出。
[0016]每个特征处理组的处理过程为：
[0017]G(F)＝conv(R
B
(...R2(R1(Attn(F)))...))+F
[0018]其中，conv表示卷积操作，Attn()表示残差注意力块，R
B
()代表第B个残差卷积块，F表示特征处理组的输入特征图。
[0019]每个残差注意力块的处理过程为：
[0020]Attn(F1)＝SSPA(F1)+F1[0021]其中，F1表示残差注意力块的输入特征图，SSPA是空间
‑
光谱分块注意力，包括依次连接的光谱注意力子模块和空间注意力子模块：
[0022]SSPA(F1)＝A
S
(A
C
(F1))
[0023]其中，A
S
()代表空间注意力子模块，A
C
()代表光谱注意力子模块。
[0024]所述光谱注意力子模块执行如下操作赋予特征图各光谱通道不同的注意力权重：
[0025]A
C
(F1)＝F1⊙
C
σ(MLP(Max(F1))+MLP(Avg(F1)))
[0026]其中，Max()和Avg()分别代表最大池化层和平均池化层，MLP表示多层感知机，σ()表示Sigmoid激活函数，
⊙
C
表示按通道点乘。
[0027]所述空间注意力子模块执行如下操作生成逐光谱通道的注意力图：
[0028]A
S
(F1′
)＝F1′⊙
P
σ(MLP(conv(F1′
)))
[0029]其中，conv表示卷积操作，MLP表示多层感知机，σ()表示Sigmoid激活函数，
⊙
P
表示按空间块点乘，F1’
表示空间注意力子模块的输入，即光谱注意力子模块的输出特征图。
[0030]每个残差卷积块的处理过程为：
[0031]R(F2)＝conv(Relu(conv(F2)))+F2[0032]其中，Relu()表示激活函数，conv表示卷积操作，F2表示残差卷积块的输入。
[0033]所述特征重建层与特征映射层相反，使用一层卷积将特征处理模块的输出还原为重建高光谱图像：
[0034]X
R
＝conv(X
P
)
[0035]其中，X
R
表示端到端重建网络输出的重建高光谱图像。
[0036]一种基于AGDRN网络的高光谱图像重建装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。
[0037]与现有技术相比，本专利技术具有以下有益效果：
[0038](1)本专利技术针对传统CN本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AGDRN网络的高光谱图像重建方法，其特征在于，包括以下步骤：获取CASSI系统采集的压缩测量数据；构建基于AGDRN主干网络的端到端重建网络并进行训练，所述AGDRN主干网络包括依次连接的特征映射层、特征处理模块和特征重建层，特征处理模块的顶层层次由一个全局跳连接跨过多个特征处理组以及一个卷积层组成，每个特征处理组由一个组级跳连接跨过一个残差注意力块、多个残差卷积块和一个卷积层组成，每个残差注意力块由一个局部跳连接跨过SSPA注意力块组成，每个残差卷积块由一个局部跳连接跨过多个卷积层组成；将压缩测量数据输入端到端重建网络，得到重建的高光谱图像。2.根据权利要求1所述的一种基于AGDRN网络的高光谱图像重建方法，其特征在于，所述特征映射层由一层卷积层实现，用于将压缩测量数据映射到特征空间：X
M
＝conv(Y)其中，Y是CASSI系统采集的压缩测量数据，conv表示卷积操作，X
M
是初步映射到特征空间的特征图。3.根据权利要求2所述的一种基于AGDRN网络的高光谱图像重建方法，其特征在于，所述特征处理模块的顶层层次处理过程为：X
P
＝conv(G
A
(
…
G2(G1(X
M
))
…
))+X
M
其中，G
A
()表示第A个特征处理组，X
P
表示特征处理模块的输出。4.根据权利要求1所述的一种基于AGDRN网络的高光谱图像重建方法，其特征在于，每个特征处理组的处理过程为：G(F)＝conv(R
B
(
…
R2(R1(Attn(F)))
…
))+F其中，conv表示卷积操作，Attn()表示残差注意力块，R
B
()代表第B个残差卷积块，F表示特征处理组的输入特征图。5.根据权利要求1所述的一种基于AGDRN网络的高光谱图像重建方法，其特征在于，每个残差注意力块的处理过程为：Attn(F1)＝SSPA(F1)+F1其中，F1表示残差注意力块的输入特征图，SSPA是空间
‑
光谱分块注意力，包括依次连接的光...

【专利技术属性】
技术研发人员：赵生捷，邱业川，
申请(专利权)人：同济大学，
类型：发明
国别省市：