一种基于GAP框架的轻量化注意力高光谱计算重构方法技术

本发明专利技术公开了一种基于GAP框架的轻量化注意力高光谱计算重构方法，包括医药高光谱图像在经过编码孔径快照式光谱成像后获得医药高光谱测量值，将医药高光谱图像和医药高光谱测量值向量化，得到向量化后的医药高光谱图像、医药高光谱测量值以及向量化后的函数关系；基于广义交替投影法和向量化后的函数关系对向量化后的医药高光谱图像进行优化求解得到优化求解表达式，进而得到向量化后的医药高光谱图像与对偶变量之间的关系表达式；将向量化后的医药高光谱图像输入至轻量化非局部注意力网络，得到对偶变量的表达式，结合向量化后的医药高光谱图像与对偶变量之间的关系表达式进行迭代，达到预设迭代次数时，得到最终的医药高光谱图像的重构值。药高光谱图像的重构值。药高光谱图像的重构值。

【技术实现步骤摘要】
一种基于GAP框架的轻量化注意力高光谱计算重构方法


[0001]本专利技术属于高光谱计算重构
，特别是涉及一种基于GAP框架的轻量化注意力高光谱计算重构方法。

技术介绍

[0002]高光谱成像技术分为扫描式成像和快照式成像，其中前者通过在时间或空间维度的扫描成像获取被测场景的全波段光谱信息，后者通过压缩感知技术在单次曝光成像中获取被测场景的压缩高光谱信息。相对而言，高光谱快照式成像能在单次曝光时间获取全部空间和光谱信息，相比与扫描式成像具有显著的优势，不仅可以采集静态场景的空谱数据，还能应用于医药试剂、医疗病理切片、内窥镜成像等动态场景，实现复杂场景的实时动态高光谱数据采集。
[0003]高光谱快照式成像主要原理在于压缩感知技术，通过对压缩测量值的计算重构获取高质量的高光谱图像。传统的计算重构方法多用迭代的形式，如TwIST、ADMM
‑
TV、GAP
‑
TV等，迭代优化的方法在重构时能保持稳定的重构效果，但受限于优化器的优化效果，一般很难达到较高的重构精度，对于高质量清晰计算重构的成像无法达到要求。而当前有许多基于深度学习的方法，如λ
‑
net、TSA
‑
net等方法，通过端到端的映射，可以实现高光谱数据的快速重构，然而，基于深度学习的方法受限于数据集数据量大、网络训练耗费时间长、计算资源占用量大、泛化性能差等缺点，无法在边缘设备端进行较好的部署和应用。
[0004]因此，将迭代优化方法与基于深度学习的方法进行有机结合可以较好的解决这个问题。在迭代优化方法中，优化器也可以称为去噪器，用于对迭代过程的中间变量进行优化去噪。去噪器可以选择任何具备去噪效果的方法，如最经典的总变分（TV）、低秩分解等方法，也可以选择当前效果最好的一些神经网络去噪方法，如MAC
‑
Net等。这种可以随机替换去噪器的模型，有利于不断更新模型的计算重构效果，而且适用于各种不同构型的高光谱快照式系统，可复用性强，扩展性强。并且，模型的收敛性能在长时间的迭代过程中也可以保持稳定，在深度学习技术不断迭代进步的情况下，还可以不断地替换最新的去噪方法来提升计算重构的性能。

技术实现思路

[0005]针对以上技术问题，本专利技术提供一种基于GAP框架的轻量化注意力高光谱计算重构方法。
[0006]本专利技术解决其技术问题采用的技术方案是：一种基于GAP框架的轻量化注意力高光谱计算重构方法，所述方法包括以下步骤：S100：医药高光谱图像在经过编码孔径快照式光谱成像后，获得医药高光谱测量值，将医药高光谱图像和医药高光谱测量值向量化，得到向量化后的医药高光谱图像、向量化后的医药高光谱测量值以及向量化后的医药高光谱图像和医药高光谱测量值之间的函数关系；其中，H、W、B、d分别表示图像的高、宽、光
谱波段数和编码孔径成像模型的光谱偏移度；S200：基于广义交替投影法以及向量化后的医药高光谱图像和医药高光谱测量值之间的函数关系对向量化后的医药高光谱图像进行优化求解，得到优化求解表达式；S300：搭建基于GAP框架的轻量化非局部注意力网络，轻量化非局部注意力网络包括SVD光谱特征提取模块、前馈特征提取层、自编码器模块、第一Light
‑
Nonlocal注意力模块、数据重构层和第二Light
‑
Nonlocal注意力模块；S400：采用迭代求解的方法对优化求解表达式进行转换，得到向量化后的医药高光谱图像与对偶变量之间的关系表达式；S500：将向量化后的医药高光谱图像输入至轻量化非局部注意力网络，得到对偶变量的表达式，基于对偶变量的表达式以及向量化后的医药高光谱图像与对偶变量之间的关系表达式进行迭代，当迭代次数达到预设迭代次数时，得到最终的医药高光谱图像的重构值。
[0007]优选地，S100包括：S110：医药高光谱图像在经过编码孔径快照式光谱成像后，获得医药高光谱测量值，将编码矩阵定义为A，医药高光谱测量值Y与医药高光谱数据X之间的函数关系可以定义为：（1）其中，，；S120：将医药高光谱图像和医药高光谱测量值向量化，得到向量化后的医药高光谱图像、向量化后的医药高光谱测量值以及向量化后的医药高光谱图像和医药高光谱测量值之间的函数关系：（2）令N=H
×
W
×
B，M=H
×
(W+d(B
‑
1))，则，，表示向量化后的医药高光谱测量值，表示向量化后的医药高光谱图像。
[0008]优选地，S200包括：（3）其中，根据广义交替投影法，C表示L1范数球的半径，θ表示引入的对偶变量，表示满足约束条件，的重构医药高光谱图像最优值。
[0009]优选地，S400包括：S410：采用迭代求解的方法，将（3）式表达为：（4）其中，k表示迭代的次数；将其改写成拉格朗日形式，则有：
（5）其中，λ表示平衡超参数，函数表示对中间变量的优化函数；对于的子问题，可以写成：（6）其拉格朗日方程为：（7）其中b表示拉格朗日对偶变量，有；关于对偶变量b的拉格朗日方程为：（8）对方程求解可得：（9）因此，可得的表达式为：（10）将（10）式改写成迭代求解的形式为：（11）S420：采用轻量化非局部注意力网络的求解方法对对偶变量进行迭代求解：（12）。
[0010]优选地，S500具体为：S510：将向量化后的医药高光谱图像进行处理后得到X2发送至SVD光谱特征提取模块进行光谱维特征的提取和降维得到SVD的输出特征图，将SVD的输出特征图进行处理后得到X3输入至前馈特征提取层；S520：前馈特征提取层将X3中的光谱低秩数据进行特征的升维，将升维后的特征图X4输出发送至自编码模块；S530：自编码器模块用于对前馈特征提取层输出的X4中的高维特征数据进行空间特征的提取，将提取了空间特征后的特征图X5发送至第一Light
‑
Nonlocal注意力模块；S540：第一Light
‑
Nonlocal注意力模块用于轻量化地使当前网络节点关注X5的空间语义信息，捕获更丰富的空间特征信息，将输出特征图X6与前馈特征提取层的输出特征
图X4进行相加后输入至数据重构层；S550：数据重构层用于将X6和X4相加后的特征图进行降维，实现光谱低秩数据的重构，得到重构后的特征图X7，并发送至第二Light
‑
Nonlocal注意力模块；S560：第二Light
‑
Nonlocal注意力模块用于轻量化使当前网络节点关注重构后的特征图X7中的空间语义信息，得到输出特征图X8；S570：将输出特征图X8与X3相加后得到最终的输出特征图X9，根据最终的输出特征图得到对偶变量，基于对偶变量的表达式以及向量化后的医药高光谱图像与对偶变量之间的关系表达式进行迭代，当迭代次数达到预设迭代次数时，得到最终的医药高光谱图像的重构值。
[0011]优选地，S510具体为：将向量化后的医药高光谱图像进行矩阵变换得到重构中间值X1，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于GAP框架的轻量化注意力高光谱计算重构方法，其特征在于，所述方法包括以下步骤：S100：医药高光谱图像在经过编码孔径快照式光谱成像后，获得医药高光谱测量值，将医药高光谱图像和医药高光谱测量值向量化，得到向量化后的医药高光谱图像、向量化后的医药高光谱测量值以及向量化后的医药高光谱图像和医药高光谱测量值之间的函数关系；其中，H、W、B、d分别表示图像的高、宽、光谱波段数和编码孔径成像模型的光谱偏移度；S200：基于广义交替投影法以及向量化后的医药高光谱图像和医药高光谱测量值之间的函数关系对向量化后的医药高光谱图像进行优化求解，得到优化求解表达式；S300：搭建基于GAP框架的轻量化非局部注意力网络，轻量化非局部注意力网络包括SVD光谱特征提取模块、前馈特征提取层、自编码器模块、第一Light
‑
Nonlocal注意力模块、数据重构层和第二Light
‑
Nonlocal注意力模块；S400：采用迭代求解的方法对优化求解表达式进行转换，得到向量化后的医药高光谱图像与对偶变量之间的关系表达式；S500：将向量化后的医药高光谱图像输入至轻量化非局部注意力网络，得到对偶变量的表达式，基于对偶变量的表达式以及向量化后的医药高光谱图像与对偶变量之间的关系表达式进行迭代，当迭代次数达到预设迭代次数时，得到最终的医药高光谱图像的重构值。2.根据权利要求1所述的方法，其特征在于，S100包括：S110：医药高光谱图像在经过编码孔径快照式光谱成像后，获得医药高光谱测量值，将编码矩阵定义为A，医药高光谱测量值Y与医药高光谱数据X之间的函数关系可以定义为：（1）其中，，；S120：将医药高光谱图像和医药高光谱测量值向量化，得到向量化后的医药高光谱图像、向量化后的医药高光谱测量值以及向量化后的医药高光谱图像和医药高光谱测量值之间的函数关系：（2）令N=H
×
W
×
B，M=H
×
(W+d(B
‑
1))，则，，表示向量化后的医药高光谱测量值，表示向量化后的医药高光谱图像。3.根据权利要求2所述的方法，其特征在于，S200包括：（3）其中，根据广义交替投影法，C表示L1范数球的半径，θ表示引入的对偶变量，表示满足约束条件，的重构医药高光谱图像最优值。
4.根据权利要求3 所述的方法，其特征在于，S400包括：S410：采用迭代求解的方法，将（3）式表达为：（4）其中，k表示迭代的次数；将其改写成拉格朗日形式，则有：（5）其中，λ表示平衡超参数，函数表示对中间变量的优化函数；对于的子问题，可以写成：（6）其拉格朗日方程为：（7）其中b表示拉格朗日对偶变量，有；关于对偶变量b的拉格朗日方程为：（8）对方程求解可得：（9）因此，可得的表达式为：（10）将（10）式改写成迭代求解的形式为：（11）S420：采用轻量化非局部注意力网络的求解方法对对偶变量进行迭代求解：（12）。5.根据权利要求4所述的方法，其特征在于，S500具体为：S510：将向量化后的医药高光谱图像进行处理后得到X2发送至SVD光谱特征提取模块进行光谱维特征的提取和降维得到SVD的输出特征图，将SVD的输出特征图进行处理后得到X3输入至前馈特征提取层；
S520：前馈特征提取层将X3中的光谱低秩数据进行特征的升维，将升维后的特征图X4输出发送至自编码模块；S530：自编码器模块用于对前馈特征提取层输出的X4中的高维特征数据进行空间特征的提取，将提取了空间特征后的特征图X5发送至第一Light
‑
Nonlocal注意力模块；S540：第一Light
‑
Nonlocal注意力模块用于轻量化地使当前网络节点关注X5的空间语义信息，捕获更丰富的空间特征信息，将输出特征图X6与前馈特征提取层的输出特征图X4进行相加后输入至数据重构层；S550：数据重构层用于将X6和X4相加后的特征图进行降维，实现光谱低秩数据的重构，得到重构后的特征图X7，并发送至第二Light
‑
Nonlocal注意力模块；S560：第二Light
‑
Nonlocal注意力模块用于轻量化使当前网络节点关注重构后的特征图X7中的空间语义信息，得到输出特征图X8；S570：将输出特征图X8与X3相加后得到最终的输出特征图X9，根据最终的输出特征图得到对偶变量，基于对偶变量的表达式以及向量化后的医药高光谱图像与对偶变量之间的关系表达式进行迭代，当迭代次数达到预设迭代次数时，得到最终的医药高光谱图像的重构值。6.根据权利要求5所述的方法，其特征在于，S510具体为：将向量化后的医药高光谱图像进行矩阵变换得到重构中间值X1，X1数据尺寸为（H，W，N
λ
），其中N
λ
=B；对于高光谱图像重构中间值X1，其图像噪声水平服从（0，Σ）分布，因此，用和X1相乘得到图像噪声水平独立分布的X2；利用SVD分解，对X2进行矩阵分解：（13）其中K表示K阶矩阵，和分别表示SVD分解的左右正交矩阵，表示奇异值特征矩阵；令，将输入到前馈特征提取层。7.根据权利要求6所述的方法，其特征在于，S520具体为：第1步是3D张量批归一化，将X3中的所有元素归一化到0和1之间；第2步是激活函数线性整流操作，通过ReLU函数，即：（14）第3步是3D张量卷积操作，其中卷积核的大小为（3,3,3），步长为（1,1,1），补零为（1,1,1），输出通道数为16；经过前馈特征提取层后，原输入的张量数据大小为（1,H,W,K），输出的张量数据X4大小为（C,H,W,K），C=16，C表示张量数据的通道数；经过前馈特征提取层输出的张量数据X4，送入自编码器模块进行光谱特征降维后的空间特征提取。
8.根据权利要求7所述的方法，其特征在于，S530中的自编码器模块包括5层编码层和5层解码层，具体如下：第1编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1）；输入的张量数据大小为（C,H,W,K），输出的张量数据大小为（C,H,W,K）；第2编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（2,2,1），补零为（1,1,1）；输入的张量数据大小为（C,H,W,K），输出的张量数据大小为（2C,H/2,W/2,K）；第3编码层，包括3D张量批归一化、ReLU激活函数和3D张量卷积，卷积核大小为（3,3,3），步长为（1,1,1），补零为（1,1,1...

【专利技术属性】
技术研发人员：毛建旭，苏学叁，王耀南，张辉，朱青，陈煜嵘，刘彩苹，
申请(专利权)人：湖南大学，
类型：发明
国别省市：