基于退化估计动态傅里叶快照式高光谱深度学习重构方法技术

本发明专利技术公开基于退化估计动态傅里叶快照式高光谱深度学习重构方法。本发明专利技术过分析网络输入与真实HSI数据之间的潜在退化模式，将这种模式应用到网络体系结构中，设计了一个内核块来生成包含输入退化信息的核，用于生成TransBlock所需的逆因子和后续模块的过滤权值。同时，设计了一种局部增强的傅里叶块LFB，可以同时提取局部和非局部特征，通过引入多尺度设计以提高整个网络的性能。该方法取得了单曝光快照式高光谱计算成像系统的高性能重构。曝光快照式高光谱计算成像系统的高性能重构。曝光快照式高光谱计算成像系统的高性能重构。

【技术实现步骤摘要】
基于退化估计动态傅里叶快照式高光谱深度学习重构方法


[0001]本专利技术属于图像处理
，涉及一种基于退化估计动态傅里叶快照式高光谱计算成像深度学习重构方法，应用于单曝光快照式高光谱数据的重构。

技术介绍

[0002]HSI(高光谱图像)是指通过多通道图像捕获特定场景不同波段的光谱信息。HSI比普通RGB图像包含更丰富的场景光谱信息和空间特征。然而，传统的高光谱成像需要通过光谱仪扫描物体或场景来捕获，因此扫描过程缓慢，使用这些成像系统来捕捉动态场景是不现实的。近年来，快照压缩成像技术被越来越多的研究者应用于高光谱成像领域。其中CASSI(编码孔径快照光谱成像)系统是最具代表性的SCI(压缩感知成像)系统之一。
[0003]在CASSI捕获测量数据后，恢复标签的HSI是非常重要的。传统上，基于模型的方法应用人为设定的先验来重建高光谱图像，但需要手工调整参数，导致重建效果不佳，重建时间长。近年来，以深度学习为基础的HSI重建方法逐渐被研究者采用，这些方法通常利用图像先验，将数学优化过程展开到网络结构中，以获得更好的HSI重建效果。
[0004]然而，现有的基于深度学习的HSI重建方法没有考虑整个系统的退化模式，因此将退化模式结合到网络设计中可以使网络具有更大的潜力。同时，以注意力的形式出现的某种调节也是退化信息的隐性使用，这可以帮助提高HSI重建的质量。此外，非局部特征或长程依赖在HSI重建中非常重要，因此研究者开始设计能够模拟非局部特征的模型，并将自注意机制嵌入到网络的瓶颈层，以构建非局部特征，降低网络的复杂度并提高HSI重建质量。在计算机视觉领域中引入了Transformer，利用其对长时间依赖进行建模，可以取得良好的性能，这种非局部特征的建立受到网络的接受域的影响。传统的小核卷积网络不能实现大接收域。虽然大的卷积内核可以提供大的接收域，但是训练起来比较困难，这对网络设计也是一个挑战。
[0005]因此，需要一种能够结合整个系统的退化模式和使用注意力调节退化信息的方法，同时设计能够模拟非局部特征的模型，以提高高光谱图像重构的质量和效率。

技术实现思路

[0006]本专利技术的目的是解决HSI数据处理中存在的技术不足，提出了基于退化估计动态傅里叶快照式高光谱深度学习重构方法(DADFNet)。通过分析网络输入与真实HSI数据之间的潜在退化模式，将这种模式应用到网络体系结构中，设计了一个内核块来生成包含输入退化信息的核，用于生成TransBlock所需的逆因子和后续模块的过滤权值。同时，设计了一种局部增强的傅里叶块LFB，可以同时提取局部和非局部特征，通过引入多尺度设计以提高整个网络的性能。该方法取得了单曝光快照式高光谱计算成像系统的高性能重构。
[0007]第一方面，本专利技术提供基于退化估计动态傅里叶快照式高光谱深度学习重构方法，包括以下步骤：
[0008]步骤S1：使用成对的高光谱图像
‑
测量帧构成数据集，并划分训练集和测试集；所
述测量帧采用SD
‑
CASSI系统捕捉；
[0009]步骤S2：将训练集的测量帧经过移位和切片得到初始化高光谱图；
[0010]步骤S3：构建基于退化感知的动态傅里叶网络DADF
‑
Net，并利用训练集进行训练，利用测试集进行验证；
[0011]步骤S4：利用训练并验证好的基于退化感知的动态傅里叶网络DADF
‑
Net实现单曝光快照式高光谱数据的重构。
[0012]第二方面，本专利技术提供快照式高光谱深度学习重构系统，包括：
[0013]数据采集模块，采用SD
‑
CASSI系统捕捉测量帧；
[0014]数据预处理模块，将测量帧经过移位和切片得到初始化高光谱图；
[0015]重构模块，利用训练并验证好的基于退化感知的动态傅里叶网络DADF
‑
Net实现单曝光快照式高光谱数据的重构。
[0016]第三方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行所述的方法。
[0017]第四方面，本专利技术提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的方法。
[0018]本专利技术的有益效果：
[0019]本专利技术提出了一种感知退化的动态傅里叶网络(DADF
‑
Net)，用于高保真度的压缩HSI重建。在成像系统的退化模式的启发下，采用了网络输入与真实HSI之间的潜在关系，并将其应用到网络体系结构中。本专利技术采用了一种局部增强的傅里叶块来建模HSI的非局部特征，并考虑了HSI的局部信息。此外，还引入了多尺度设计，以提高整个网络的性能。
附图说明
[0020]图1：测量帧移位和拆分的过程。
[0021]图2：为本专利技术基于退化感知的动态傅里叶网络DADFNet的架构图。
[0022]图3：为动态傅里叶变换块的网络图。
[0023]图4：为局部增强的傅里叶块的网络图。
[0024]图5：为前馈网络的网络图。
[0025]图6：为使用12种SOTA方法和本专利技术方法对场景1的模拟HSI数据进行重构的结果，选择了28个波段中的3个(487.0nm、558.5nm和614.5nm)。
[0026]图7：为场景1的光谱曲线对应所选RGB图像的白框，包括11种SOTA方法和本专利技术方法。
[0027]图8：为场景1、2、3的频谱可视化，包括11种SOTA方法和本专利技术方法。
[0028]图9：为使用6种SOTA方法和本专利技术方法对场景1的真实HSI数据进行重构的结果，选择了28个波段中的3个(558.5nm、594.5nm和614.5nm)。
[0029]图10：为使用6种SOTA方法和本专利技术方法对场景2的真实HSI数据进行重构的结果，选择了28个波段中的3个(558.5nm、594.5nm和614.5nm)。
具体实施方式
[0030]下面结合具体实施例对本专利技术做进一步的分析。
[0031]基于退化估计动态傅里叶快照式高光谱深度学习重构方法，其特征在于所述方法包括以下步骤：
[0032]步骤S1：使用成对的高光谱图像
‑
测量帧构成数据集，并划分训练集和测试集；所述测量帧采用SD
‑
CASSI系统捕捉；
[0033]步骤S2：将训练集的测量帧经过移位和切片得到初始化高光谱图；
[0034]步骤S3：构建基于退化感知的动态傅里叶网络DADF
‑
Net，并利用训练集进行训练，利用测试集进行验证；
[0035]所述的基于退化感知的动态傅里叶网络DADF
‑
Net为一个三层的U
‑
型网络，所述U
‑
型网络采用编码器
‑
解码器架构；D本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于退化估计动态傅里叶快照式高光谱深度学习重构方法，其特征在于所述方法包括以下步骤：步骤S1：使用成对的高光谱图像
‑
测量帧构成数据集，并划分训练集和测试集；所述测量帧采用SD
‑
CASSI系统捕捉；步骤S2：将训练集的测量帧经过移位和切片得到初始化高光谱图；步骤S3：构建基于退化感知的动态傅里叶网络DADF
‑
Net，并利用训练集进行训练，利用测试集进行验证；所述的基于退化感知的动态傅里叶网络DADF
‑
Net为一个三层的U
‑
型网络，所述U
‑
型网络采用编码器
‑
解码器架构；DADF
‑
Net网络的输入为初始化高光谱图像，输出为重构后的高光谱图像；步骤S4：利用训练并验证好的基于退化感知的动态傅里叶网络DADF
‑
Net实现单曝光快照式高光谱数据的重构。2.根据权利要求1所述方法，其特征在于，步骤S2中：测量帧经过移位和拆分得到初始化高光谱图像X(：，：，n)；具体如下所示：X(：，：，n)＝Y(：，(n
‑
1)λ：(n
‑
1)λ+y)，n∈{1，2，3
…
，N}
ꢀꢀꢀꢀ
(I)其中y是图像的高度，n是波段索引号，N是总波段数，是位移步长，Y表示测量帧。3.根据权利要求1所述方法，其特征在于，步骤S3中：所述的基于退化感知的动态傅里叶网络DADF
‑
Net中：编码器包括第1层编码器层、第2层编码器层、瓶颈层；将初始化高光谱图像及掩码MASK拼接后输入至第一fusion层得到特征将特征输入至embedding层得到特征然后将会经过第1层编码器层生成层级化特征再经过第2层编码器层生成层级化特征层级化特征经过瓶颈层生成第1层编码器层包括依次级联的第一TransFourier单元、第一下采样层；所述第一TransFourier单元包括依次级联的N1个TransFourier块；N1≥1；第2层编码器层包括依次级联的第二TransFourier单元、第二下采样层；第二TransFourier单元包括依次级联的N2个TransFourier块；N2≥1；瓶颈层包括第三TransFourier单元；第三TransFourier单元包括依次级联的N3个TransFourier块；N3≥1；所述编码器与解码器间连接通过多尺度特征的交互提高网络信息的利用率，经上采样后的以及经两次上采样后的经过拼接后输入至第一MCI模块进行特征汇聚；同时，经下采样的以及经上采样后的经过拼接后输入至第二MCI模块进行特征汇聚；第1层解码器层包括依次级联的第一上采样层、第一拼接层、第一Fusion层、第四
TransFourier单元；所述第四TransFourier单元包括依次级联的N1个TransFourier块；所述第一上采样层接受第2层解码器层的输出，对其进行上采样；所述第一拼接层接受第一MCI模块的输出和第一上采样层的输出，对其进行拼接；第一Fusion层接受第一拼接层的输出，进行卷积处理；所述第四TransFourier单元接受第一Fusion层的输出，进行动态傅立叶变换；第2层解码器层包括依次级联的第二上采样层、第二拼接层、第二Fusion层、第五TransFourier单元；第五TransFourier单元包括依次级联的N2个TransFourier块；所述第二上采样层接受第三TransFourier单元的输出，对其进行上采样；所述第二拼接层接受第二MCI模块的输出和第二上采样层的输出，对其进行拼接；第二Fusion层接受第二拼接层的输出，进行卷积处理；所述第五TransFourier单元接受第二Fusion层的输出，进行动态傅立叶变换；第四TransFourier单元输出的通过第一mapping层后得到与相加得到重构的原始分辨率高光谱图像第五TransFourier单元输出的特征图通过第二mapping层后得到的特征图与经过下采样的相加得到重构的12分辨率高光谱图像第三TransFourier单元输出的特征图通过第三mapping层后得到的特征图与经过两次下采样的相加得到重构的14分辨率高光谱图像4.根据权利要求3所述方法，其特征在于，步骤S3中：所述第一下采样层、第二下采样层均采用kernelsize＝4、stride＝2的卷积层，将输入特征的尺度降一倍，通道数增加一倍。5.根据权利...

【专利技术属性】
技术研发人员：徐平，李卓，刘磊，薛凌云，袁鑫，郑海峰，邓志吉，姜哲华，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：