一种基于光谱冗余压缩的高光谱成像方法技术

本发明专利技术公开了一种基于光谱冗余压缩的高光谱成像方法，包括如下步骤：一、搭建高光谱成像系统，利用所述高光谱成像系统对目标场景进行压缩采样得到观测值和RGB图像，所述高光谱成像系统为基于单像素重建的高光谱成像系统；二、构建单像素高光谱重建网络，利用所述单像素高光谱重建网络对步骤一得到的观测值和RGB图像进行处理，得到高空间、高光谱分辨率的重建结果，所述单像素高光谱重建网络包括基于光谱冗余压缩的单像素重建模块和基于渐进式超分的双维度拉伸模块，最终在获得高空间、高光谱分辨率的重建结果的同时，并没有增加实际压缩采样次数。缩采样次数。缩采样次数。

【技术实现步骤摘要】
一种基于光谱冗余压缩的高光谱成像方法


[0001]本专利技术涉及一种基于光谱冗余压缩的高光谱成像方法，属于光学成像


技术介绍

[0002]传统压缩感知网络的采样和重构过程：目标场景图像，其中代表空间维度，代表光谱维度。为了方便解释，取，即，首先压缩采样目标场景图像得到观测值，在本专利技术中使用哈达玛矩阵并经过能量排序，得到观测矩阵。使变形为，并通过下式对进行压缩采样式中，，压缩采样率，然后利用传统的压缩感知重建网络重构目标场景图像。
[0003]当将其应用于高光谱重建中，即输入的图像不再是，而是，只需要重复次上述公式的过程，得到。因为传统的压缩感知重建网络通过全连接网络从输入的压缩采样值估计初步的重建结果。这就意味着网络中两个相邻层中的所有单元都会相互连接，这会极大地增加训练过程的计算复杂度，同时会导致结果出现过拟合问题。
[0004]现有技术的单像素高光谱重建网络通常使用切小块的方式减少网络计算参数，网络计算参数的限制就意味着这些图像块会很小。
[0005]因此，需要一种新的基于光谱冗余压缩的高光谱成像方法以解决上述问题。

技术实现思路

[0006]本专利技术的目的在于提供一种基于光谱冗余压缩的高光谱成像方法，以解决上述
技术介绍
中提出的问题。
[0007]一种基于光谱冗余压缩的高光谱成像方法，包括如下步骤：
[0008]一、搭建高光谱成像系统，利用所述高光谱成像系统对目标场景进行压缩采样得到观测值和RGB图像，所述高光谱成像系统为基于单像素重建的高光谱成像系统；
[0009]二、构建单像素高光谱重建网络，利用所述单像素高光谱重建网络对步骤一得到的观测值和RGB图像进行处理，得到高空间、高光谱分辨率的重建结果，所述单像素高光谱重建网络有基于光谱冗余压缩的单像素重建模块和基于渐进式超分的双维度拉伸模块组成。
[0010]更进一步的，步骤一中所述RGB图像为具有高空间分辨率的RGB图像。
[0011]更进一步的，步骤一中所述高光谱成像系统包括物镜L1、平板分束器BS、单像素相机、全内反射棱镜TIR、数字微镜装置DMD、准直器L2和光纤光谱仪，所述物镜L1设置在目标场景和平板分束器BS之间，所述单像素相机和全内反射棱镜TIR分别设置在所述平板分束
器BS的两条光路上，所述数字微镜装置DMD设置在所述全内反射棱镜TIR直射光路上，所述准直器L2设置在所述全内反射棱镜TIR的偏转光路上，所述光纤光谱仪通过光纤接收所述准直器L2的光线。
[0012]更进一步的，所述数字微镜装置DMD采用哈达玛模板。
[0013]更进一步的，步骤二中所述单像素高光谱重建网络包括以下步骤：
[0014]21、首先，利用基于光谱冗余压缩的单像素重建模块对步骤一的观测值进行压缩感知重建，从而得到降维后的初步重建结果；
[0015]22、其次，引入所述RGB图像，利用基于渐进式超分的双维度拉伸模块对步骤21的初步重建结果进行处理，得到高空间和高光谱分辨率的重建结果。
[0016]更进一步的，步骤二中所述基于光谱冗余压缩的单像素重建模块采用以下模型：
[0017][0018]其中，代表压缩采样目标场景得到的观测值，代表利用降维模块降维观测值后的结果，代表在降维的情况下的重建和增强结果，表示全连接重建模块，表示残差增强模块，表示利用连续的光谱维度全连接对压缩采样的观测值进行降维处理。
[0019]更进一步的，步骤二中所述基于渐进式超分的双维度拉伸模块采用以下模型：
[0020]其中，表示特征波段拼接，表示残差连接，表示RGB图像，表示光谱维度恢复结果，表示Transformer模型，表示空间分辨率超分结果，为亚像素卷积模型。：卷积核大小为3
×
3的卷积操作
[0021]更进一步的，所述Transformer模型包括以下步骤：
[0022]221、将重塑为，然后利用下式对进行线性投影操作：
[0023][0024]式中，为投影后的结果，为可学习的参数，代表图像的空间分辨率，为图像的光谱波段数量；
[0025]222、沿着光谱通道数将分为个部分，即，每个部分的尺寸均为，然后利用下式计算的注意力机制：
[0026][0027]式中，为的转置，为可学习参数，代表激活函数；
[0028]223、将个部分相互连接并通过下式进行操作：
[0029][0030]式中，为可学习的参数，由两个和一个激活函数组成，为输出结果。
[0031]本专利技术利用了Transformer模型TFM恢复图像光谱维度，为了获得优化的特征向量，TFM叠加了注意力网络和全连接层。TFM可以为每个维度添加一个独立的参数，在恢复图像光谱维度的过程中，可以调整光谱维度之间的权重关系。
[0032]2、更进一步的，步骤二中单像素高光谱重建网络的损失函数如下式所示：
[0033][0034]式中，代表期望的结果，代表网络输出的结果，F表示F范数，代表权重系数，M为元素个数。
[0035]在选择约束网络学习的损失函数时，考虑到同时学习三维信息的要求，选择了基于三维数据的MSE函数计算损失。
[0036]有益效果：本专利技术的基于光谱冗余压缩的高光谱成像方法结合深度学习提出了单像素高光谱重建网络，在低维度下利用光谱冗余压缩的方法进行压缩感知重建，减少需要计算的参数，将高光谱成像做成端到端的模式，实现更大场景的高光谱图像重建。利用渐进式图像超分的方法，依次完成对图像的光谱维度的恢复以及空间维度的超分。通过引入低成本的高空间分辨率的RGB图像，最终在获得高空间、高光谱分辨率的重建结果的同时，并没有增加实际压缩采样次数。
附图说明
[0037]图1是基于光谱冗余压缩和渐进式图像超分的单像素高光谱重建网络的结构示意图；图2是基于光谱冗余压缩的单像素重建；图3是维度压缩模块；图4是压缩感知重建和增强模块；图5是基于渐进式超分的双维度拉伸；图6是Transformer模块；图7是Cave数据集测试图像（pompoms_ms）在500nm、600nm、700nm波重建结果；图8是Cave数据集测试图像（pompoms_ms）在500nm、600nm、700nm波段误差图；图9是Icvl数据集测试图像（tree_0822
‑
0853）在500nm、600nm、700nm波段重建结果；图10是Icvl数据集测试图像（tree_0822
‑
0853）在500nm、600nm、700nm波段误差图；
图11是Cave数据集测试图像（pompoms_ms）的光谱曲线，左侧是场景的RGB图像，右侧是重建结果的光谱曲线，p1、p2分别对应RGB图像上的p1、p2位置；图12是Icvl数据集测试图像（tree_0822
‑
0853）的光谱曲线，左侧是场景的RGB图像，右侧是重建结果的光谱曲线，p1、p2分别对应RGB图像上的p1、p2位置；图1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光谱冗余压缩的高光谱成像方法，其特征在于，包括如下步骤：一、搭建高光谱成像系统，利用所述高光谱成像系统对目标场景进行压缩采样得到观测值和RGB图像，所述高光谱成像系统为基于单像素重建的高光谱成像系统；二、构建单像素高光谱重建网络，利用所述单像素高光谱重建网络对步骤一得到的观测值和RGB图像进行处理，得到高空间、高光谱分辨率的重建结果，所述单像素高光谱重建网络由基于光谱冗余压缩的单像素重建模块和基于渐进式超分的双维度拉伸模块组成。2.如权利要求1所述的基于光谱冗余压缩的高光谱成像方法，其特征在于：步骤一中所述RGB图像为具有高空间分辨率的RGB图像。3.如权利要求1所述的基于光谱冗余压缩的高光谱成像方法，其特征在于：步骤一中所述高光谱成像系统包括物镜L1、平板分束器BS、单像素相机、全内反射棱镜TIR、数字微镜装置DMD、准直器L2和光纤光谱仪，所述物镜L1设置在目标场景和平板分束器BS之间，所述单像素相机和全内反射棱镜TIR分别设置在所述平板分束器BS的两条光路上，所述数字微镜装置DMD设置在所述全内反射棱镜TIR直射光路上，所述准直器L2设置在所述全内反射棱镜TIR的偏转光路上，所述光纤光谱仪通过光纤接收所述准直器L2的光线。4.如权利要求3所述的基于光谱冗余压缩的高光谱成像方法，其特征在于：所述数字微镜装置DMD采用哈达玛模板。5.如权利要求1所述的基于光谱冗余压缩的高光谱成像方法，其特征在于：步骤二中所述单像素高光谱重建网络包括以下步骤：首先，利用基于光谱冗余压缩的单像素重建模块对步骤一的观测值进行压缩感知重建，得到降维后的初步重建结果；其次，引入所述RGB图像，利用基于渐进式超分的双维度拉伸模块...

【专利技术属性】
技术研发人员：张毅，于子琦，赵壮，陆骏，韩静，柏连发，穆久涛，欧阳若冰，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：