双相机压缩测量协同张量表示的融合计算成像方法技术

本发明专利技术公开了一种双相机压缩测量协同张量表示的融合计算成像方法，包括：建立双光路压缩测量装置，一路为编码孔径快照光谱测量装置，另一路为全色相机测量装置；通过伯努利随机矩阵生成的压缩编码孔径、色散棱镜引起的偏移、相机的光谱响应构造前向压缩采样过程；两路测量信息经过三阶张量表示，综合各向异性加权空

【技术实现步骤摘要】
双相机压缩测量协同张量表示的融合计算成像方法


[0001]本专利技术属于计算摄像学领域，特别是一种双相机压缩测量协同张量表示的融合计算成像方法。

技术介绍

[0002]高光谱图像是由几十甚至上百连续光谱波段组成的三维数据集，相比于RGB彩色图像，高光谱图像具有丰富的光谱信息和细节结构。在环境和军事监测、农业规划、矿物勘察和医学检测等领域具有广泛的应用。
[0003]传统的高光谱成像方法，如推扫型高光谱成像仪和摆扫式高光谱成像仪，一次只能捕获一个一维或二维的光谱立方体子集，需要采用时序的扫描策略才能捕获一个完整的三维光谱数据。因而这种成像方法是耗时的，且不能捕获动态的场景。近几年，随着计算成像技术和压缩感知理论的发展，压缩成像测量方法以远低于奈奎斯特采样数完成对目标场景的压缩采样，并利用相关计算成像算法完成对高光谱图像的复原。最典型的压缩成像测量装置是由美国杜克大学DavidBrady等人研制的编码孔径快照光谱成像测量装置(M.Gehm,R.John,D.Brady,R.Willett,and T.Schulz,“Single
‑
shot compressive spectral imaging with a dual
‑
disperser architecture,”Opt.Exp.,vol.15,no.21,pp.14013
–
14027,Oct.2007)。为了提升重构的质量，Wang等人提出双相机压缩成像测量装置(L.Wang,Z.Xiong,D.Gao,G.Shi,and F.Wu,“Dual
‑
camera design for coded aperture snapshot spectral imaging,”Applied Optics,vol.54,no.4,pp.848
–
58,2015.)，它将编码孔径快照光谱成像测量装置和全色相机结合，实现了光谱信息和空间信息的互补。
[0004]从这两路采样中融合计算成像原始的高光谱图像是一个欠定的难题。这个压缩感知反问题通常被转化为求解一个l1范数最优化问题。通过增加稀疏约束，假定高光谱图像在小波基下是可稀疏表示的，该问题可通过基于稀疏重构的梯度投影算法(gradient projection for sparse reconstruction,GPSR)(Figueiredo M AT,Nowak R D,Wright S J.Gradient Projection for Sparse Reconstruction:Application to Compressed Sensing and Other Inverse Problems[J].IEEE Journal of Selected Topics in Signal Processing,2008,1(4):586
‑
597.)求解。以及基于分段平滑的全变差约束法(2D total variation,2DTV)(Chambolle A.An Algorithm for Total Variation Minimization and Applications[J].Journal of Mathematical Imaging&Vision,2004,20(1
‑
2):89
‑
97.)。但这类算法很容易导致重构的图像出现过平滑的现象，丢失了很多纹理信息。Peng等人提出一种E
‑
3DTV模型(孟德宇，彭江军，谢琦等.一种基于E
‑
3DTV正则的高光谱图像修复方法.CN109191404A.2019)，是对传统3DTV的增强和改进，对三个方向的梯度图做低秩矩阵分解并对基矩阵加稀疏约束，得到E
‑
3DTV正则，更能降低噪声的干扰。Fu等人提出一种低秩矩阵约束模型(low
‑
rank matrix approximation，LRMA)(Fu Y,Zheng Y,Sato I,et al.Exploiting Spectral
‑
Spatial Correlation for Coded Hyperspectral Image Restoration[C]//Computer Vision&Pattern Recognition.IEEE,2016.)，能够有效地利
用高光谱图像的空间
‑
光谱相关性，计算成像质量有一定提升。但这些方法都基于矩阵
‑
向量形式的观测模型，把三维高光谱图像展开成一个一维向量，破坏了高光谱图像原有的内在属性，导致重构的质量有限，从而限制了实际的应用。王立志等人提出一种维度可区分的张量低秩约束模型(dimension
‑
discriminative low
‑
rank tensor regularization)(王立志，张仕鹏，黄华.一种张量低秩约束的快照式光谱成像系统的重构方法，CN110501072A.2019)，利用了高光谱图像的高维结构特性，并能表达高光谱图像在多个维度的相关性，有利于提升高光谱成像的精度。这些方法都把两路观测模型转化为一项压缩测量保真项，未能提升压缩测量项与全色图像两者之间的自适应，且未能完全有效地利用全色图像的空间信息。

技术实现思路

[0005]本专利技术的目的在于提供一种双相机压缩测量协同张量表示的融合计算成像方法，该方法中的张量表示能充分地挖掘高光谱图像的立方体图谱特性，将两路观测模型转化为压缩测量光谱保真项和全色约束保真项，通过协同张量Tucker分解与全色图像建立耦合关系，综合各向异性加权空
‑
谱全变差，通过融合计算，大幅度地提升高光谱成像质量和空
‑
谱特征保持能力。
[0006]实现本专利技术目的的技术解决方案为：一种双相机压缩测量协同张量表示的融合计算成像方法，包括如下步骤：
[0007]步骤1，建立双光路压缩测量装置，形成空
‑
谱信息压缩测量；
[0008]步骤2，构造前向压缩采样算子，描述两路压缩测量的观测过程；
[0009]步骤3，建立双相机压缩测量协同张量表示正则化模型；
[0010]步骤4，交替方向乘子方法迭代优化求解，输出融合计算成像结果。
[0011]本专利技术与现有技术相比，其显著特点在于：(1)本专利技术建立了一种新的张量表示的双相机压缩测量观测模型，为后续更好地挖掘高光谱图像的立方体图谱特性；(2)将两路观测模型转化为压缩测量光谱保真项和全色约束保真项之和，提升了这两项的自适应；(3)通过协同张量Tucker分解，更能充分地利用高光谱图像波段之间的全局空间和光谱相关性；(4)在全色约束保真项中，将高光谱图像协同张量Tucker分解中的核心张量和空间因子矩阵与全色图像分解中的核心张量和空间因子矩阵本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双相机压缩测量协同张量表示的融合计算成像方法，其特征在于，包括以下步骤：步骤1，建立双光路压缩测量装置，形成空
‑
谱信息压缩测量；步骤2，构造前向压缩采样算子，描述两路压缩测量的观测过程；步骤3，建立双相机压缩测量协同张量表示正则化模型；步骤4，交替方向乘子方法迭代优化求解，输出融合计算成像结果。2.根据权利要求1所述的双相机压缩测量协同张量表示的融合计算成像方法，其特征在于，步骤1中所述的双光路压缩测量装置，其中一路透过分光镜进入编码孔径快照光谱成像测量装置，通过建立编码孔径快照光谱成像的数据采集测量光路，该光路包括依次设置的物镜、编码孔径、带通滤波器、中继镜、色散棱镜和探测器；另一路经分光镜反射进入全色相机光路，全色相机光路包括带通滤波器和探测器。3.根据权利要求2所述的双相机压缩测量协同张量表示的融合计算成像方法，其特征在于，步骤2中所述前向压缩采样算子是针对编码孔径快照光谱成像测量装置的压缩采样过程，进入编码孔径快照光谱成像测量装置的光源，先经过随机伯努利矩阵的编码孔径的编码；通过带通滤波器进行滤波，限制光谱的范围；编码和滤波后的图像经由中继镜传播到色散棱镜后，不同波段的图像会沿着竖直方向作不同程度的偏移；最后，所有波段的图像在探测器上进行叠加，得到压缩采样的二维图像；将目标场景的高光谱图像表示为一个三维张量大小为M
×
N
×
L，高光谱图像上任意一点的像素值为x(i,j,k),1≤i≤M，1≤j≤N，1≤k≤L，其中i和j表示空间坐标大小，k表示光谱坐标大小；其数学模型可表示为：其中，ω
c
(k)表示该探测器的光谱响应函数，T(i,j)表示编码孔径的传播函数，S(k)表示由色散棱镜引起的偏移函数；用Φ表示编码孔径快照光谱成像测量装置的前向压缩采样算子，它包含编码孔径、色散棱镜和探测器光谱响应函数的共同作用；建立张量表示的观测模型为：其中g为该测量装置的测量值，大小为M
×
(N+L
‑
1)，v1表示高斯白噪声；另一路全色相机光路，直接到达相机，其数学模型表示为：其中，ω
p
(k)表示全色相机的光谱响应函数；同样，建立张量表示的全色图像的观...

【专利技术属性】
技术研发人员：韦志辉，梁正辉，肖亮，徐洋，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：