一种时空复用的压缩视频成像方法技术

本发明专利技术涉及一种时空复用的压缩视频成像方法,在成像系统中采用空间和时间复用压缩感知模块先后对光学信号进行调制,实现三维随机线性投影。从输入的三维信号的三个切面对信号进行解析表示，获得信号与系数沿各个维度的拉伸矩阵,通过三维张量的解析字典学习的共稀疏优化模型，对解析字典进行学习，得到图像帧的解析稀疏表示字典和视频信号的时间稀疏表示特征。通过时空复用的压缩视频成像方法，重建视频信号。根据视频重建的优化模型，重建一个初始视频估计，然后应用增广拉格朗日方法和应用变量替换将多约束的优化问题分解为多个子问题，最终采用交替方向方法求解，完成图像的重建。由于融合视频信号时空非局部相似性和其它结构化特性，构建视频信号互独立的多先验约束重建优化目标函数，降低解的自由度，引导优化问题的解趋向视频信号的固有特性。

A spatiotemporal multiplexing method for compressed video imaging

【技术实现步骤摘要】
一种时空复用的压缩视频成像方法
本专利技术涉及一种时空复用的压缩视频成像方法。
技术介绍
压缩感知(CompressedSensing，CS)是近些年出现的一种信号采样新理论。它提出：当信号具有稀疏性或者可压缩性时，可以用远低于Nyquist采样定理要求的频率获取信号的全部信息。压缩成像(CompressedImaging，CI)是一种基于压缩感知理论的计算成像技术。它通过在成像系统中集成压缩感知模块，对原始信号进行欠采样成像，并利用图像信号的稀疏特性，采用计算技术从很少的采样测量离线重构原始图像。压缩成像将数据压缩结合到信号采样过程，从根本上降低了成像光电系统所需获取的数据量，有效地压缩了带宽，缓解了数据的存储和传输压力。同时，它的信号采样过程通过空间或者时间维度的随机线性投影实现了采样测量的空间复用(SpatialMultiplexing)或者时间复用(TemporalMultiplexing)。空间复用和时间复用压缩成像分别将高维图像投影到少量测量或者将曝光时间内的多帧图像投影到一帧编码图像，使得成像分辨率不再完全与图像传感器数量和快门速率对应，突破了硬件对成像分辨率的限制。相同的硬件配置条件下，压缩成像系统可以比传统成像系统获取更高空、时分辨率的图像。然而，当前的压缩成像系统都采用空间或者时间复用的压缩采样技术，只在空间或者时间单一维度上消除信息冗余，另一个维度并不进行采样压缩，成像分辨率仍然受到光电器件的制约。并且传统成像系统采用“先采样再压缩”的数据处理模式，在信息采集阶段为了提升图像的质量，去尽力获得更多的样本，然而在数据存储与传输时为了节省空间又需要丢弃尽量多的采样冗余，这样导致了资源的大量浪费。压缩成像将数据压缩结合到信号采样过程，在信号采集阶段同时完成数据的压缩，从根本上降低了成像系统所需获取的数据量，缩成像的信号采样过程通过空间或者时间维度的随机线性投影，实现采样测量的空间复用(SpatialMultiplexing)或者时间复用(TemporalMultiplexing)。通过将高维图像投影到少量测量或者将曝光时间内的多帧图像投影到一帧编码图像，采样效率远高于传统成像系统，使得成像分辨率不再完全与图像传感器数量和快门速率对应，从而打破了光电元器件对成像分辨率的严格限制。当前已提出的各种压缩成像方法都限于采用单一的空间或者时间复用的压缩采样技术，只在空间或者时间一个维度上消除信息冗余，另一个维度并没有进行采样压缩，成像分辨率仍然在一定程度上受到光电器件的制约。针对是否可以采用一种更为高效的方法，实现三维投影的时空复用压缩视频成像并进行高质量的信号恢复，从而在空间与时间两个维度上同时消除信息冗余，进一步突破硬件对成像分辨率的限制，通过在一次曝光时间内压缩采样多帧场景信号成像到一帧低维编码测量，实现在时、空两个维度上同步消除采样冗余，节省更多的传感器和存储资源。
技术实现思路
本专利技术提出一种时空复用的压缩视频成像方法，通过时空复用的三维线性投影，将曝光时间内的多帧高维图像压缩投影到一帧低维编码图像，在空间和时间两个维度上同时消除信息冗余，从而提高采样效率，突破光电器件对成像空、时分辨率的制约。本专利技术解决上述技术问题的技术方案如下：一种时空复用的压缩视频成像方法，其特征在于：在成像设备中，采用空间和时间复用两个压缩感知模块顺序对进入系统的场景光学信号进行三维压缩采样，在一次曝光时间内获取多帧空间上压缩的场景图像。其中，空间复用压缩采样模块在模拟域对光学信号进行压缩采样，时间复用压缩采样模块利用编码曝光技术，在一次曝光时间内获取空间复用压缩采样的图像，累加存储到CCD图像传感器。具体地：设计图1所示的标定系统，在该标定系统中打开激光光束产生器，则激光光束通过一个扩束镜扩散为一束均匀光柱，通过一个中间开口的矩形掩板入射到DMD二值振幅空间光调制器，DMD每一个微镜通过一个随机矩阵的控制调整到不同角度，从而构成成像系统的一个二值的输入矩阵，输入矩阵的通过读取光束阻拦器的光束获取，光束入射到成像系统代表1，入射到光束拦阻器表示0。固定时间复用压缩感知调制模块，使其掩码为全通，即保持其掩码矩阵所有元素项的值均为1；然后通过随机矩阵的控制，调整DMD微镜的角度，进行多次测量。设第i次DMD对应的向量为(N为DMD微镜数量，对应空间分辨率)，设对应散斑图样测量的模向量为(CCD图像传感器采样值的平方根，M<N为采样测量数)。采用一个复数矩阵A∈CM×N拟合多重散射传递函数。对于第i次测量，有yi＝Axi。根据输入的随机矩阵操作DMD，调整每个微镜的角度，经过K次测量，得到一组输入输出，矩阵表示为即Y＝AX，进行共轭转置：YT＝XTAT(1)项目采用三维张量积(TensorProduct)的方式构建视频三维数据立方体的解析字典表示模型。信号从三个切面分别与字典D(1)，D(2)，D(3)作用，得到三维解析系数如式(2)所示:S＝X×1D(1)×2D(2)×3D(3)(2)通过三维张量与矩阵在某一个维度上的模积表示矩阵与三维张量与这个维度上所有切面矩阵的积，将三维张量沿某一个维度拉伸到二维矩阵。利用对数平滑平方函数作为三维张量解析模型字典学习中的共稀疏度量，采用对数平方在样本稀疏度的方差和期望最小化之间取得平衡，限定字典必须为均匀归一化紧标架。其中，×1，×2和×3分别表示三维张量在x-y，x-t和y-t维度上与字典D(1)，D(2)，D(3)的模积(ModeProduct)，表示一个视频三维数据立方体样本，表示三维解析系数，表示不同维度上的二维字典。D(1)相当于传统空间x-y二维字典，而D(2)，D(3)则分别表示信号空间两个维度在时间切面上x-t和y-t的二维表示字典。构建基于三维张量的解析字典学习的共稀疏(Cosparse)优化模型(3)：其中Xi表示训练集，g(·)代表解析系数的共稀疏度量函数。将时空复用压缩视频成像系统得到的一帧低维编码图像，通过基于三维张量解析模型的视频信号重建优化模型完成图像的重建恢复。本专利技术的有益效果是：提出利用复合介质的多重散射可并行投影特性，在模拟域对输入信号进行实时压缩感知，并结合编码曝光技术，解决瞬时光学信号的三维投影难题，探索构建一种时空复用的压缩视频成像新方法。区别于现有的二维投影压缩成像系统只在空间或时间单一维度进行压缩采样，研究的三维投影模式在空间和时间两个维度上消除采样冗余，可望进一步突破成像元器件对时、空成像分辨率的限制。针对二维表示模型不能有效描述视频信号三维稀疏特征的缺陷，采用基于三维张量的解析字典稀疏信号表示方法，以充分挖掘视频序列的时空稀疏特性，建立更有效的视频三维数据体稀疏表示模型；同时，针对时空复用三维投影的压缩视频成像重建反问题的高度欠定性，融合视频信号时空非局部相似性和其它结构化特性，构建视频信号互独立的多先验约束重建优化目标函数，降低解的自由度，引导优化问题的解趋向视频信号的固有特性。在上述技术方案的本文档来自技高网...

【技术保护点】
1.一种时空复用的压缩视频成像方法，其特征在于：在成像设备中，采用空间复用和时间复用对两个压缩感知模块顺序对进入系统的场景光学信号进行三维压缩采样，在一次曝光时间内获取多帧空间上压缩的场景图像。其中，空间复用压缩采样模块在模拟域对光学信号进行压缩采样，时间复用压缩采样模块利用编码曝光技术，在一次曝光时间内获取空间复用压缩采样的图像，累加存储到CCD图像传感器,具体步骤如下：/n通过设计标定系统，在该标定系统中打开激光光束产生器，激光光束通过一个扩束镜扩散为一束均匀光柱，并通过一个中间开口的矩形掩板入射到DMD二值振幅空间光调制器，DMD每一个微镜通过一个随机矩阵的控制调整到不同角度，从而构成成像系统的一个二值的输入矩阵，输入矩阵的通过读取光束阻拦器的光束获取,光束入射到成像系统代表1，入射到光束拦阻器表示0。/n固定时间复用压缩感知调制模块，使其掩码为全通，保持其掩码矩阵所有元素项的值均为1；后通过随机矩阵的控制，整DMD微镜的角度，行多次测量。设第i次DMD对应的向量为

【技术特征摘要】
1.一种时空复用的压缩视频成像方法，其特征在于：在成像设备中，采用空间复用和时间复用对两个压缩感知模块顺序对进入系统的场景光学信号进行三维压缩采样，在一次曝光时间内获取多帧空间上压缩的场景图像。其中，空间复用压缩采样模块在模拟域对光学信号进行压缩采样，时间复用压缩采样模块利用编码曝光技术，在一次曝光时间内获取空间复用压缩采样的图像，累加存储到CCD图像传感器,具体步骤如下：
通过设计标定系统，在该标定系统中打开激光光束产生器，激光光束通过一个扩束镜扩散为一束均匀光柱，并通过一个中间开口的矩形掩板入射到DMD二值振幅空间光调制器，DMD每一个微镜通过一个随机矩阵的控制调整到不同角度，从而构成成像系统的一个二值的输入矩阵，输入矩阵的通过读取光束阻拦器的光束获取,光束入射到成像系统代表1，入射到光束拦阻器表示0。
固定时间复用压缩感知调制模块，使其掩码为全通，保持其掩码矩阵所有元素项的值均为1；后通过随机矩阵的控制，整DMD微镜的角度，行多次测量。设第i次DMD对应的向量为(N为DMD微镜数量，对应空间分辨率)，设对应散斑图样测量的模向量为(CCD图像传感器采样值的平方根，M<N为采样测量数)。
采用一个复数矩阵A∈CM×N拟合多重散射传递函数，于第i次测量，有yi＝Axi。根据输入的随机矩阵操作DMD，调整每个微镜的角度，重复测量。经过K次测量，得到一组输入输出，矩阵表示为即Y＝AX，进行共轭转置：
YT＝XTAT(4)
项目采用三维张量积的方式构建视频三维数据立方体的解析字典表示模型。信号从三个切面分别与字典D(1)，D(2)，D(3)作用，得到三维解析系数：
S＝X×1D(1)×2D(2)×3D(3)(5)
其中，×1，×2和×3分别表示三维张量在x-y，x-t和y-t维度上与字典D(1)，D(2)，D(3)的模积(ModeProduct)，表示一个视频三维数据立方体样本，表示三维解析系数，表示不同维度上的二维字典。D(1)相当于传统空间x-y二维字典，而D(2)，D(3)则分别表示信号空间两个维度在时间切面上x-t和y-t的二维表示字典。
构建基于三维张量的解析字典学习的共稀疏(Cosparse)优化模型：



其中Xi表示训练集，g(·)代表解析系数的共稀疏度量函数。
将时空复用压缩视频成像系统得到的一帧低维编码图像，通过基于三维张量解析模型的视频信号重建优化模型完成图像的重建恢复。在视频信号重建的过程中，采取三维张量解析模型的视频信号重建优化模型，具体步骤如下：
1)在一次曝光内编码孔径操作K次，测量K个子帧图像，第k个子帧的原始场景图像向量表示为fk∈RN，这里N为视频帧像素总数，即图像空间分辨率。考察空间复用模块，氧化锌涂层一旦确定，其物理特性就是确定的，设其散射传递矩阵为A∈CM×N，则第k个子帧图像经空间复用压缩感知模块调制产生的散斑干涉图样可以表示为Pk＝Afk。
2)设该时刻的编码孔径掩码则时空复用测量向量Ik＝HkAfk，一次曝光生成的编码测量Y为K个干涉图样子帧的线性组合：



采用矩阵表示，H＝[H1H2…Hn]，则：
Y＝HΛF＝ΦF(8)
这里，F是视频三维数据立方体的一维向量表示，Φ＝HΛ是时空复用压缩成像的感知矩阵，Λ和H都是随机观测矩阵，因而，Φ也是F的随机投影感...

【专利技术属性】
技术研发人员：宋云，章登勇，汤强，邓泽林，熊闽，傅闻京，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：湖南;43