时延约束下逐帧相同测量率的视频压缩感知重构方法技术

在压缩感知视频监控中，每帧均采用相同测量率进行单独观测。为了提高待回放帧的重构质量，本发明专利技术提出了一种启动时延约束下的视频压缩感知重构方法。重构端从码流中提取出各个帧观测矢量，对每一帧观测矢量首先执行单帧图像的迭代重构算法，然后根据迭代次数是否达到最大值来判定该帧是预测帧还是参考帧。在初次重构的基础上，预测帧采用质量较好的参考帧执行可能的双向或单向预测，通过多假设块匹配的残差最小化，完成二次重构乃至三次重构。所提方法能够动态地表征相关性未知的多帧图像，有助于提升视频压缩感知重构的整体质量。

Perceptual reconstruction of video compression with the same measurement rate frame by frame under delay constraint

In compressed sensing video surveillance, each frame is observed separately with the same measurement rate. In order to improve the reconstruction quality of the frame to be played back, the invention proposes a video compression perception reconstruction method under the constraint of start delay. At the reconstruction end, the observation vectors of each frame are extracted from the bitstream. For each observation vector, the iterative reconstruction algorithm of single frame image is executed first, and then the prediction frame or reference frame is determined according to whether the iteration times reach the maximum. On the basis of the first reconstruction, the prediction frame uses the reference frame with better quality to perform the possible two-way or one-way prediction, and completes the second reconstruction or even the third reconstruction by minimizing the residual of multi hypothesis block matching. The proposed method can dynamically represent multi frame images with unknown correlation, which is helpful to improve the overall quality of video compression and perception reconstruction.

【技术实现步骤摘要】
时延约束下逐帧相同测量率的视频压缩感知重构方法
本专利技术涉及一种基于相同测量率的视频压缩感知重构方法，属于视频处理与通信领域。
技术介绍
传统的视频监控系统需要为原始视频的每帧采集大量的信号样本，根据奈奎斯特采样定理，采样速率应不小于信号带宽的两倍，随后进行高复杂度的压缩编码，以消除像素之间的信息冗余。压缩感知技术的兴起提供了一种新型的信号采集与恢复机制，根据压缩感知理论，只需要将原始信号投影到随机基上获得较少的测量值，就可以通过这些测量值进行鲁棒恢复。相比奈奎斯特采样速率，压缩感知需要少得多的采样数据量，因此在视频监控等高维信号传感中具有良好的应用前景。压缩感知视频监控能够将计算复杂度从测量端转移到重构端，极简的测量端非常适用于视频监控系统中资源受限的传感器。在压缩感知视频监控中，测量端与重构端极不对称，测量端是信息-物理融合系统，具有物理与计算资源有限、信号获取与发送协同进行等基本特征，具备充足资源的重构端则需要在无反馈信道下恢复原始视频。测量端对视频的每帧图像采用相同尺寸的观测矩阵进行独立观测编码，生成接续的帧观测矢量，并作为码流发送出去。重构端收到码流后，提取出各个帧观测矢量，利用空-时信息的不同机制决定了视频重构的速度与质量。现有的视频压缩感知重构方法均假设测量端生成周期性的关键帧，并且关键帧采用比非关键帧更高的测量率，由此获得恢复质量明显更好的参考帧。然而在某些情况下，所有帧需要采用相同的测量率，现有方法就难以基于上述假设条件进行视频重构。
技术实现思路
本专利技术要解决的技术问题是：视频压缩感知的测量端执行相同测量率的每帧单独观测，重构端按时序接收帧观测矢量后如何在时延约束下提升重构质量。为了解决上述技术问题，本专利技术的技术方案是提供了一种时延约束下逐帧相同测量率的视频压缩感知重构方法，其特征在于，包括以下步骤：重构端逐帧采用迭代重构算法完成初次重构，在迭代次数统计下判断预测帧或参考帧；各个预测帧通过参考帧挑选匹配块，进而完成预测帧的二次重构乃至三次重构；测量端基于相同测量率执行逐帧的随机观测，并发送帧观测矢量码流。相应地，重构端的视频重构包括以下步骤：步骤一、重构端逐帧接收码流，形成时序接续的帧观测矢量，在启动时延约束下，重构端首先恢复前L个帧观测矢量，L≥1，每一帧观测矢量均含有M个测量值，初始地，时序号n＝1，表示第n帧观测矢量，n≥1，Fn表示第n个重建帧，总共含有N个像素，表示随机测量矩阵，表示稀疏变换基，观测矩阵视频序列前L帧中每帧首先通过迭代重构算法独立恢复，第n帧残差矢量的第j次迭代结果Rn,j＝FMVn-Aj·Sn,j，j≥1，通过FMVn和矩阵Aj的最小二乘估计求解各个帧稀疏矢量，式中，Sn,j表示重建帧Fn在第j次迭代中对应的第n帧稀疏矢量，矩阵Aj仅包含对应Sn,j支撑集元素的A列。迭代重构算法的停止条件是当迭代次数达到最大值itrMax或残差l2范数||Rn,j||2小于阈值resMin，从而完成第n帧观测矢量的独立恢复，当停止条件满足时，依次获得重建帧Fn＝Ψ·Sn,j，并在第L+1个时序号输出重建帧F1作为回放的第1个重建帧，其余重建帧F2、…、FL可能作为后续帧FL+1的参考帧或预测帧；对于前L帧观测矢量，重构端逐帧采用迭代重构算法执行前L帧图像{F1,F2,...,FL}的初次重构；当各帧完成初次重构后，若重建帧是迭代次数达到最大值itrMax才完成，则该帧被标记为预测帧；否则重建帧是在残差范数小于阈值resMin时完成，该帧被标记为参考帧；随后，各个预测帧执行基于多假设块匹配的双向或单向预测，预测帧的各块从最邻近且时序距离小于T帧的前后参考帧中挑选匹配块，以实现预测帧的二次重构，根据初次重构的结果，各个预测帧的参考帧有两个或一个或零个，预测帧的各块从可能的前后参考帧中挑选匹配块，计算每块与对应的匹配块线性组合之间残差，根据残差系数为零的概率对残差系数进行加权，通过SplitBregman算法求解加权的最小化问题，从而完成前L帧中各个预测帧的二次重构。在本步骤完成后，时序号n＝L+1；步骤二、对于第n帧观测矢量FMVn，重构端采用与步骤一同样的迭代重构算法恢复第n个重建帧Fn，第j次迭代中，第n帧残差矢量Rn,j＝FMVn-Aj·Sn,j，矩阵Aj仅包含对应Sn,j支撑集元素的A列，通过FMVn和Aj的最小二乘估计，求解第n帧稀疏矢量，当满足停止条件时，重构端获得重建帧Fn＝Ψ·Sn,j，并在第n+1个时序号输出重建帧Fn-L+1，作为回放的第n-L+1个重建帧，其余重建帧Fn-L+2、…、Fn作为后续帧Fn+1的参考帧或预测帧，预测帧准备执行三次重构；若重建帧Fn的初次重构是迭代次数达到最大值itrMax后才完成，则重建帧Fn作为预测帧；否则，重建帧Fn作为参考帧；若重建帧Fn被判断为参考帧，则在前一参考帧与Fn之间的预测帧执行基于多假设块匹配的双向或单向预测，预测帧的各块从最邻近且时序距离小于T帧的前后参考帧中挑选匹配块，以实现预测帧的三次重构；若重建帧Fn被判断为预测帧，则Fn的各块通过最邻近且时序距离小于T帧的前一参考帧执行多假设块匹配的单向预测，执行Fn的二次重构；预测帧从一个参考帧中挑选C个匹配块，计算每块与对应的匹配块线性组合之间的残差矢量，根据残差系数为零的概率对残差系数进行加权，得到一个加权的残差最小化问题，采用SplitBregman算法解决该问题，完成各个预测帧的重构；步骤三、如果仍然存在待重构的帧观测矢量，时序号n＝n+1，跳转到步骤二，继续逐个恢复帧观测矢量；否则，按时序依次输出剩余的重建帧Fn-L+2、…、Fn，作为最终的第n-L+2、…、n个重建帧，从而完成视频重构。优选地，步骤一中，所述L取决于监控应用允许的启动时延大小；所述M正比于测量率。本专利技术综合考虑了视频序列的空-时稀疏特征，设计出融合帧内迭代重构与帧间预测的视频压缩感知重构方法。初次重构可采用任一迭代重构算法，有助于从整体上恢复图像的结构信息。帧间预测充分利用了视频回放的时延约束条件，实现了参考帧的动态选取。预测帧的二次重构或三次重构通过多假设块匹配进一步提升了重建帧的质量。对于相同测量率下的逐帧观测，所提方法能够在增加一定复杂度的情况下有效提升视频重构的质量。附图说明图1为视频序列各个帧观测矢量之间的时序关系图；图2为视频压缩感知重构方法的流程图；图3为参考帧动态选取的示意图。具体实施方式下面结合附图，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。在压缩感知视频监控中，测量端每隔相同时间执行原始视频的每帧单独观测，并发送帧观测矢量码流。重构端逐帧接收码流，提取出各个帧观测矢量。L是启动时延持续的时序号总数。重构端首先恢复前L个帧观测矢量，每一帧观测矢量包括正比于测本文档来自技高网...

【技术保护点】
1.一种时延约束下逐帧相同测量率的视频压缩感知重构方法，其特征在于，包括以下步骤：/n重构端逐帧采用迭代重构算法完成初次重构，在迭代次数统计下判断预测帧或参考帧；各个预测帧通过参考帧挑选匹配块，进而完成预测帧的二次重构乃至三次重构；/n测量端基于相同测量率执行逐帧的随机观测，并发送帧观测矢量码流。相应地，重构端的视频重构包括以下步骤：/n步骤一、重构端逐帧接收码流，形成时序接续的帧观测矢量，在启动时延约束下，重构端首先恢复前L个帧观测矢量，L≥1，每一帧观测矢量均含有M个测量值，初始地，时序号n＝1，

【技术特征摘要】
1.一种时延约束下逐帧相同测量率的视频压缩感知重构方法，其特征在于，包括以下步骤：
重构端逐帧采用迭代重构算法完成初次重构，在迭代次数统计下判断预测帧或参考帧；各个预测帧通过参考帧挑选匹配块，进而完成预测帧的二次重构乃至三次重构；
测量端基于相同测量率执行逐帧的随机观测，并发送帧观测矢量码流。相应地，重构端的视频重构包括以下步骤：
步骤一、重构端逐帧接收码流，形成时序接续的帧观测矢量，在启动时延约束下，重构端首先恢复前L个帧观测矢量，L≥1，每一帧观测矢量均含有M个测量值，初始地，时序号n＝1，表示第n帧观测矢量，n≥1，Fn表示第n个重建帧，总共含有N个像素，表示随机测量矩阵，表示稀疏变换基，观测矩阵
视频序列前L帧中每帧首先通过迭代重构算法独立恢复，第n帧残差矢量的第j次迭代结果Rn,j＝FMVn-Aj·Sn,j，j≥1，通过FMVn和Aj的最小二乘估计求解各个帧稀疏矢量，式中，Sn,j表示重建帧Fn在第j次迭代中对应的第n帧稀疏矢量，矩阵Aj仅包含对应Sn,j支撑集元素的A列。迭代重构算法的停止条件是当迭代次数达到最大值itrMax或残差l2范数||Rn,j||2小于阈值resMin，从而完成第n帧观测矢量的独立恢复，当停止条件满足时，依次获得重建帧Fn＝Ψ·Sn,j，并在第L+1个时序号输出重建帧F1作为回放的第1个重建帧，其余重建帧F2、…、FL可能作为后续帧FL+1的参考帧或预测帧；对于前L帧观测矢量，重构端逐帧采用迭代重构算法执行前L帧图像{F1,F2,...,FL}的初次重构；当各帧完成初次重构后，若重建帧是迭代次数达到最大值itrMax才完成，则该帧被标记为预测帧；否则重建帧是在残差范数小于阈值resMin时完成，该帧被标记为参考帧；
随后，各个预测帧执行基于多假设块匹配的双向或单向预测，预测帧的各块从最邻近且时序距离小于T帧的前后参考帧中挑选匹配块，以实现预测帧的二次重构，根据初次重构的结果，各个预测帧的参考帧有两个或一个或零个，预测帧的各块从可能的前后参考帧中挑选匹配块...

【专利技术属性】
技术研发人员：刘浩，周健，刘洋，黄荣，孙韶媛，周武能，李德敏，翟广涛，魏国林，廖荣生，黄震，
申请(专利权)人：东华大学，
类型：发明
国别省市：上海;31