一种多假设预测的压缩感知视频处理方法技术

本发明专利技术公开了一种多假设预测的压缩感知视频处理方法，所述处理方法的结构框架包括编码端和解码端；在所述编码端，视频中的帧分成关键帧和非关键帧，根据压缩感知理论，关键帧和非关键帧均通过测量矩阵Φ获得测量值；在所述解码端，所述关键帧进行BCS‑SPL重构，然后分别进行多预测假设和残差重构；所述非关键帧进行残差重构，并根据关键帧产生的边信息进行解码。本发明专利技术中提出的一种基于MH预测的新的分布式压缩视频感测框架，可以在低复杂度编码器处捕获和压缩视频，并且在解码器处有效地重建视频，改MH‑BCS‑SPL框架能够提供更好的图像重建质量。

A multi hypothesis predictive compressed video processing method

The invention discloses a multi hypothesis prediction of compressed sensing video frame processing method, the processing method includes encoding and decoding; at the end of the video encoding, the frame is divided into key frames and non key frames, according to the theory of compressed sensing, key frames and non key frames were measured by matrix. The measurement values are obtained; the decoder in the BCS SPL reconstruction of the key frame, and then compare the forecast assumptions and residual reconstruction; the non key frames for residual reconstruction, edge information and according to the key frames generated by decoding. The present invention in a new distributed MH prediction framework based on compressed video sensing, in low complexity encoder video capture and compression, and effectively reconstructed video at the decoder, MH BCS SPL framework can provide better image reconstruction quality.

【技术实现步骤摘要】
一种多假设预测的压缩感知视频处理方法
本专利技术涉及压缩感知视频
，尤其涉及一种多假设分块视频压缩感知结合平滑滤波实现图像重构技术。
技术介绍
目前，CS(压缩感知)已通过集成压缩和感测而革新了信号采样和处理系统。对于从不同方面研究用于视频的CS的应用，称为压缩视频感知(CVS)。在编码器处，输入视频帧被分组为由关键帧和多个非关键帧组成的图像组。传统框架中使用MPEG/H.264编码对关键帧进行编码，CS测量矩阵来感测非关键帧，并使用从相邻重构的关键帧生成的边信息来重构关键帧。这个框架的缺点是仍然需要复杂的MPEG/H.264编码。在其后的改进中，CS测量应用于关键帧和非关键帧。使用用于稀疏重建的梯度投影(GPSR)来重构关键帧，并且将使用从解码的关键帧产生的边信息来重构非关键帧。随着技术的不断进步，为了减轻巨大的计算和存储器负担，L.Gan提出了一种基于块与块之间具有独立性的CS假设(BCS)用于2D图像，Do等使用珍贵解码帧中的相邻块来表示当前帧中的块，以提高边信息的准确度，并开发了残差重建方法。S.Mun扩展了Gan的BCS，并在最近的变换域中进行重建，特征在于高度方向分解。这些方法被称为单假设运动补偿(SH-MC)方案，其具有一些缺点。在编码器处，由于运动估计搜索，除了增加编码器侧的计算复杂度之外，还施加了发送块运动矢量的传输开销。此外，SH-MC隐含地假设在视频帧中发生的运动是均匀的块平移模型。由于这个假设不总是成立，所以块伪影出现在恢复的帧中。为了解决这些问题，E.Taramel等人提出了一种用于将多假设运动补偿(MH-MC)合并到BCS中的策略，并将平滑滤波Landweber用于视频重建(MH-BCS-SPL)，其通过找到搜索窗口中所有块或假设的线性组合来寻找更多精准假设。MH-MC技术以解码器处更复杂的代价来提高恢复性能。其后又提出基于弹性网络使用MH和SH重建组合方案，其以与Tikhonov正则化重建相比更复杂的代价实现可接受的性能。之后又出现如假设集合更新和动态参考帧选择算法。测量域和像素域中连续部署MH预测的方法，以开发两级MH重建方案，并且RLi等呈现空时量化和运动对准重建以改善性能的CVS系统等等。但是，仍然有一些问题需要解决，因为释放了编码器的计算负担，我们可以通过简单算法得到边信息(SI)，但非关键帧重构处理不能利用粗略预测有效地执行。
技术实现思路
基于
技术介绍
存在的技术问题，本专利技术目的之一在于提供一种新的基于多假设预测的分布式图像压缩感知视频图像处理框架，其中计算三个侧面信息候选以选择改进传统的MH预测算法，在解端利用双向估算计算出候选边信息，并引进新算法计算相关系数，选取关键边信息，恢复非关键帧。一种多假设预测的压缩感知视频处理方法，所述处理方法的结构框架包括编码端和解码端；在所述编码端，为提高视频重建质量，并根据实时性要求，视频序列帧被分为关键帧和非关键帧，每两帧构成一个图像组(GOP，GroupOfPicture)，即GOP等于2。通常奇数帧为关键帧，偶数帧为非关键帧。根据压缩感知理论，关键帧和非关键帧均通过测量矩阵Φ获得测量值，不同的是，关键帧的测量率高，非关键帧的测量率低；在所述解码端，关键帧经过基于块平滑投影的Landweber(BCSSPL)重建算法进行解码，然后经过多假设预测算法和残差重建后，得到重建后的关键帧并存储；非关键帧进行残差重建后，与根据关键帧产生的边信息一起联合解码，得到重建后的非关键帧。最后，将解码后的关键帧和非关键帧按照帧顺序整合成视频序列并输出。优选的，所述边信息根据已解码的相邻关键帧经过多假设预测MH算法求得。多假设预测MH算法的方法步骤如下：(1)运用双向运动估算计算出三个候选边信息SIi(i＝0,1,2)；(2)分别计算非关键帧与三个候选边信息的相关系数，选取相关性最高SI信息。(3)在图像重构时，在测量域，利用SI信息的多假设预测生成一种信号残差，并计算假设的最佳线性组合，用改进的多尺度分块压缩感知MS-BCS-SPL技术重构图像。优选的，根据加权正则化Tikhonov矩阵计算假设最佳线性组合。一种多假设预测的压缩感知视频处理方法应用于视频图像处理。与现有技术相比，本专利技术具有的有益效果在于：本专利技术中提出的一种基于MH预测的新的分布式压缩视频感测框架，可以在低复杂度编码器处捕获和压缩视频，并且在解码器处有效地重建视频。所提出的框架可以通过MH预测和BiME估计初始边信息。根据相关系数选择边信息，并用于恢复非关键帧。实验模拟结果表明，本专利技术所提出的框架可以提供比原始的MH-BCS-SPL算法更好的重建质量。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中：图1为本专利技术提出的一种多假设预测的压缩感知视频处理方法的的CVS编解码器的框图；图2为一种多假设预测的压缩感知视频处理方法基于多预测假设生成边信息框图；图3为Akiyo序列的非关键帧采用两种算法在不同采样速率下得出的PSNR平均值；图4为Coastguard序列的非关键帧采用两种算法在不同采样速率下得出的PSNR平均值；图5为Foreman序列的非关键帧采用两种算法在不同采样速率下得出的PSNR平均值；图6为Stefan序列的非关键帧采用两种算法在不同采样速率下得出的PSNR平均值。具体实施方式下面结合具体实施例对本专利技术作进一步解说。在传统MH-BC-SPL结构中，压缩感测通过使用维度M×N的一些基底Φ测量维度N的信号x的投影来组合信号捕获和维数降低，其中M<<N。测量向量y被获得为：y＝Φx(1)其中x∈RN,y∈RM。如果在一些变换基Ψ中x足够稀疏，则通过y优化重构x，如下：其中Ψ和Φ充分不相干，M足够大。压缩采样率定义为R＝M/N。通常，Φ是随机矩阵，使得它与任何选择的Ψ不相干。在实际应用中，大多数自然信号在任何变换基Ψ中都不是真正稀疏的。然后，x的重构问题的可以由公式(2)变化为对于边界的等式：为了解决公式(3)中的松弛重建的问题，L.Gan提出了一种通过密集的Φ去除x的全局采样，并且用块对角测量矩阵来代替的一种基于块的CS(BCS)算法。当对于每个块使用相同的ΦB时，Φ可采取块对角线形式如下：可以以逐块的方式yi＝ΦBxi重写公式(1)，其中xi是图像的块i。ΦB是大小为MB×B2的测量矩阵，BCS算法的测量速率为RB＝MB/B2。在本专利技术中，我们将使用改进BCS-SPL进行图形恢复重建。1、基于多预测假设分布式压缩感知的视频编解码器结构框架如图1所示，虚线左边代表编码端，右边代表解码端。在编码端分拆分视频流，分块关键帧与非关键帧。让x1表示关键帧。在解码器处关键帧的图像重构的方法是：(1)采用基于平滑投影Landweber的分块CS图像重构方法(BCS-SPL)对关键帧x1进行图像初始重构；(2)通过对图像关键帧的测量值y1初始重构图像，通过多假设性预测获得预测帧(3)关于多假设预测生成x1与之间信号残差(4)因为测量值y1可以简单通过关键帧信息x1与其测量矩阵Φ1的行向量內积获得，将残差信号R1映射到测量基中得到测量值D1：运用基于平滑投影Landweber本文档来自技高网...

【技术保护点】
一种多假设预测的压缩感知视频处理方法，所述处理方法的结构框架包括编码端和解码端,其特征在于：在所述编码端，视频序列帧被分为关键帧和非关键帧，根据压缩感知理论，关键帧和非关键帧均通过测量矩阵Φ获得测量值；在所述解码端，关键帧经过基于块平滑投影的Landweber重建算法进行解码，然后经过多假设预测算法和残差重建后，得到重建后的关键帧并存储；非关键帧进行残差重建后，与根据关键帧产生的边信息一起联合解码，得到重建后的非关键帧。最后，将解码后的关键帧和非关键帧按照帧顺序整合成视频序列并输出。

【技术特征摘要】
1.一种多假设预测的压缩感知视频处理方法，所述处理方法的结构框架包括编码端和解码端,其特征在于：在所述编码端，视频序列帧被分为关键帧和非关键帧，根据压缩感知理论，关键帧和非关键帧均通过测量矩阵Φ获得测量值；在所述解码端，关键帧经过基于块平滑投影的Landweber重建算法进行解码，然后经过多假设预测算法和残差重建后，得到重建后的关键帧并存储；非关键帧进行残差重建后，与根据关键帧产生的边信息一起联合解码，得到重建后的非关键帧。最后，将解码后的关键帧和非关键帧按照帧顺序整合成视频序列并输出。2.根据权利要求1所述的一种多假设预测的压缩感知视频处理方法，其特征在于，所述边信息根据已解码的相邻关键帧经过多假设预测MH算法求得。...

【专利技术属性】
技术研发人员：武明虎，陈瑞，赵楠，刘敏，孔祥斌，刘聪，饶哲恒，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：湖北,42