基于压缩感知的自适应3D视频编解码方法技术

本发明专利技术公开了一种基于压缩感知的自适应3D视频编解码方法。首先将多视点视频划分为关键视点和非关键视点，对于关键视点又分为关键帧和非关键帧；对于关键帧采用较高的采样率；对于非关键帧按照当前帧与关键帧的残差进行图像块的分类（SKIP、INTER和COMBINED模式），不同模式采用不同的采样率；对于非关键视点也采用类似的办法。对于解码端先对关键视点的关键帧进行恢复；再利用关键帧信息对非关键帧进行恢复；对于非关键视点利用关键视点的信息进行恢复。本发明专利技术方法能有效地降低编码端的计算复杂度，能够适用于编码端计算能力弱而同时解码端拥有强大计算能力的场景，能显著提高3D视频压缩效率。

Adaptive 3D video codec based on compressed sensing

The invention discloses an adaptive 3D video codec based on compressed sensing. The multi view video is divided into key and non key view point of view, for the key viewpoint is divided into key frames and non key frames; for key frames using a high sampling rate; for the non key frames according to the residual current frame and key frame to classify the image blocks (SKIP, INTER and COMBINED mode), different mode using different sampling rate; also uses a similar approach for non critical viewpoint. For the decoding side, we first recover the key frames, then use key frame information to recover the non key frames, and recover the information from the key viewpoints using the key points. The method can effectively reduce the computation complexity of the encoding end, and it can be applied to scenes with strong computing power at the same time, but can also significantly improve the efficiency of 3D video compression.

【技术实现步骤摘要】
基于压缩感知的自适应3D视频编解码方法
本专利技术涉及一种视频编解码方法，特别是涉及一种基于压缩感知的自适应3D视频压缩方法。
技术介绍
3D视频指的是通过多台摄像机从不同角度对同一场景进行采集而得到的视频序列。由于其能提供更加真实和自然的视觉体验，正得到人们越来越多的关注。它利用多个具有一定视差的视频使人产生立体感，这种形式的视频能更好地将真实场景呈现在人们眼前，从而让人产生身临其境的感觉。3D视频一方面使人们的观看体验得以提升，但另一方面对带宽和压缩算法也提出了更高的要求。目前，随着显示技术和通信技术的不断发展，3D视频的应用正在广泛兴起，尤其是面向高清/超高清3D视频的实时应用对高效的3D视频编解码与处理技术的研究提出了新的问题与挑战。作为专门针对3D视频进行设计的视频编解码标准3D-HEVC，它通过充分探索视频帧内、帧间以及视点间的相关性获得了非常高的压缩效率。但是传统的压缩方案由于需要在编码端进行复杂的运算，这就对计算机的性能提出了较高的要求，因此并不适用于一些低功耗场景：比如手机、无线视频监控等。压缩感知是由Donoho等人在2006年首次提出来的，作为一种新的信号处理理本文档来自技高网...

【技术保护点】
一种基于压缩感知的自适应3D视频编解码方法，其特征在于该方法的具体步骤为：1.1编码端：1.1‑1视频分组：先将3D视频序列划分成图像组GOP，每个GOP包含多个视点视频序列的多帧视频图像，并且将这些视点区分为关键视点和非关键视点；1.1‑2对关键视点视频序列中的关键帧测量：将关键视点视频序列划分成关键帧与非关键帧，对其进行基于图像分块的随机测量，其中关键帧的采样率为Rkey；1.1‑3对关键视点视频序列中的非关键帧测量：先按照当前帧与关键帧的残差进行图像块的分类，分为SKIP、INTER和COMBINED三种模式，不同模式采用不同的采样率，分别为0，Rcs与Rkey；1.1‑4对非关键视点视...

【技术特征摘要】
1.一种基于压缩感知的自适应3D视频编解码方法，其特征在于该方法的具体步骤为：1.1编码端：1.1-1视频分组：先将3D视频序列划分成图像组GOP，每个GOP包含多个视点视频序列的多帧视频图像，并且将这些视点区分为关键视点和非关键视点；1.1-2对关键视点视频序列中的关键帧测量：将关键视点视频序列划分成关键帧与非关键帧，对其进行基于图像分块的随机测量，其中关键帧的采样率为Rkey；1.1-3对关键视点视频序列中的非关键帧测量：先按照当前帧与关键帧的残差进行图像块的分类，分为SKIP、INTER和COMBINED三种模式，不同模式采用不同的采样率，分别为0，Rcs与Rkey；1.1-4对非关键视点视频序列中的所有帧测量：对所有图像块进行随机测量，采样率为Rcs，至此编码过程结束；1.2解码端：1.2-1对关键视点视频序列中的关键帧进行恢复；1.2-2对关键视点视频序列中的非关键帧进行恢复：以关键视点视频序列重建后的关键帧作为参考帧，对采用不同编码模式的图像块分别进行恢复；1.2-3对非关键视点视频序列中的关键帧进行恢复：先用INTRA进行图像的初步恢复，然后将当前解码帧与关键视点视频序列中的关键帧进行视差估计，找到相似块，并以相似块为中心确定一定范围得到字典Ψ，最后通过求解min||Ψx||1,s.t.y＝Φx恢复出原始图像x；其中y表示测量值，Φ为测量矩阵，||ΨX||l表示向量的l1范数；1.2-4对非关键视点视频序列中的非关键帧进行恢复：将非关键视点视频序列中的关键帧作为参考帧，对非关键视点视频序列中的其余各帧进行恢复；过程与步骤(b)相同。2.根据权利要求1所述的基于压缩感知的自适应3D视频编解码方法，其特征在于所述的编码端步骤1.1-1的具体步骤为：对于多视点视频，将输入的多个视点的视频序列命名为V1、V2、V3……Vn，n为视点个数，在各视点中选取相同数量的若干帧图像作为一个图像组GOP；然后设置第一个和最后一个视点为关键视点，其余中间视点均为非关键视点。3.根据权利要求1所述的基于压缩感知的自适应3D视频编解码方法，其特征在于所述编码端步骤1.1-2的具体步骤为：对编码端步骤1.1-1所得关键视点视频序列中的关键帧先进行图像分块，然后对各个图像块采用相同的采样率Rkey，利用随机矩阵与图像分块进行相乘的运算进行基于图像分块的随机测量。4.根据权利要求1所述的基于压缩感知的自适应3D视频编解码方法，其特征在于所述编码端步骤1.1-3的具体步骤为：先将非关键帧进行图像分块；然后将当前需要编码的非关键帧与关键帧相减得到残差；最后将图像块根据参数threshold1和threshold2分为三类，分别对应SKIP、INTER和COMBINED三种编码模式；该过程可以用式(1)表示

【专利技术属性】
技术研发人员：王永芳，吴健，朱芸，帅源，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31