一种基于图割优化的深度图帧率提升方法技术

本发明专利技术公开了一种基于图割优化的深度图帧率提升方法，首先，对于每个编码单元树，具体执行运动估计和补偿的块大小和搜索范围是根据纹理图中对应块的运动信息决定的；其次，每个块的运动搜索不是相对独立的，而是考虑了块间运动矢量场的平滑，将一个编码单元树中所有块的运动搜索当作一个能量最小化过程。其中，平滑项是相邻块运动矢量的差，而数据项是用来评价被插入深度图质量的合成视点失真；最后，这个能量最小化过程转化为一个标签最优分配过程，用图割优化算法来解决。本发明专利技术适用于3D视频编码效率的优化、深度视频的容错和增强。

A frame rate lifting scheme for depth map based on graph cut optimization

The invention discloses a graph cut optimization method based on depth map frame rate upgrade, first of all, for each encoding unit tree, the specific implementation of motion estimation and compensation of the block size and the search range is based on the motion information of the corresponding block decision in the texture map; secondly, the search is not independent of each block dynamic transport, but considering the smooth inter block motion vector field, the movement of all the blocks an encoding unit tree search as an energy minimization process. The smooth motion vectors is poor, and the data is used to evaluate the synthesized view is inserted into the depth map quality distortion; finally, the energy minimization process into a label optimal allocation process, using the graph cut optimization algorithm to solve. The invention is suitable for the optimization of the 3D video coding efficiency and the fault tolerance and enhancement of the deep video.

【技术实现步骤摘要】
一种基于图割优化的深度图帧率提升方法
本专利技术涉及三维视频处理领域，具体涉及一种基于图割优化的深度图帧率提升方法。
技术介绍
深度图在三维视频处理系统中有很重要的作用。虽然不直接显示，但深度图中包含的几何信息可以用来将有限的已知视点合成额外的虚拟视点，支持自由视点观看，增强视觉体验效果。一方面，由于工艺限制，深度相机采集到的深度图往往帧率不高，导致合成的虚拟视点时间分辨率太低，容易产生视频抖动和运动不连续现象。另一方面，多视点视频加深度图(Multi-viewvideoplusdepth，MVD)的格式数据量非常大，为了方便传输和存储，需要高效的视频编码进行压缩。编码器可以跳过深度视频中的一些帧不编，即对深度图以低于采集帧率的较低帧率编码，这样可以减少消耗的比特率。但为了能在接收端流畅显示，低帧率的深度视频解码后，必须通过时域插值的方式来重建出跳过的深度帧。最简单的帧率提升方法是重复前一帧或者取前后帧的平均值，但这样的方法容易在物体边缘处产生运动模糊和伪影。所以，当前主流的帧率提升方法都是通过运动估计找出前后两帧间的运动矢量，沿着运动轨迹插入中间帧。基于运动补偿的帧插入方法大致分为两类，一类是像素级匹配，另一类是块匹配。像素级匹配的效果很好，但计算量太大，不实用；块匹配更为常用，但需要解决块间运动矢量不连续，物体边缘模糊等问题。大多数帧率提升方法都是针对纹理视频设计的，但深度图具有不同于自然纹理图的特征属性。深度图中的每个像素代表拍摄景物到摄像机之间的距离，是一幅包含大量匀质区域的灰度图，而平坦区域又被明显的边缘所分割。不同区域对运动失真的敏感度是不同的，因此亟需一种针对深度图的帧率提升方法。
技术实现思路
本专利技术提供了一种基于图割优化的深度图帧率提升方法，实现低复杂度下深度视频的高质量时域插值。为了减小带宽占用量，深度图在编码端以较低帧率压缩，解码后为了保证3D视频观看的流畅性，深度图的显示帧率需要在传输帧率的基础上进行提升，即通过运动补偿帧插入的方式实现帧率转换。为了降低复杂度，整体流程是在一个接一个的编码单元树中进行的。一种基于图割优化的深度图帧率提升方法，包括以下步骤：(1)编码端深度帧的跳过：在3D视频编码端，多视点的纹理图和深度图以访问单元为单位顺序编码，编号为奇数(从0起计数)的访问单元中的深度图跳过不编码；(2)插值块尺寸的确定：每个插值帧的运动估计和补偿过程是以编码单元树(CodingTreeUnit，CTU)为基本单位进行的，在每个CTU中，具体用来运动估计和插值的块大小由对应纹理图中编码预测单元的大小决定；(3)运动搜索范围的确定：每个插值块的运动搜索范围不是固定的，而是根据对应纹理图中编码预测单元的运动矢量来决定的；(4)候选运动矢量标签初始化：深度图前后两帧的块匹配程度用视点合成失真(ViewSynthesisDistortion，VSD)来衡量，对运动搜索范围内的每一个运动矢量都计算出相应的VSD，作为后续步骤的初始化过程；(5)最终运动矢量的计算：为了使运动矢量场在块匹配的基础上还能保证空域平滑，将最终运动矢量的计算转化为一个能量最小化方程的求解，这个求解过程可以当作一个二维标签分配过程，用图割优化算法来计算出结果。以上步骤是在3D-HEVC的框架下进行的，3D-HEVC是3D视频编码扩展联合协作组(JCT-3V)在HEVC的基础上扩展出的一种新的3D视频编码标准，较以前的标准可以实现更高的压缩比。在步骤(1)中，为了简化示例同时不失一般性，选用两个视点来编码。每个访问单元包含同一时刻所有视点的纹理帧和深度帧。访问单元按时间顺序编码，以0起计数。通常情况下，同一访问单元中的纹理图先于深度图编码。在步骤(2)中，CTU是HEVC的基本编码单元，具有四叉树的分割结构，可以更好地根据场景的纹理分布和运动复杂程度决定编码块大小。本专利技术中用于运动估计的块尺寸在每个CTU范围内是相等的，不同的CTU内插值块的尺寸可能不同，具体由待插值的深度块对应纹理块的最小预测单元大小决定。在步骤(3)中，插值块的运动搜索范围由对应纹理图中预测单元的运动矢量来决定，水平方向和垂直方向的运动搜索范围的计算分别如式(Ⅰ)和式(Ⅱ)所示：SRh＝|TMVx|/4(Ⅰ)SRv＝|TMVy|/4(Ⅱ)式(Ⅰ)和(Ⅱ)中，TMVx和TMVy分别表示对应纹理图预测单元运动矢量的水平分量和垂直分量。因为编码中的运动矢量是四分之一像素精度的，为了转化为整像素精度，运动矢量要除以4。对于纹理图中的帧内预测单元，运动矢量认为是0。在步骤(4)中，视点合成失真的计算如式(Ⅲ)所示：式(Ⅲ)中，Bt表示待插入的块，V表示运动矢量，p表示块中像素，Ft-1(p+V)和Ft+1(p-V)分别表示前一帧和后一帧中的匹配点，表示对应纹理块像素p的水平梯度：式(Ⅳ)中，x，y表示纹理块中像素p的横坐标和纵坐标，T(x-1,y)，T(x,y)，和T(x+1,y)表示纹理块中水平相邻的三个像素值。α是一个比例系数，代表深度误差到合成视点误差的转换关系：式(Ⅴ)中，f表示摄像机焦距，L表示视点间基线距离，Znear和Zfar分别表示场景中深度最近和最远的距离。在步骤(5)中，能量最小化方程表示为：E(f)＝ED(f)+λES(f)(Ⅵ)式(Ⅵ)中，f表示CTU中所有块的运动矢量场。这个能量最小化方程包含一个数据项ED(f)和一个平滑项ES(f)。系数λ定为10。数据项ED(f)代表块匹配的程度，用CTU中所有块VSD的和表示；平滑项ES(f)表示为四邻域块的运动矢量差的范数：式(Ⅶ)中，i和j表示CTU中相邻的两个块，Vi和Vj表示各自的运动矢量。为了求E(f)的最小值从而得到最终的运动矢量，可以将方程求解转化为一个离散二维标签的优化分配问题，用图割优化算法解决。每个块为一个节点，每个运动矢量都是一个二维标签，图割优化通过最大流算法找出整个节点图的最小割，最小割时每个节点的标签就是最终的运动矢量。本专利技术基于图割优化的深度图帧率提升方法，在编码端跳过一些深度帧，在解码端通过双向运动补偿插入的方式重建出跳过的深度帧。对于每个编码单元树，插值块的尺寸和搜索范围是根据纹理图中对应预测单元的运动信息决定的；为了保证块间运动矢量场的平滑，将一个编码单元树中所有块的运动搜索当作一个能量最小化过程；这个能量最小化过程用低复杂度的图割优化算法来解决。本专利技术适用于3D视频编码效率的优化、深度视频的容错和增强。附图说明图1为本专利技术基于图割优化的深度图帧率提升方法的流程示意图；图2为本专利技术中3D视频编码的帧结构示意图；图3为本专利技术中块尺寸决策示意图，其中：(a)为纹理CTU中的最小预测单元的尺寸，(b)为待插值深度CTU的块尺寸。具体实施方式为了更为具体地描述本专利技术，下面结合附图及具体实施方式对本专利技术的技术方案进行详细说明。本专利技术方法是在3D-HEVC的编码框架上实现，3D-HEVC是基于MVD格式的，将采集到的多个视点视频以及对应的深度图编码到一个3D视频比特流中。纹理视频和深度数据解码后，利用基于深度的图像绘制技术(Depthimagebasedrendering，DIBR)可以合成额外的中间视点来显示。如图1所示，本专利技术基于图割优化的深度图帧率提升方本文档来自技高网...

【技术保护点】
一种基于图割优化的深度图帧率提升方法，包括以下步骤：(1)编码端深度帧的跳过：在3D视频编码端，多视点的纹理图和深度图以访问单元为单位顺序编码，编号为奇数的访问单元中的深度图跳过不编码；(2)插值块尺寸的确定：每个插值帧的运动估计和补偿过程是以编码单元树为基本单位进行的，在每个编码单元树中，根据纹理图中编码预测单元的大小确定与其对应的用来运动估计和插值的块大小；(3)运动搜索范围的确定：根据纹理图中编码预测单元的运动矢量来确定与其对应的每个插值块的运动搜索范围；(4)候选运动矢量标签初始化：深度图前后两帧的块匹配程度用视点合成失真来衡量，对运动搜索范围内的每一个运动矢量计算出相应的视点合成失真，作为后续步骤的初始化过程；(5)最终运动矢量的计算：将最终运动矢量的计算转化为一个能量最小化方程的求解，此求解过程当作一个二维标签分配过程，利用图割优化算法计算出结果。

【技术特征摘要】
1.一种基于图割优化的深度图帧率提升方法，包括以下步骤：(1)编码端深度帧的跳过：在3D视频编码端，多视点的纹理图和深度图以访问单元为单位顺序编码，编号为奇数的访问单元中的深度图跳过不编码；(2)插值块尺寸的确定：每个插值帧的运动估计和补偿过程是以编码单元树为基本单位进行的，在每个编码单元树中，根据纹理图中编码预测单元的大小确定与其对应的用来运动估计和插值的块大小；(3)运动搜索范围的确定：根据纹理图中编码预测单元的运动矢量来确定与其对应的每个插值块的运动搜索范围；(4)候选运动矢量标签初始化：深度图前后两帧的块匹配程度用视点合成失真来衡量，对运动搜索范围内的每一个运动矢量计算出相应的视点合成失真，作为后续步骤的初始化过程；(5)最终运动矢量的计算：将最终运动矢量的计算转化为一个能量最小化方程的求解，此求解过程当作一个二维标签分配过程，利用图割优化算法计算出结果。2.根据权利要求1所述基于图割优化的深度图帧率提升方法，其特征在于：所述步骤(1)～步骤(5)是在3D-HEVC的框架下进行的。3.根据权利要求1所述基于图割优化的深度图帧率提升方法，其特征在于：每个访问单元包含同一时刻所有视点的纹理帧和深度帧，访问单元按时间顺序编码，以0起计数。4.根据权利要求1所述基于图割优化的深度图帧率提升方法，其特征在于：在步骤(3)中，水平方向和垂直方向的运动搜索范围的计算分别如式(Ⅰ)和式(Ⅱ)所示：SRh＝|TMVx|/4(Ⅰ)SRv＝|TMVy|/4(Ⅱ)式(Ⅰ)和(Ⅱ)中，TMVx和TMVy分别表示对应纹理图预测单元运动矢量的水平分量和垂直分量，对于纹理图中的帧内预测单元，运动矢量认为是0。5.根据权利要求1所述基于图割优化的深度图帧率提升方法，其特征在于：在步骤(4)中，视点合成失真的计算如式(Ⅲ)所示：

【专利技术属性】
技术研发人员：陈耀武，郭莉琳，田翔，周凡，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33