面向3D视频编码的基于深度增强的重采样方法技术

本发明专利技术涉及一种面向3D视频编码的基于深度增强的重采样方法。本发明专利技术方法对彩色视频按原始分辨率进行编码，对深度视频进行降分辨率编码；对深度视频编码前采用基于频率选择的方法对深度视频进行下采样，对解码后的深度视频，先采用预插值方法生成原始分辨率的深度视频，再采用基于深度图可信边缘引导的深度增强方法对深度视频进行上采样；最后对解码得到的彩色视频和上采样深度视频进行视点合成，得到所需的多视点视频。本发明专利技术方法减少了重采样的深度视频在3D视频编解码过程中的失真，保护了深度视频的边缘，提高了合成视点的质量。

【技术实现步骤摘要】

本专利技术属于3D视频处理
，尤其涉及一种面向3D视频编码的基于深度增强的重采样方法。
技术介绍
随着3D视频技术的广泛应用，给人们带来了立体的视觉感受。然而，高质量的3D视频显示常常需要大量的多视点视频，其庞大的数据量在实际应用中难以实现。因此，多视点加深度视频是目前主要的3D视频格式，它由一些彩色视频及其对应的深度视频组成，可以运用视点合成技术获得其它虚拟的多视点视频，增加了视点数量的同时有效减少了3D视频的数据量。随着基于HEVC的多视点加深度视频编码标准3D-HEVC的正式发布，带来了3D视频的高效压缩编码。然而，随着高清和超高清视频的应用，用户数量的不断增加，庞大的3D视频数据量对于有限的存储容量和传输带宽来说构成了强大的挑战。深度图是由较大的平坦区域和锐利的边缘组成的灰度图，特别适合于作多分辨率的转换，从而提高3D视频编码的效率。因此，面向3D视频编码的深度重采样方法的研究对于提高3D视频的获取，压缩和显示技术具有重要的意义。现有的面向3D视频编码的深度重采样方法，其深度下采样方法常用最近邻域下采样方法，双线性下采样方法或者双三次下采样方法。这些下采样方法的共同缺点是未能充分考虑深度图中的深度值的分布特点，容易导致重要深度信息的丢失。当重新对深度图上采样后，原有的深度信息难以恢复。而常用的深度上采样方法，采用匹配彩色图和深度图的边缘来对深度边缘插值，从而达到边缘保护的目的。这些方法的共同缺点是未充分考虑到彩色视频和深度视频在经过3D视频编解码后，彩色图的边缘和深度图的边缘往往不再相互对应，导致对深度图插值重建后物体的边缘被平滑，物体的形状发生失真，从而降低了上采样深度图的质量。因此，本专利技术提出了基于深度增强的重采样方法来提高深度图的质量。根据深度图的特点是物体内部的大部分区域的深度值是相似的，而仅在边缘有不同的深度值。本专利技术提出了基于频率选择的深度下采样方法，根据采样窗口内深度值出现的频率来对深度下采样，并根据这些深度值与采样窗口中心像素深度值的相似度来最终确定下采样的深度值。同时作深度上采样的时候，为了保护深度边缘，本专利技术提出了采用基于深度图可信边缘引导的深度增强方法。首先将深度图预插值，得到原始分辨率的深度图。然后将彩色图的边缘映射到其对应的上采样深度图中，得到深度图的可信边缘。接着结合彩色图和深度图空域和时域约束关系来构造实现深度增强的能量函数。该能量函数包含空域能量函数和时域能量函数。其中空域能量函数包含的平滑函数项是由深度图的可信边缘引导下定义的由彩色和空间相似性度量组成的能量约束函数。而时域能量函数则是由相邻两帧的彩色图相似性和深度图相似性度量组成的能量约束函数。最后对总的空时能量函数作最小化求解，得到最终的上采样深度图。本专利技术提出的上采样方法同时考虑了彩色图和深度图的空域和时域特征，因此能够很好地恢复原始分辨率的深度图，并保护深度的边缘。因此，本发明提出的基于频率选择的深度下采样方法和基于深度图可信边缘引导的深度增强的上采样方法，在深度重采样的过程中能够很好地保留和恢复深度图的边缘信息，因此在3D视频解码端能够合成高质量的多视点视频。
技术实现思路
本专利技术的目的是针对现有的面向3D视频编码的深度重采样方法的不足，提出了一种基于深度增强的重采样方法。本专利技术方法对彩色视频按原始分辨率进行编码，对深度视频进行降分辨率编码。为了保留原始深度图的深度特征，采用基于频率选择的滤波方法对深度视频下采样。深度下采样方法是先把采样窗口内的像素以平均值为阈值，分为两个像素集合，选取大于窗口内一半总像素数目的集合为采样集合，并选择该集合内出现次数最多的与中心像素最相似的深度值为下采样深度值。为了在深度上采样过程中保护原始分辨率的深度图的边缘，得到连续的边缘，对于深度视频上采样，首先通过邻域预插值生成初始的原始分辨率的深度图。然后检测彩色图的边缘图，在它的引导下得到其对应深度图的可信边缘。接着构造实现深度增强的空时能量约束函数。对于该函数中的空域能量函数，根据深度图像素与可信边缘像素的相对位置，定义不同的由彩色相似性和空间相似性度量的平滑函数。对于时域能量函数，它由相邻两帧的彩色图相似性以及由深度可信边缘引导的深度图相似性来度量。最后，采用常规的置信传播算法对整个空时能量函数作最小化求解得到增强后的上采样深度图。该深度图与解码后的彩色图用典型的基于深度图渲染算法进行视点合成，得到所需的多视点视频。本专利技术包括编码方法和解码方法。编码方法的具体步骤是：步骤(1)、将彩色视频以原始分辨率进行编码，按编码配置文件的参考顺序输入编码器；步骤(2)、将深度视频采用基于频率选择的滤波方法进行下采样，然后送入3D视频编码器；步骤(3)、将彩色视频编码的比特流和深度视频编码的比特流按参考编码顺序合并后输出；解码方法的具体步骤是：步骤(Ⅰ)、将视频编码的比特流进行解码，按参考编码顺序输出为彩色视频和深度视频；步骤(Ⅱ)、将解码的深度视频，采用基于深度图可信边缘引导的深度增强方法进行上采样，得到与原始视频相同尺寸的解码视频；步骤(Ⅲ)、采用典型的基于深度图渲染算法将解码后的彩色视频和上采样深度视频进行视点合成，得到所需的多视点视频。本专利技术有益效果如下：(1)本专利技术可使用多级采样的方式实现不同缩放系数的深度重采样，即每一级采样可以实现缩放系数为2的深度重采样，因此多级采样就可以适用于不同缩放系数的深度重采样；(2)本专利技术提出的面向3D视频编码的深度下采样方法是选择采样窗口内与中心像素深度值最相似的出现频率最高的深度值作为下采样深度值，因此能够很好的保留原始深度图中的深度值；(3)本专利技术提出的面向3D视频编码的深度上采样方法,采用基于深度图可信边缘引导的深度增强方法。首先将深度图预插值，得到原始分辨率的深度图。然后将彩色图的边缘映射到其对应的预插值深度图中，得到深度图的可信边缘。接着结合彩色图和深度图空域和时域约束关系来构造实现深度增强的能量函数，根据预插值深度图的像素与深度图可信边缘的相对位置，定义了该能量函数的空域能量函数和时域能量函数。最后，采用置信传播算法对该空时能量函数作最小化求解，得到上采样的深度图。由于充分考虑了空域和时域中彩色图和深度图的相互对应和约束关系，本专利技术提出的上采样方法能够很好地恢复和保护深度图的边缘特征，从而提高合成视点的质量。附图说明图1为本专利技术中面向3D视频编码的深度重采样方法流程图；图2为本专利技术中深度图预插值上采样方法的流程图本文档来自技高网...

【技术保护点】
面向3D视频编码的基于深度增强的重采样方法，其特征在于：该方法对彩色视频按原始分辨率进行编码，对深度视频进行降分辨率编码；编码端采用基于频率选择的滤波方法对深度视频下采样；解码端采用基于深度图可信边缘引导的深度增强方法对深度视频上采样；最后对解码得到的彩色视频和上采样深度视频进行视点合成，得到所需的多视点视频；编码方法的具体步骤是：步骤(1)、将彩色视频以原始分辨率进行编码，按编码配置文件的参考顺序输入编码器；步骤(2)、将深度视频采用基于频率选择的滤波方法进行下采样，然后送入3D视频编码器；步骤(3)、将彩色视频编码的比特流和深度视频编码的比特流按参考编码顺序合并后输出；解码方法的具体步骤是：步骤(4)、将视频编码的比特流进行解码，按参考编码顺序输出为彩色视频和深度视频；步骤(5)、将解码的深度视频采用基于深度图可信边缘引导的深度增强方法进行上采样，得到与原始视频相同尺寸的解码视频；步骤(6)、将解码后的彩色视频和上采样的深度视频进行视点合成，得到所需的多视点视频。

【技术特征摘要】
1.面向3D视频编码的基于深度增强的重采样方法，其特征在于：该方法对彩色视频按
原始分辨率进行编码，对深度视频进行降分辨率编码；编码端采用基于频率选择的滤波方
法对深度视频下采样；解码端采用基于深度图可信边缘引导的深度增强方法对深度视频上
采样；最后对解码得到的彩色视频和上采样深度视频进行视点合成，得到所需的多视点视
频；
编码方法的具体步骤是：
步骤(1)、将彩色视频以原始分辨率进行编码，按编码配置文件的参考顺序输入编码
器；
步骤(2)、将深度视频采用基于频率选择的滤波方法进行下采样，然后送入3D视频编码
器；
步骤(3)、将彩色视频编码的比特流和深度视频编码的比特流按参考编码顺序合并后
输出；
解码方法的具体步骤是：
步骤(4)、将视频编码的比特流进行解码，按参考编码顺序输出为彩色视频和深度视
频；
步骤(5)、将解码的深度视频采用基于深度图可信边缘引导的深度增强方法进行上采
样，得到与原始视频相同尺寸的解码视频；
步骤(6)、将解码后的彩色视频和上采样的深度视频进行视点合成，得到所需的多视点
视频。
2.如权利要求1所述的面向3D视频编码的基于深度增强的重采样方法，其特征在于步
骤(6)所述的视点合成采用典型的基于深度图渲染方法。
3.如权利要求1所述的面向3D视频编码的基于深度增强的重采样方法，其特征在于步
骤(2)所述的将深度视频采用基于频率选择的滤波方法进行下采样，具体步骤如下：
a.求采样窗口w×w内像素深度的平均值:
Dm=1w×wΣDn(i,j)∈w×wDn(i,j)---(1)]]>其中，w为窗口边长，Dn(i,j)是采样窗口内的像素；
b.利用平均值Dm将Dn(i,j)划分为两个像素集合Gh,Gl:
Dn(i,j)∈GhifDn(i,j)>DmGlotherwise---(2)]]>c.下采样点像素的深度值Dd(i,j)取值为:
Dd(i,j)=RGhifL(Gh)>...

【专利技术属性】
技术研发人员：陆宇，杨萌，李光球，刘华平，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33