一种3D视频深度图像帧内预测模式选择方法及系统技术方案

本发明专利技术提出一种3D视频深度图像帧内预测模式选择方法及系统。首先计算HEVC当前块帧内预测参考像素集合的方差，通过方差来预测当前块是否为平滑块；对于平滑块仅考虑适合平滑区域的两个帧内预测模式Planar和SDC_Planar；对于非平滑块，将当前块的参考集合分成两个参考像素集合类，通过计算两个参考集合的像素方差来判断当前块是否为边界块；对于边界块，依据当前参考像素的分布特点预测有效的HEVC帧内预测模式、有效的深度模型模式以及有效的楔形分割模式的方向。本发明专利技术有效的降低了平滑区域和边界区域的候选深度帧内预测模式的数目，减少了帧内预测所需的编码时间；在提高编码速度的同时，保证了最终解码端合成视角的视频质量。

【技术实现步骤摘要】
一种3D视频深度图像帧内预测模式选择方法及系统
本专利技术属于视频编解码技术邻域，具体涉及一种3D视频深度图像帧内预测模式选择方法及系统。
技术介绍
2013年1月联合视频开发组发布了新一代视频编码国际标准HEVC，也称为H.265。H.265与上一代视频编码标准H.264一样都采用基于混合块的编码结构，但是H.265引入了编码单元结构、变换单元结构、帧间非对称分割方式、统一帧内编码、合并(merge)模式、改进的运动矢量编码等新技术。由于新技术的引入，使得H.265与H.264相比，新的视频编码标准HEVC在获得相同重建视频质量的情况下，可以减少一半码率。H.265中的编码单元是H.264中宏块概念的扩展，其大小可以为64x64、32x32、16x16和8x8。对于平坦的区域选择大的编码单元可以节省码率；而纹理区域则选择小的编码单元可以得到更好的预测结果。HEVC的编码器首先将预编码图像划分为许多大小为64x64的最大编码单元(LCU)。然后，对于每一个最大编码单元，编码器将递归地按4-叉树的方式来决定最大编码单元中最优CU划分。为了获得最大编码单元的最优CU划分，编码器需要进行85次不同大小CU的率失真代价的计算。由此可见，基于编码单元的4-叉树编码结构增加了H.265的计算复杂度(包括帧内预测)。在帧内预测技术中，对于大小为8x8的CU，编码器允许其进一步分割为4个相等的大小为4x4的预测单元(PU)；而对于其他大小的CU不能进一步分割，即PU的大小等于CU的大小。为了更好的利用空间的相关性，H.265的帧内预测技术将帧内预测模式增加到35种，如图1所示。在这35种帧内预测模式中，33种角度帧内预测模式(帧内预测模式2至帧内预测模式34)用于纹理区域的帧内预测，而DC和Planar两种帧内预测模式用于平坦区域的帧内预测。由于采用了新的编码结构，H.265可选的帧内预测的邻近参考像素为左下、左、左上、上、右上的邻近像素，如图2所示。由于帧内预测模式的增多，每个PU都需要进行35次率失真计算才可以找到PU最优的帧内预测模式，这极大地增加了HEVC帧内预测编码的计算复杂度。3D-HEVC是HEVC的3D视频编码的最重要的扩展标准。3D-HEVC的3D视频采用编码端和解码端非对称的多视点加深度图像的格式。多视点加深度的3D视频可以在解码端利用DIBR技术合成任意位置的虚拟视点，该格式因为此优点带来的广阔应用前景而备受学术界和工业界的关注。在多视点视频加深度视频格式的深度图像中，深度图像的像素值反映的是场景中的点距离摄像机的远近。因此，深度图像和自然图像有很大的不同，主要体现为以下三个方面：1)深度图像大部分为平坦的区域，这些平坦的区域被锐利的边缘所分割；2)深度图像有限的锐利边缘的失真将在解码端的合成视角物体边界周围引起振铃效应，降低了合成视角中视频的主观和客观质量；3)深度图像并非用来给用户直接观看，而是用来合成中间的虚拟视角。基于前述三方面的不同特点，保留深度图像中物体的边缘成为深度图像编码的重要工作内容之一。为此，3D-HEVC除继承了上述HEVC的新技术(包括帧内预测技术和编码单元)之外，另加入了一系列的新技术来尽可能的保留深度图像的锐利边缘，同时尽可能地保证编码的性能。其中最重要的技术就是4种新的深度模型模式，分别为显式的楔形分割模式(DMM1)、隐式的楔形分割模式(DMM3)、contour分割模式(DMM4)、边界链式编码模式(RBC)。楔形分割模式(包括前述的显式楔形分割模式和隐式的楔形分割模式)如图3所示，图3包含了连续时的楔形分割、离散时的楔形分割和最终的楔形分割模式。如图3，楔形分割模式是通过一条直线(起点为S、终点为E)将预测块分割为P1和P2两个部分,。楔形分割的分割直线有6种方向，如图4所示分别为从左边界到上边界、从右边界到上边界、从下边界到右边界、从左边界到下边界、从上边界到下边界和从左边界到右边界。为了进一步的提高压缩比，楔形分割模式将不传递预测残差的量化变换系数，而仅仅传递两个像素值。楔形分割模式的最优模式的选取需要计算所有起点和终点组合相对应的楔形分割模式的率失真代价。大小为4x4的预测块一共有86种楔形分割模式；大小为8x8的预测块一共有766种楔形分割模式；大小为16x16的预测块一共有1350种楔形分割模式；大小为32x32的预测块一共有1503种楔形分割模式。对于每一个PU,3D-HEVC最优帧内预测模式的选择既要计算35种HEVC帧内预测模式的率失真代价，还要计算上述数目的显式的楔形分割模式、上述数目的隐式楔形分割模式、区域边界链式模式和contour模式的率失真代价。由于帧内预测模式的倍增，导致了目前3D-HEVC的计算复杂度根本无法实现3D视频的实时应用。此外，基于前述深度图像的第3)点不同特点，3D-HEVC引入了新的编码参数的评价方法，即采用合成视角的率失真代价选择编码参数(包括最优的帧内预测模式和最优CU的划分)。计算合成视角的代价需要通过渲染得到合成视角，而渲染过程是十分耗时的。因此，3D-HEVC帧内预测模式的最优帧内预测模式的选择中为了得到合成视角而引入了计算复杂度很高的渲染过程，也是3D-HEVC帧内预测编码计算效率低下的一个重要原因。3D-HEVC为了降低码率，引入了SDC技术。该技术仅仅使用在Planar模式和显式的楔形分割模式上构成了两个新模式SDC_Planar模式和SDC_DMM1模式。两个新模式仅允许传递像素值的有效索引值。而编码器需要额外进行两次率失真代价的计算，这也影响了深度帧内预测模式的计算复杂度，但是不是最主要的原因之一。综上所述，3D-HEVC标准中3D视频中深度图像帧内编码过程的复杂程度过高的原因有以下三个方面：1)在CU层，3D-HEVC采用了HEVC复杂的编码单元作为编码结构，需要通过复杂地计算获得最优CU的划分；2)在PU层，深度图像的帧内预测模式增多，其中包含35个HEVC的帧内预测模式和4种深度模型模式，而深度模型模式中的楔形分割模式数目极多；3)深度图像的编码参数的选择需要计算合成中间视角的率失真，而引入了非常耗时的渲染过程。文献《3D-HEVC最初的测试模型“3D-HEVCTestModel1”》，(“L.Zhang,G.Tech,K.Wegner,S.Yea,ITU-TSG16WP3andISO/IECJTC1/SC29/WG11,JCT3V-A1005,1stMeeting:Stockholm,SE,16-20July2012”)一文中的帧内预测模式选择方法，对所有的帧内预测模式和所有的楔形分割模式进行率失真的计算。由于候选的帧内预测模式的增多，特别是楔形分割模式数目过多，进一步地增加深度图像帧内编码时间和计算的复杂度，限制了3D视频的实时应用。为此，已经开展许多相关研究来改进深度图像编码效率。对于HEVC的帧内预测模式选择算法的研究，很多可以应用于深度图像的帧内预测模式的选择，如下：文献“Encoderimprovementofunifiedintraprediction,”JCT-VCITU-TVCEGISO/IECMPEG,documentJCTVC-C207,Guangzhou本文档来自技高网...

【技术保护点】
一种3D视频深度图像帧内预测模式选择方法，其特征在于，包括如下步骤：步骤1：判断当前预测块的大小是否为4x4，如果判断结果为是，则按照Test Model5帧内预测模式选择方法进行帧内预测模式选择，获取最优的帧内预测模式；如果判断结果为否，则执行步骤2；步骤2：选取当前块的邻近参考像素并计算其方差，判断邻近参考像素的方差是否小于预设的一号门限值，如果判断结果为是，则将前述的Planar模式和SDC_Planar模式加入到候选帧内预测模式列表，然后执行步骤7；如果判断结果是否，则执行步骤3；步骤3：使用K‑mean算法将邻近参考像素进行分类，分成两个集合，分别为集合一和集合二；分别计算集合一和集合二的方差，比较两个集合的方差与二号门限值的大小，如果两个参考像素集合的方差都小于二号门限值，则执行步骤4；否则按照Test Model5帧内预测模式选择方法进行帧内预测模式选择，获取最优的帧内预测模式；步骤4：计算步骤3中获得的参考像素集合一和集合二的连通性并记录间断点的个数和位置；步骤5：根据参考像素集合一和集合二的连通性和间断点的个数和位置，选择有效的HEVC帧内预测模式、有效的深度模型模式以及有效的楔形分割模式的方向，然后执行步骤6；步骤6：判断有效的HEVC帧内预测模式数目是否小于标准的HEVC的粗略模式选择过程规定的候选帧内预测模式数目，如果判断结果为否，则进行HEVC的默认粗略模式决定过程，选择一定数目的帧内预测模式加入到候选帧内预测模式列表；如果判断结果为是，则不进行粗略模式决定过程，并将所有的有效HEVC的帧内预测模式加入到候选帧内预测模式，执行步骤7；步骤7：如果显示楔形分割和隐式楔形分割模式为有效模式，在有效方向的楔形分割模式中，计算获得最优的显示楔形分割模式和隐式楔形分割模式并加入到候选帧内预测模式列表中；同时，如果区域边界模式或contour模式为有效模式，将contour或边界链式模式加入到候选帧内预测模式列表；步骤8：对候选帧内预测模式列表中的每一个候选帧内预测模式进行完整率失真代价的计算，选择率失真代价最小的帧内预测模式作为最优的帧内预测模式；上述步骤中：所述连通性为：对于任意一个邻近参考像素集合，其任意给定的一个像素，如果可以通过索引的+1和‑1访问到该集合中的每一个元素，则该参考像素集合具有连通性；所述间断点为：如果某个索引为M的邻近参考像素，该像素点与其一邻域的索引为M+1或M‑1参考像素不属于同一个集合，那么该点为间断点。...

【技术特征摘要】
1.一种3D视频深度图像帧内预测模式选择方法，其特征在于，包括如下步骤：步骤1：判断当前预测块的大小是否为4×4，如果判断结果为是，则按照3D-HEVCTestModel5帧内预测模式选择方法进行帧内预测模式选择，获取最优的帧内预测模式；如果判断结果为否，则执行步骤2；步骤2：选取当前块的邻近参考像素并计算其方差，判断邻近参考像素的方差是否小于预设的一号门限值，如果判断结果为是，则将Planar模式和SDC_Planar模式加入到候选帧内预测模式列表，然后执行步骤7；如果判断结果是否，则执行步骤3；步骤3：使用K-mean算法将邻近参考像素进行分类，分成两个集合，分别为集合一和集合二；分别计算集合一和集合二的方差，比较两个集合的方差与二号门限值的大小，如果两个参考像素集合的方差都小于二号门限值，则执行步骤4；否则按照3D-HEVCTestModel5帧内预测模式选择方法进行帧内预测模式选择，获取最优的帧内预测模式；步骤4：计算步骤3中获得的参考像素集合一和集合二的连通性并记录间断点的个数和位置；步骤5：根据参考像素集合一和集合二的连通性和间断点的个数和位置，选择有效的HEVC帧内预测模式、有效的深度模型模式以及有效的楔形分割模式的方向，然后执行步骤6；步骤6：判断有效的HEVC帧内预测模式数目是否小于标准的HEVC的粗略模式决定过程规定的候选帧内预测模式数目，如果判断结果为否，则进行HEVC的默认粗略模式决定过程，选择一定数目的帧内预测模式加入到候选帧内预测模式列表；如果判断结果为是，则不进行粗略模式决定过程，并将所有的有效HEVC的帧内预测模式加入到候选帧内预测模式，执行步骤7；步骤7：如果显式楔形分割和隐式楔形分割模式为有效深度模型模式，在有效方向的楔形分割模式中，计算获得最优的显式楔形分割模式和隐式楔形分割模式并加入到候选帧内预测模式列表中；同时，如果边界链式编码模式或contour模式为有效深度模型模式，将contour模式或边界链式编码模式加入到候选帧内预测模式列表；步骤8：对候选帧内预测模式列表中的每一个候选帧内预测模式进行完整率失真代价的计算，选择率失真代价最小的帧内预测模式作为最优的帧内预测模式；上述步骤中：所述连通性为：对于任意一个邻近参考像素集合，其任意给定的一个像素，如果可以通过索引的+1和-1访问到该集合中的每一个像素，则该参考像素集合具有连通性；所述间断点为：如果某个索引为M的邻近参考像素，该像素点与其一邻域的索引为M+1或M-1参考像素不属于同一个集合，那么该点为间断点。2.如权利要求1所述的3D视频深度图像帧内预测模式选择方法，其特征在于，步骤4中获得参考像素集合一和集合二的连通性和间断点的具体过程如下：先将邻近参考像素按左下、左、左上、上、右上的顺序依次编号，其索引依次记为1～4×N+1，其中N为当前预测块的宽度；记录索引为1的邻近参考像素所属的集合；按索引从小到大依次考虑每一个邻近参考像素，如果邻近参考像素与其前一个参考像素不在同一个集合中，将该点标记为间断点，并记录该点的索引；如果最终仅仅得到一个间断点，则参考像素集合一和参考像素集合二都具有连通性；如果最终得到了两个间断点，则索引为1的像素所在的参考像素集合不具有连通性，而另一个参考像素集合具有连通性；如果间断点的个数大于等于2个，则两个集合都不具有连通性。3.如权利要求1所述的3D视频深度图像帧内预测模式选择方法，其特征在于，步骤5中，获得有效的帧内预测模式的方法为：3.1当邻近参考像素集合一和集合二的间断点个数大于4或等于3时，将35种HEVC帧内预测模式均设为有效的HEVC帧内预测模式；将4种深度模型模式均设为无效的深度模型模式；3.2当邻近参考像素集合一和集合二都具有连通性时，根据间断点的索引获得有效的帧内预测模式，分别为如下四种情况：1)当间断点位于左下时，边界模式为从间断点到当前块右下角的方向对应的HEVC帧内预测模式；将HEVC帧内预测模式2至边界模式的所有HEVC帧内预测模式设置为有效的HEVC帧内预测模式；仅将深度模型模式中的边界链式编码模式设为无效深度模型模式；仅将楔形分割模式的方向2设置为有效的楔形分割模式方向；2)当间断点位于左和左上时，边界模式为从间断点到当前块左下角的方向对应的HEVC帧内预测模式；将HEVC帧内预测模式2至边界模式的所有HEVC帧内预测模式设置为有效的HEVC帧内预测模式，将所有的深度模型模式设为有效深度模型模式，将楔形分割模式的方向3和5设置为有效的楔形分割模式方向；3)当间断点位于上时，边界模式为从间断点到当前块的右上角方向对应的HEVC帧内预测模式；将边界模式至帧内预测模式34所有的HEVC帧内预测模式设置为有效的HEVC帧内预测模式；将所有的深度模型模式设为有效深度模型模式；将楔形分割的方向1和4设置为有效的楔形分割模式方向；4)当间断点位于右上时，边界模式为从间断点到当前块的右下角的方向相对应的HEVC帧内预测模式；将边界模式至帧内预测模式34设置所有的HEVC帧内预测模式设置为有效的HEVC帧内预测模式，仅将深度模型模式中的边界链式编码模式设置为无效的深度模型模式，将楔形分割模式的方向2设置为有效的楔形...

【专利技术属性】
技术研发人员：伏长虹，张洪彬，苏卫民，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32