基于高效率视频编码标准的3D视频编码中深度查找表发讯方法技术

技术编号:14763531 阅读:107 留言:0更新日期:2017-03-03 17:16
本发明专利技术揭露一种在三维以及多视图编码系统中深度查找表(DLT)的发讯方法及其装置。根据本发明专利技术,如果图像仅包含纹理数据,则不将DLT信息并入对应图像的图像参数集合(PPS)。反之,如果图像包含深度数据,则由该图像的PPS决定与之相关联的该DLT。如果预测该DLT所需的先前DLT存在,则基于该先前DLT预测该DLT;将与该DLT相关的语法并入该PPS。此外,也将与该DLT的第一深度采样相关的第一比特深度信息并入该PPS,其中该第一比特深度信息与第二比特深度信息一致,并且对于包含所述一个或多个图像的序列的第二深度采样,在序列层数据中发讯上述第二比特深度信息。

【技术实现步骤摘要】
【国外来华专利技术】交叉引用本专利技术要求如下优先权:编号为PCT/CN2014/073611,申请日为2014年3月18日的PCT专利申请。上述PCT专利申请在此一并作为参考。
本专利技术涉及一种三维视频编码以及多视图视频编码。特别地,本专利技术涉及一种深度查找表(DepthLookupTable)发讯(signaling)方法。
技术介绍
近年来,三维(3D)电视渐成为一种技术趋势,其可给观看者带来震撼的观影体验。多视图视频(multi-viewvideo)是一种捕获并渲染3D视频的技术。典型地,通过使用多个摄像机同时捕捉场景,产生多视图视频,其中可适当安排多个摄像机从而使得每个摄像机可从一个视点(viewpoint)捕捉场景。与多视图相关联的具有大量视频序列的多视图视频具有大量数据。相应地,多视图视频将需要较大存储空间用于存储及/或需要较大带宽用于传输。因此,本领域已经开发出了多视图视频编码技术以降低所需存储空间以及传输带宽。一种直接方法可分别对每个单一视图视频序列简单应用传统视频编码技术,并且忽视不同视图之间的任何关联性。这样直接的技术将导致较差的编码性能。为了提升多视图视频编码效率,多视图视频编码总是利用视图间冗余(inter-viewredundancy)。两个不同摄像机的位置与角度导致两个视图之间的不一致。深度查找表(DepthLookupTable,DLT)已经被引入3D-HEVC。通常,在深度成分(depthcomponent)中仅出现有限值。因此,DLT代表区块中的有效值。当在帧内深度编码(Intrasimplifieddepthcoding,SDC)模式或深度图建模(depthmapmodeling,DMM)模式中编码编码区块(CodingUnit,CU)时,使用DLT将有效深度值映射至DLT指数(index)。图1描述图像中深度值的DLT表现示例。当深度值范围从0至255时,仅有5个深度值(即50、108、110、112以及200)出现在图像中。因此,DLT包含具有从0至4指数的5个值。在图像参数集合(PictureParameterSet,PPS)中发讯DLT并且支持编码器生成DLT。在当前基于高效率视频编码的三维编码(3D-HEVC)标准草案中,发讯DLT作为图像参数集合(PPS)的扩展。在接下来的列表中描述与DLT发讯相关的语法元素。如列表1所示,如果置位PPS扩展标志位pps_extension_type_flag[0],则将DLT参数信息pps_dlt_parameters()并入PPS中。列表1.列表2显示DLT参数信息pps_dlt_parameters()的语法结构。当标志位dlt_present_flag具有为1的数值时,如列表2所示,将与DLT相关的信息并入pps_dlt_parameters()中。视图间DLT预测标志位inter_view_dlt_pred_enable_flag[i]等于1指示从第0个深度查找表的深度查找表预测第i个深度查找表。换句话说,标志位inter_view_dlt_pred_enable_flag[i]等于0指示不从任何其他深度查找表预测第i个深度查找表。列表2.根据现存3D-HEVC标准的DLT发讯技术具有许多问题。首先,如相应标志位inter_view_dlt_pred_enable_flag[i]所指示,可将视图间预测应用于DLT中。如果上述标志位设定为1,则从第0个DLT预测第i个DLT。换句话说,dlt_flag[i]指示是否存在第i个DLT。因此,如果dlt_flag[i]为0并且具有i>0的inter_view_dlt_pred_enable_flag[i]为1,则无法从现存DLT中预测第i个DLT。在现存3D-HEVC标准中,发讯pps_bit_depth_for_depth_views_minus8以指示图像中深度成分采样的比特深度(bit-depth)。然而,如bit_depth_luma_minus8所指示,也在序列层发讯深度成分采样的比特深度,其中在序列参数集合(SequenceParameterSet,SPS)中发讯bit_depth_luma_minus8。因此,如果上述两种语法元素不同,则在上述两种语法元素之间存在潜在矛盾。在现存3D-HEVC标准中,既然可为纹理数据(texturedata)将标志位dlt_present_flag设定为1,所以在比特流的所有PPS中发讯DLT,其中上述比特流包含所有视图的纹理视频。然而,仅每个视图的深度成分需要DLT。根据现存3D-HEVC标准,当存在3个视图时,在总共四个PPS中发讯DLT。如图2所示,对于三个视图的纹理成分(即T0、T1、T2),分别发送三个PPS。换句话说,所有三个视图的深度组分(即D0、D1、D2)仅使用并分享一个PPS。因此,将在4个PPS中重复发讯相同DLT内容的4份副本,这样具有明显冗余。开发方法在对性能无明显影响情况下克服上述问题是令人满意的。
技术实现思路
本专利技术揭露一种在三维以及多视图编码系统中深度查找表(DLT)发讯方法及其装置。根据本专利技术,如果图像仅包含纹理数据,则不将DLT信息并入对应图像的图像参数集合(PPS)。换句话说,如果图像包含深度数据,则决定与图像相关联的该DLT。如果预测该DLT所需的先前DLT存在,则基于该先前DLT预测该DLT;将与该DLT相关的语法并入该PPS。此外,也将与该DLT的第一深度采样相关的第一比特深度信息并入该PPS,其中该第一比特深度信息与第二比特深度信息一致,并且对于包含所述一个或多个图像的序列的第二深度采样,在序列层数据中发讯上述第二比特深度信息。本专利技术一个方面涉及用于预测DLT的DLT发讯的有效性。如果用于预测该DLT所需的先前DLT不存在,则不管视图间DLT预测是否开启,不对该DLT进行预测编码。另外,不发讯指示是否对该DLT进行视图间DLT预测的标志位,并且该标志位的数值自动推断为零。此外,如果预测该DLT所需的该先前DLT不存在并且为该深度查找表置位指示是否使用视图间DLT预测的标志位,则为预测该DLT使用另一个DLT。该另一DLT对应现存先前DLT或预定DLT。本专利技术另一方面涉及在序列层以及图像层的DLT发讯的一致性。第一比特深度信息指示的第一比特深度值与第二比特深度信息指示的第二比特深度值相同。如果该第一比特深度信息指示的第一比特深度值与该第二比特深度信息指示的第二比特深度值不同,则根据该第一比特深度值与该第二比特深度值,对该深度查找表应用按比例调整操作。此外,如果该第一深度值D1大于该第二深度值D2,则根据公式D’=(D+offset)>>(D1–D2)将该DLT的深度值D按比例调整为新深度值D’;以及如果D1小于D2,则根据公式D’=(D+offset)<<(D2–D1)将该深度值D按比例调整为新深度值D’,其中offset是偏移值,“>>”是右移操作算法以及是“<<”左移操作算法。本专利技术另一方面涉及纹理数据的DLT发讯中的冗余。图像可对应与多视图相关联的多个深度图,并且该多视图的所有深度图共享该PPS中的该DLT。该图像可对应与每个本文档来自技高网
...
<a href="http://www.xjishu.com/zhuanli/62/201580012848.html" title="基于高效率视频编码标准的3D视频编码中深度查找表发讯方法原文来自X技术">基于高效率视频编码标准的3D视频编码中深度查找表发讯方法</a>

【技术保护点】
一种深度编码方法,用于三维及多视图编码系统中并使用深度查找表,所述方法包含:标识待处理的一个或多个图像;如果该一个或多个图像仅包含纹理数据,则在对应该一个或多个图像的图像参数集合中去除深度查找表信息;如果该一个或多个图像包含深度数据:则决定与该一个或多个图像相关联的该深度查找表;如果预测该深度查找表所需的先前深度查找表存在,则基于该先前深度查找表,采用预测编码对该深度查找表进行编码;将与该深度查找表相关的语法并入该图像参数集合;以及将与该深度查找表的第一深度采样相关的第一比特深度信息并入该图像参数集合,其中该第一比特深度信息与第二比特深度信息一致并且对于包含该一个或多个图像的序列的第二深度采样,在序列层发讯该第二比特深度信息;以及在包含该一个或多个图像的序列的视频比特流中发讯该图像参数集合。

【技术特征摘要】
【国外来华专利技术】2014.03.18 CN PCT/CN2014/0736111.一种深度编码方法,用于三维及多视图编码系统中并使用深度查找表,所述方法包含:标识待处理的一个或多个图像;如果该一个或多个图像仅包含纹理数据,则在对应该一个或多个图像的图像参数集合中去除深度查找表信息;如果该一个或多个图像包含深度数据:则决定与该一个或多个图像相关联的该深度查找表;如果预测该深度查找表所需的先前深度查找表存在,则基于该先前深度查找表,采用预测编码对该深度查找表进行编码;将与该深度查找表相关的语法并入该图像参数集合;以及将与该深度查找表的第一深度采样相关的第一比特深度信息并入该图像参数集合,其中该第一比特深度信息与第二比特深度信息一致并且对于包含该一个或多个图像的序列的第二深度采样,在序列层发讯该第二比特深度信息;以及在包含该一个或多个图像的序列的视频比特流中发讯该图像参数集合。2.如权利要求1所述的方法,其特征在于,如果预测该深度查找表所需的该先前深度查找表不存在,则不管视图间深度查找表预测是否开启,不对该深度查找表进行预测编码。3.如权利要求1所述的方法,其特征在于,如果预测该深度查找表所需的该先前深度查找表不存在,不发讯用于指示是否对该深度查找表进行视图间深度查找表预测的标志位,并且该标志位的数值自动推断为零。4.如权利要求1所述的方法,其特征在于,如果预测该深度查找表所需的该先前深度查找表不存在并且为该深度查找表置位指示是否使用视图间深度查找表预测的标志位,则为预测该深度查找表使用另一深度查找表。5.如权利要求4所述的方法,其特征在于,该另一深度查找表对应现存先前深度查找表或预定深度查找表。6.如权利要求1所述的方法,其特征在于,该第一比特深度信息指示的第一比特深度值与该第二比特深度信息指示的第二比特深度值相同。7.如权利要求1所述的方法,其特征在于,如果该第一比特深度信息指示的第一比特深度值与该第二比特深度信息指示的第二比特深度值不同,则根据该第一比特深度值与该第二比特深度值,对该深度查找表应用按比例调整操作。8.如权利要求7所述的方法,其特征在于,如果该第一深度值D1大于该第二深度值D2,则根据公式D’=(D+offset)>>(D1–D2)将该深度查找表的深度值D按比例调整为新深度值D’;以及如果D1小于D2,则...

【专利技术属性】
技术研发人员:张凯安基程张贤国黄晗
申请(专利权)人:寰发股份有限公司
类型:发明
国别省市:中国台湾;71

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1