三维视频中的位流提取制造技术

为了从3维视频3DV位流中提取子位流，一种装置确定指示所述3DV位流中的具有对多个目标视图中的图片进行解码所必需的纹理视图分量的视图的纹理目标视图列表。所述目标视图是位流中的将可从子位流中解码的视图的子集。此外，所述装置确定指示3DV位流中的具有对多个目标视图中的图片进行解码所必需的深度视图分量的视图的深度目标视图列表。所述装置至少部分地基于所述纹理目标视图列表和所述深度目标视图列表确定所述子位流。

【技术实现步骤摘要】
【国外来华专利技术】三维视频中的位流提取本申请案要求2012年2月29日申请的第61/605,136号美国临时专利申请案的权益，所述申请案的完整内容以引用的方式并入本文中。
本专利技术涉及视频译码(即，对视频数据的编码和/或解码)。
技术介绍
数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直接广播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置等等。数字视频装置实施视频压缩技术，例如MPEG-2，MPEG-4，ITU-TH.263，ITU-TH.264/MPEG-4，第10部分，高级视频译码(AVC)所定义的标准、目前正在研发的高效率视频译码(HEVC)标准和此类标准的扩展形式中所描述的那些视频压缩技术。视频装置可以通过实施此类视频压缩技术而更高效地发射、接收、编码、解码和/或存储数字视频信息。视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，可以将视频切片(即，视频帧或视频帧的一部分)分割成视频块。使用相对于相同图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可以使用相对于相同图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可以称为帧，并且参考图片可以称为参考帧。空间或时间预测会产生要译码的块的预测性块。残余数据表示要译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本块的运动向量对经帧间译码块进行编码，并且残余数据指示经译码块与预测性块之间的差。根据帧内译码模式和残余数据对经帧内译码块进行编码。为了进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余系数，可以接着对残余系数进行量化。可以扫描初始以二维阵列布置的经量化系数，以便产生系数的一维向量，并且可以对经扫描的经量化系数应用熵译码以实现甚至更多的压缩。可以通过对例如来自多个彩色相机的视图进行编码而产生多视图位流。为了进一步扩展多视图视频的灵活性，已经研发出三维(3D)视频标准。3D视频位流不但可以含有对应于多个相机的视图(即纹理视图)，而且还含有与至少一个或多个纹理视图相关联的深度视图。举例来说，每一视图可以由一个纹理视图和一个深度视图组成。
技术实现思路
总地来说，本专利技术描述用于从三维视频(3DV)位流中提取视频数据子位流的技术。更具体来说，一种装置确定指示所述3DV位流中的具有对多个目标视图中的图片进行解码所必需的纹理视图分量的视图的纹理目标视图列表。目标视图是位流中的将要可从子位流中解码的视图的子集。此外，所述装置确定指示3DV位流中的具有对多个目标视图中的图片进行解码所必需的深度视图分量的视图的深度目标视图列表。所述装置至少部分地基于所述纹理目标视图列表和所述深度目标视图列表确定所述子位流。根据本专利技术的技术，即使与深度视图相关联的纹理视图在纹理目标视图列表中，也可以从深度目标视图列表中排除深度视图。类似地，本专利技术的技术可以使得即使与纹理视图相关联的深度视图(当可用时)在深度目标视图列表中，纹理视图(当可用时)也能够从纹理目标视图列表中排除。如果纹理视图和深度视图对应于相同相机位置(即，在例如MVC+D或3D-AVC等3D视频编解码器中)从而具有相同的视图识别符(view_id)值，那么可以认为纹理视图和深度视图是相关联的。在一个实例中，本专利技术描述一种从包含经译码纹理视图分量和经译码深度视图分量的3DV位流中提取子位流的方法。所述方法包括确定指示所述3DV位流中的具有对多个目标视图中的图片进行解码所必需的纹理视图分量的视图的纹理目标视图列表。此外，所述方法包括确定指示3DV位流中的具有对多个目标视图中的图片进行解码所必需的深度视图分量的视图的深度目标视图列表。此外，所述方法包括至少部分地基于所述纹理目标视图列表和所述深度目标视图列表确定所述子位流。在另一实例中，本专利技术描述一种包括一个或多个处理器的装置，所述处理器经配置以确定指示3DV位流中的具有对多个目标视图中的图片进行解码所必需的纹理视图分量的视图的纹理目标视图列表，所述3DV位流包含经译码纹理视图分量和经译码深度视图分量。所述一个或多个处理器还经配置以确定指示3DV位流中的具有对多个目标视图中的图片进行解码所必需的深度视图分量的视图的深度目标视图列表。此外，所述一个或多个处理器可以至少部分地基于所述纹理目标视图列表和所述深度目标视图列表确定所述子位流。在另一实例中，本专利技术描述一种装置，所述装置包括用于确定指示3DV位流中的具有对多个目标视图中的图片进行解码所必需的纹理视图分量的视图的纹理目标视图列表的装置，所述3DV位流包含经译码纹理视图分量和经译码深度视图分量。所述装置还包括用于确定指示3DV位流中的具有对多个目标视图中的图片进行解码所必需的深度视图分量的视图的深度目标视图列表的装置。此外，所述方法包括用于至少部分地基于所述纹理目标视图列表和所述深度目标视图列表确定所述子位流的装置。在另一实例中，本专利技术描述一种存储指令的计算机可读存储媒体，所述指令当被装置的一个或多个处理器执行时配置所述装置以确定指示3DV位流中的具有对多个目标视图中的图片进行解码所必需的纹理视图分量的视图的纹理目标视图列表，所述3DV位流包含经译码纹理视图分量和经译码深度视图分量。此外，所述指令配置所述装置以确定指示3DV位流中的具有对多个目标视图中的图片进行解码所必需的深度视图分量的视图的深度目标视图列表。此外，所述指令配置所述装置以至少部分地基于所述纹理目标视图列表和所述深度目标视图列表确定所述子位流。附图和下面的描述中阐述了本专利技术的一个或多个实例的细节。从描述、图式和权利要求书中将清楚其它特征、目标和优点。附图说明图1是说明可以利用本专利技术中描述的技术的实例视频译码系统的框图。图2是说明可以实施本专利技术中描述的技术的实例视频编码器的框图。图3是说明可以实施本专利技术中描述的技术的实例视频解码器的框图。图4是说明根据本专利技术的一种或多种技术的实例子位流提取操作的流程图。图5是说明根据本专利技术的一种或多种技术的与多视图译码(MVC)兼容的3维视频(3DV)中的实例子位流提取过程的流程图。图6是说明图5的实例子位流提取过程的继续的流程图。图7是说明根据本专利技术的一种或多种技术的用以确定所必需的锚纹理视图分量的视图识别符的实例操作的流程图。图8是说明根据本专利技术的一种或多种技术的用以确定所必需的锚深度视图分量的视图识别符的实例操作的流程图。图9是说明根据本专利技术的一种或多种技术的用以确定所必需的非锚纹理视图分量的视图识别符的实例操作的流程图。图10是说明根据本专利技术的一种或多种技术的用以确定所必需的非锚深度视图分量的视图识别符的实例操作的流程图。图11是说明根据本专利技术的一种或多种技术的用以将视频译码层(VCL)网络接入层(NAL)单元和填充数据NAL单元标记为要从位流中移除的第一实例操作的流程图。图12是说明根据本专利技术的一种或多种技术的用以将VCLNAL本文档来自技高网...

【技术保护点】
一种从包含经译码纹理视图分量和经译码深度视图分量的三维视频3DV位流中提取子位流的方法，所述方法包括：确定指示所述3DV位流中的具有对多个目标视图中的图片进行解码所必需的纹理视图分量的视图的纹理目标视图列表；确定指示所述3DV位流中的具有对所述多个目标视图中的图片进行解码所必需的深度视图分量的视图的深度目标视图列表；以及至少部分地基于所述纹理目标视图列表和所述深度目标视图列表确定所述子位流。

【技术特征摘要】
【国外来华专利技术】2012.02.29 US 61/605,136;2013.02.26 US 13/777,7851.一种从包含经译码纹理视图分量和经译码深度视图分量的三维视频3DV位流中提取子位流的方法，所述方法包括：确定指示所述3DV位流中的视图的第一列表，由所述第一列表指示的视图具有对多个目标视图中的图片进行解码所必需的纹理视图分量，所述多个目标视图包括所述3DV位流中的视图的子集，其中所述目标视图是视频解码器输出的目标；确定指示所述3DV位流中的视图的分开的第二列表，由所述第二列表指示的视图具有对所述多个目标视图中的图片进行解码所必需的深度视图分量，所述第一列表和所述第二列表指示所述3DV位流中的视图的不同子集；以及至少部分地基于所述第一列表和所述第二列表确定所述子位流。2.根据权利要求1所述的方法，其中：所述第一列表包含识别所述3DV位流中的具有对所述多个目标视图中的图片进行解码所必需的纹理视图分量的所述视图的视图识别符；所述第二列表包含识别所述3DV位流中的具有对所述多个目标视图中的图片进行解码所必需的深度视图分量的所述视图的视图识别符；并且所述第一列表包含与所述第二列表中的所述视图识别符不同的一个或多个视图识别符。3.根据权利要求1所述的方法，其中：序列参数集SPS指定视图与可应用于所述SPS的视图分量之间的可能依赖性；确定所述第一列表包括至少部分地基于所述多个目标视图和所述SPS指定的所述可能依赖性来确定所述第一列表；并且确定所第二列表包括至少部分地基于所述多个目标视图和所述SPS指定的所述可能依赖性来确定所述第二列表。4.根据权利要求1所述的方法，其中所述3DV位流包括一系列网络抽象层NAL单元，并且确定所述子位流包括至少部分地基于所述第一列表或所述第二列表是否指定NAL单元的视图识别符来确定是否要从所述3DV位流中移除所述NAL单元。5.根据权利要求4所述的方法，其中确定所述第一列表和所述第二列表包括：确定指示所述3DV位流中的具有对所述多个目标视图中的锚图片进行解码所必需的纹理视图分量的视图的锚纹理目标视图列表；确定指示所述3DV位流中的具有对所述多个目标视图中的非锚图片进行解码所必需的纹理视图分量的视图的非锚纹理目标视图列表；确定指示所述3DV位流中的具有对所述多个目标视图中的所述锚图片进行解码所必需的深度视图分量的视图的锚深度目标视图列表；以及确定指示所述3DV位流中的具有对所述多个目标视图中的所述非锚图片进行解码所必需的深度视图分量的视图的非锚深度目标视图列表。6.根据权利要求5所述的方法，其中确定是否要从所述3DV位流中移除所述NAL单元包括：至少部分地基于所述NAL单元是否属于锚图片、所述NAL单元是否属于深度视图分量NAL单元类型以及所述锚纹理目标视图列表是否指定所述NAL单元的所述视图识别符，来确定是否要从所述3DV位流中移除所述NAL单元，其中属于所述深度视图分量NAL单元类型的NAL单元囊封深度视图分量的经译码切片扩展部分；以及至少部分地基于所述NAL单元是否属于锚图片、所述NAL单元是否属于所述深度视图分量NAL单元类型以及所述非锚纹理目标视图列表是否指定所述NAL单元的所述视图识别符，来确定是否要从所述3DV位流中移除所述NAL单元。7.根据权利要求6所述的方法，其中确定是否要从所述3DV位流中移除所述NAL单元包括：当所述NAL单元的标头中的锚图片旗标语法元素等于1、所述NAL单元的所述标头中的NAL单元类型语法元素不等于21并且所述NAL单元的所述标头中的视图识别符语法元素等于所述锚纹理目标列表中的视图的视图识别符时，确定要从所述3DV位流中移除所述NAL单元；以及当所述NAL单元的所述标头中的所述锚图片旗标语法元素等于0、所述NAL单元的所述标头中的所述NAL单元类型语法元素不等于21并且所述NAL单元的所述标头中的所述视图识别符语法元素等于所述非锚纹理目标列表中的视图的视图识别符时，确定要从所述3DV位流中移除所述NAL单元。8.根据权利要求5所述的方法，其中确定是否要从所述3DV位流中移除所述NAL单元包括：至少部分地基于所述NAL单元是否属于锚图片、所述NAL单元是否属于深度视图分量NAL单元类型以及所述锚深度目标视图列表是否指定所述NAL单元的所述视图识别符，来确定是否要从所述3DV位流中移除所述NAL单元，其中属于所述深度视图分量NAL单元类型的NAL单元囊封深度视图分量的经译码切片扩展部分；以及至少部分地基于所述NAL单元是否属于锚图片、所述NAL单元是否属于所述深度视图分量NAL单元类型以及所述非锚深度目标视图列表是否指定所述NAL单元的所述视图识别符，来确定是否要从所述3DV位流中移除所述NAL单元。9.根据权利要求8所述的方法，其中确定是否要从所述3DV位流中移除所述NAL单元包括：当所述NAL单元的标头中的锚图片旗标语法元素等于1、所述NAL单元的所述标头中的NAL单元类型语法元素等于21并且所述NAL单元的所述标头中的视图识别符语法元素等于所述锚深度目标列表中的视图的视图识别符时，确定要从所述3DV位流中移除所述NAL单元；以及当所述NAL单元的所述标头中的所述锚图片旗标语法元素等于0、所述NAL单元的所述标头中的所述NAL单元类型语法元素等于21并且所述NAL单元的所述标头中的所述视图识别符语法元素等于所述非锚深度目标列表中的视图的视图识别符时，确定要从所述3DV位流中移除所述NAL单元。10.根据权利要求1所述的方法，其中通过内容递送网络CDN装置来执行所述方法。11.一种用于从包含经译码纹理视图分量和经译码深度视图分量的三维视频3DV位流中提取子位流的装置，其包括经配置以执行以下操作的一或多个处理器：确定指示三维视频3DV位流中的视图的第一列表，由所述第一列表指示的视图具有对多个目标视图中的图片进行解码所必需的纹理视图分量，所述多个目标视图包括所述3DV位流中的视图的子集，其中所述目标视图是视频解码器输出的目标，所述3DV位流包含经译码纹理视图分量和经译码深度视图分量；确定指示所述3DV位流中的视图的分开的第二列表，由所述第二列表指示的视图具有对所述多个目标视图中的图片进行解码所必需的深度视图分量，所述第一列表和所述第二列表指示所述3DV位流中的视图的不同子集；以及至少部分地基于所述第一列表和所述第二列表确定所述子位流。12.根据权利要求11所述的装置，其中：所述第一列表包含识别所述3DV位流中的具有对所述多个目标视图中的图片进行解码所必需的纹理视图分量的所述视图的视图识别符；所述第二列表包含识别所述3DV位流中的具有对所述多个目标视图中的图片进行解码所必需的深度视图分量的所述视图的视图识别符；并且所述第一列表包含与所述第二列表中的所述视图识别符不同的一个或多个视图识别符。13.根据权利要求11所述的装置，其中：序列参数集SPS指定视图与可应用于所述SPS的视图分量之间的可能依赖性；并且所述一个或多个处理器经配置以执行以下操作：至少部分地基于所述多个目标视图和所述SPS指定的所述可能依赖性来确定所述第一列表；以及至少部分地基于所述多个目标视图和所述SPS指定的所述可能依赖性来确定所述第二列表。14.根据权利要求11所述的装置，其中所述3DV位流包括一系列网络抽象层NAL单元，并且所述一个或多个处理器经配置以至少部分地基于所述第一列表或所述第二列表是否指定NAL单元的视图识别符来确定是否要从所述3DV位流中移除所述NAL单元。15.根据权利要求14所述的装置，其中所述一个或多个处理器经配置以执行以下操作：确定指示所述3DV位流中的具有对所述多个目标视图中的锚图片进行解码所必需的纹理视图分量的视图的锚纹理目标视图列表；确定指示所述3DV位流中的具有对所述多个目标视图中的非锚图片进行解码所必需的纹理视图分量的视图的非锚纹理目标视图列表；确定指示所述3DV位流中的具有对所述多个目标视图中的所述锚图片进行解码所必需的深度视图分量的视图的锚深度目标视图列表；以及确定指示所述3DV位流中的具有对所述多个目标视图中的所述非...

【专利技术属性】
技术研发人员：陈颖，王益魁，马尔塔·卡切维奇，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US