支持分量间预测的3D视频编解码器制造技术

通过使用数据流中的一个或多个标志来控制对当前画面的编码单元的分量间预测的可用性的启用/禁用，支持分量间预测的3D视频编码/解码关于具有深度的相关各个视图和分量间预测的停用/启用能够在更广泛的设置范围内进行操作。

3D video codec supporting inter component prediction

To control the encoding unit on the current picture by using one or more symbols in a data flow component availability prediction enabled / disabled, support component prediction of 3D video encoding / decoding on each view and disable / related components with depth prediction enabled to operate in a more extensive set range.

【技术实现步骤摘要】
【国外来华专利技术】支持分量间预测的3D视频编解码器
本申请涉及支持分量间预测的3D视频编码/解码。
技术介绍
在3D-HEVC的当前设计中，当对当前画面进行解码时，若干新的3D-HEVC工具参考满足以下各项的画面：a)属于与当前画面的分量不同的分量(其中分量可以是纹理或深度)；b)包括在相同的访问单元(AU)中(其中AU包含具有相同画面顺序计数的相同时刻的所有画面)；以及c)不在当前画面的参考画面列表中。更具体地：1.当对当前深度画面进行解码时，一些工具参考与深度画面属于相同的视图和AU的纹理参考画面。因此，当前分量是深度并且参考分量是纹理。2.当对纹理画面进行解码时，一些工具参考属于当前纹理画面的AU和当前纹理画面的纹理参考画面的视图的深度画面。因此，当前分量是纹理并且参考分量是深度。参见图1中的示例1，其示出了从深度到纹理的分量间预测。图1描绘了3D-HEVC多层比特流的各层的子集以及当前画面的分量间依赖性。当前画面是层6的画面1。当前分量是纹理并且参考分量是深度。在对当前画面的任何编码单元(CU)进行解码之前，对参数集合SPS、VPS；层1、3、5和6的画面0；层1、3和5的画面1；以及当前画面本文档来自技高网...

【技术保护点】
一种3D视频解码器，包括：视频解码核心(12)，被配置为使用层内预测从数据流解码视频的层序列，每个层表示多个视图中的相应视图的深度或纹理，所述视频解码核心针对表示纹理的层，支持根据表示不同视图的纹理的层的视图间纹理预测和根据表示深度的层的纹理到深度预测，分量间预测开关(14)，被配置为：从所述数据流读取第一参数集合，所述第一参数集合涉及视频的与当前画面的时间戳有关的时间部分，并且针对表示纹理的当前层的当前画面，从所述第一参数集合导出表示纹理的层的纹理参考层集合，从所述数据流读取第二参数集合，所述第二参数集合与当前画面或当前画面的一部分相关，并且针对当前画面或当前画面的所述部分内的编码单元，从所...

【技术特征摘要】
【国外来华专利技术】2015.02.05 EP 15153900.41.一种3D视频解码器，包括：视频解码核心(12)，被配置为使用层内预测从数据流解码视频的层序列，每个层表示多个视图中的相应视图的深度或纹理，所述视频解码核心针对表示纹理的层，支持根据表示不同视图的纹理的层的视图间纹理预测和根据表示深度的层的纹理到深度预测，分量间预测开关(14)，被配置为：从所述数据流读取第一参数集合，所述第一参数集合涉及视频的与当前画面的时间戳有关的时间部分，并且针对表示纹理的当前层的当前画面，从所述第一参数集合导出表示纹理的层的纹理参考层集合，从所述数据流读取第二参数集合，所述第二参数集合与当前画面或当前画面的一部分相关，并且针对当前画面或当前画面的所述部分内的编码单元，从所述第二参数集合导出来自所述纹理参考层集合的表示纹理的层的所选择的纹理参考层集合，如果一方面表示视图的深度的层的潜在可用集合和另一方面表示通过所述第一参数集合确定的表示深度的层的深度参考层集合的交集等于所述潜在可用集合，所述视图的纹理通过所选择的纹理参考层集合中的任何一个纹理参考层表示，则从所述数据流读取标志，所述标志与当前画面或当前画面的所述部分相关并指示针对当前画面或当前画面的所述部分内的编码单元是启用还是禁用深度到纹理预测，以及如果所述交集不等于所述潜在可用集合，则将与当前画面或当前画面的所述部分内的编码单元相关的所述标志推断为指示针对所述编码单元禁用深度到纹理预测，其中，所述视频解码核心被配置为响应所述标志，以根据所述标志来对当前画面或当前画面的所述部分内的编码单元中的当前编码单元，应用或不应用深度到纹理预测。2.根据权利要求1所述的3D视频解码器，其中，所述标志和所述第二参数集合与当前画面的切片有关。3.根据权利要求1或2所述的3D视频解码器，其中，所选择的纹理参考层集合的每个层包括当前画面的时间戳处的画面。4.根据权利要求1至3中任一项所述的3D视频解码器，其中，所述视频解码核心(12)被配置为：支持层内预测中的时间预测和/或空间预测。5.根据权利要求1至4中任一项所述的3D视频解码器，其中，所述视频解码核心(12)被配置为：在针对所述当前编码单元应用深度到纹理预测的过程中，从与所述交集的深度参考画面的视差对应部分导出以下各项：将所述当前编码单元划分为用于单独预测的多于一个分区的划分，和/或用于解码所述当前编码单元的运动矢量，和/或用于解码所述当前编码单元的视差矢量。6.根据权利要求1至5中任一项所述的3D视频解码器，其中，所述视频解码核心被配置为：根据所述标志，从所述交集的深度参考画面的视差对应部分导出将所述当前编码单元划分为多于一个分区的划分或将所述当前编码单元划分为具有相等大小和形状的多于一个分区，和/或根据所述标志，从运动矢量候选列表预测用于解码所述当前编码单元的运动矢量，所述运动矢量候选列表包括或不包括从所述交集的深度参考画面的视差对应部分导出的运动矢量，和/或根据所述标志，从视差矢量候选列表预测用于解码所述当前编码单元的视差矢量，所述视差矢量候选列表包括或不包括从所述交集的深度参考画面的视差对应部分导出的视差矢量。7.根据权利要求1至6中任一项所述的3D视频解码器，其中，所述视频解码核心被配置为根据所述标志通过以下操作针对所述当前编码单元应用深度到纹理预测：如果所述标志指示针对所述当前编码单元启用深度到纹理预测，则从所述数据流读取针对所述当前编码单元特定的语法元素，所述语法元素用信号通知深度到纹理预测是否将应用于所述当前编码单元，如果所述标志指示针对所述当前编码单元禁用深度到纹理预测，则跳过从所述数据流读取所述语法元素，以及如果所述标志指示针对所述当前编码单元启用深度到纹理预测，并且如果所述语法元素指示深度到纹理预测将应用于所述当前编码单元，则针对所述当前编码单元应用深度到纹理预测。8.根据权利要求1至7中任一项所述的3D视频解码器，其中，所述视频解码核心被配置为：在根据表示不同视图的纹理的层进行视图间纹理预测的过程中，执行视差补偿预测。9.根据权利要求1至8中任一项所述的3D视频解码器，其中，所述第一参数集合的范围在所述数据流中，从而所述第一参数集合的所述视频的所述时间部分将所述视频作为整体或画面序列来涵盖。10.根据权利要求1至9中任一项所述的3D视频解码器，其中，所述分量间预测开关被配置为：从当前画面的切片的切片首部读取所述标志。11.根据权利要求1至10中任一项所述的3D视频解码器，其中，所述分量间预测开关被配置为在当前画面是双预测画面的情况下针对两个假设共同动作。12.根据权利要求1至11中任一项所述的3D视频解码器，被配置为：如果针对所述当前编码单元启用深度到纹理预测，那么如果所述交集中的任何画面未被编码在所述数据流中，则检测画面丢失。13.根据前述权利要求中任一项所述的3D视频解码器，还被配置为：不管所述分量间预测开关如何，响应于所述数据流中的另一标志而针对所述当前编码单元禁用深度到纹理预测。14.根据前述权利要求中任一项所述的3D视频解码器，其中，所述分量间预测开关被配置为：在所述当前编码单元的深度到纹理预测被所述数据流中的另一标志禁用的情况下，抑制读取所述标志。15.根据前述权利要求中任一项所述的3D视频解码器，其中，所述视频解码核心还支持由所述分量间预测开关启用和禁用的纹理到深度预测。16.根据前述权利要求中任一项所述的3D视频解码器，其中，所述分量间开关被配置为：还使用当前画面的与当前画面的时间戳相对应的时间ID，以便从所述第一参数集合导出表示纹理的层的纹理参考层集合。17.一种3D视频编码器，包括：视频编码核心，被配置为使用层内预测将视频的层序列编码成数据流，每个层表示多个视图中的相应视图的深度或纹理，所述视频解码核心针对表示纹理的层，支持根据表示不同视图的纹理的层的视图间纹理预测和根据表示深度的层的纹理到深度预测，分量间预测开关，被配置为：将第一参数集合插入所述数据流，所述第一参数集合涉及视频的与当前画面的时间戳有关的时间部分，并且针对表示纹理的当前层的当前画面，指示表示纹理的层的纹理参考层集合和表示深度的层的深度参考层集合，将第二参数集合插入所述数据流，所述第二参数集合与当前画面或当前画面的一部分相关，并且针对当前画面或当前画面的所述部分内的编码单元指示表示来自所述纹理参考层集合的表示纹理的层的所选择的纹理参考层集合，如果一方面表示视图的深度的层的潜在可用集合和另一方面所述深度参考层集合的交集等于所述潜在可用集合，所述视图的纹理通过所选择的纹理参考层集合中的任何一个纹理参考层表示，则决定针对当前画面或当前画面的所述部分是启用还是禁用深度到纹理预测，并且将标志插入所述数据流中，所述标志与当前画面或当前画面的所述部分相关，并指示针对当前画面或当前画面的所述部分内的编码单元是启用还是禁用深度到纹理预测，以及如果所述交集不等于所述潜在可用集合，则抑制插入与当前画面或当前画面的所述部分内的编码单元相关的所述标志并且针对所述编码单元禁用深度到纹理预测，其中，所述视频编码核心被配置为根据针对所述当前编码单元启用或禁用深度到纹理预测，针对当前画面或当前画面的所述部分内的编码单元中的当前编码单元，应用或不应用深度到纹理预测。18.根据权利要求17所述的3D视频编码器，其中，所述标志和所述第二参数集合与当前画面的切片有关。19.根据权利要求17或18所述的3D视频编码器，其中，所选择的纹理参考层集合的每个层包括当前画面的时间戳处的画面。20.根据权利要求17至19中任一项所述的3D视频编码器，其中，所述视频编码核心被配置为：支持层内预测中的时间预测和/或空间预测。21.根据权利要求17至20中任一项所述的3D视频编码器，其中，所述视频编码核心被配置为：在针对所述当前编码单元应用深度到纹理预测的过程中，从与所述交集的深度参考画面的视差对应部分导出以下各项：将所述当前编码单元划分为单独预测的多于一个分区的划分，和/或用于解码所述当前编码单元的运动矢量，和/或用于解码所述当前编码单元的视差矢量。22.根据权利要求17至21中任一项所述的3D视频编码器，其中，所述视频编码核心被配置为：根据所述标志，从所述交集的深度参考画面的视差对应部分导出将所述当前编码单元划分为多于一个分区的划分或将所述当前编码单元划分为具有相等大小和形状的多于一个分区，和/或根据所述标志，从运动矢量候选列表预测用于解码所述当前编码单元的运动矢量，所述运动矢量候选列表包括或不包括从所述交集的深度参考画面的视差对应部分导出的运动矢量，和/或根据所述标志，从视差矢量候选列表预测用于解码所述当前编码单元的视差矢量，所述视差矢量候选列表包括或不包括从所述交集的深度参考画面的视差对应部分导出的视差矢量。23.根据权利要求17至22中任一项所述的3D视频编码器，其中，所述视频编码核心被配置为根据所述标志通过以下操作针对所述当前编码单元应用深度到纹理预测：如果针对所述当前编码单元启用深度到纹理预测，则解码深度到纹理预测是否将应用于所述当前编码单元，并且将针对所述当前编码单元特定的语法元素插入所述数据流中，所述语法元素表示深度到纹理预测是否将应用于所述当前编码单元，如果针对所述当前编码单元禁用深度到纹理预测，则跳过将所述语法元素插入所述数据流，以及如果针对所述当前编码单元启用深度到纹理预测并且深度到纹理预测将应用于所述当前编码单元，则针对所述当前编码单元应用深度到纹理预测。24.根据权利要求17至23中任一项所述的3D视频编码器，其中，所述视频编码核心被配置为：在根据表示不同视图的纹理的层进行视图间纹理预测的过程中，执行视差补偿预测。25.根据权利要求17至24中任一项所述的3D视频编码器，其中，所述第一参数集合的范围在所述数据流中，从而所述第一参数集合的所述视频的所述时间部分将所述视频作为整体或画面序列来涵盖。26.根据权利要求17至25中任一项所述的3D视频编码器，其中，所述分量间预测开关被配置为：将所述标志插入当前画面的切片的切片首部。27.根据权利要求17至26中任一项所述的3D视频编码器，其中，所述分量间预测开关被配置为：特别针对当前画面读取所述标志。28.根据权利要求17至27中任一项所述的3D视频编码器，其中，所述分量间预测开关被配置为在当前画面是双预测画面的情况下针对两个假设共同动作。29.根据权利要求17至28中任一项所述的3D视频编码器，还被配置为：不管所述分量间预测开关如何，禁用所述当前编码单元的深度到纹理预测并通过所述数据流中的另一标志用信号通知所述禁用。30.根据权利要求17至29中任一项所述的3D视频编码器，其中，所述分量间预测开关被配置为：在所述当前编码单元的深度到纹理预测被所述数据流中的另一标志禁用的情况下，抑制读取所述标志。31.根据权利要求17至30中任一项所述的3D视频编码器，其中，所述视频解码核心还支持由所述分量间预测开关启用和禁用的纹理到深度预测。32.根据权利要求17至31中任一项所述的3D视频编码器，其中，所述分量间开关被配置为使得所述第一参数集合以涉及当前画面的与当前画面的时间戳相对应的时间ID的方式指示表示纹理的层的纹理参考层集合，以便进行推导。33.一种3D视频解码器，包括：视频解码核心(12)，被配置为使用层内预测从数据流解码视频的层序列，每个层表示多个视图中的相应视图的深度或纹理，所述视频解码核心针对表示当前视图的深度的层，支持根据表示不同视图的深度的层的预测和根据表示纹理的层的纹理到深度预测，分量间预测开关(14)，被配置为：从数据流读取第一参数集合，第一参数...

【专利技术属性】
技术研发人员：格哈特·泰希，卡尔斯滕·祖灵，德特勒夫·马尔佩，托马斯·威甘德，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：德国,DE