处理多层数据流的装置和方法、编码器和方法及存储介质制造方法及图纸

本申请涉及处理多层数据流的装置和方法、编码器和方法及存储介质。描述了在多层数据流的层之间的层间依赖性的信号作用。通过表示在基础层ID能表示的几对不同值之间的相互依赖性的第一相互依赖性语法结构以及表示在扩展层ID能表示的几对不同值之间的相互依赖性的第二相互依赖性语法结构的方式描述层间依赖性，发现在一方面的层间依赖性的潜在多样性的太密集限制与另一方面的层间依赖性的太复杂信令之间的良好折衷，基础层ID和扩展层ID索引与多层数据流的部分相关联的层。根据该概念，可在一方面的可信令层间依赖性的增加的多样性与另一方面的用于信令层间依赖性的减小的边信息开销之间转移重点。

Devices and methods for processing multilayer data streams, encoders and methods, and storage media

【技术实现步骤摘要】
处理多层数据流的装置和方法、编码器和方法及存储介质本申请是申请号为201480050666.6的中国专利申请的分案申请。
本申请涉及基于集群的依赖性信令，例如，在多层视频编码的领域中。
技术介绍
视频编解码器规范(例如，HEVC基础规范【1】及其扩展，例如，多视图扩展【2】【3】)通常获得机构，用于在分层编码场景中信令视频数据的每个编码块所属的层。信令机构需要随时可用，比较在图1中的表格中提供的HEVC中的denNAL单元报头(nuh_layer_id)内的层标识符。由于其在位方面的尺寸有限，所以相应HEVC语法元素允许64个值用于识别可扩展层、视图和/或深度。对于使用当前HEVCNAL单元报头语法的多视图视频，例如，这意味着64个视图或32个视图加上深度的组合限制为最大。虽然这对于很多共同的立体视图场景和其他应用充分，但是对于应用(例如，光场成像【4】、【5】或全息显示【6】)具有不止100个视图的大型摄像头阵列需要可扩展机构，用于信令层标识符的更大空间。而且，通过其相对于彼此的编码依赖性或空间关系将某些层或视图分组，构成层标识符的空间，可具有优点。进一步，由于在编码的视频位流内从已经可用的信息中获得这种信息，需要无法容忍的计算资源，所以在构成的层标识符空间内提供编码依赖性的紧凑表示，也具有优点。
技术实现思路
因此，本申请的目标在于，提供用于与多层编码相结合基于集群的依赖性信令的信令的概念，这在(例如)更小的边信息开销和/或改进的向后兼容性方面更有效。由即将发生的独立权利要求的主题实现这个目标。本申请的一个方面涉及在多层数据流的层之间的层间依赖性的信号作用。根据该方面，通过表示在基础层ID能表示的几对不同值之间的相互依赖性的第一相互依赖性语法结构以及表示在扩展层ID能表示的几对不同值之间的相互依赖性的第二相互依赖性语法结构的方式描述层间依赖性，发现在一方面的层间依赖性的潜在多样性的太密集限制与另一方面的层间依赖性的太复杂信令之间的良好折衷，所述基础层ID和扩展层ID索引与所述多层数据流的部分相关联的层。根据该概念，可在一方面的可信令层间依赖性的增加的多样性与另一方面的用于信令所述层间依赖性的减小的边信息开销之间转移重点：例如，分别调用具有共同的基础层ID的层的组，即，“集群”，所述相同的第二相互依赖性语法结构可用于单独在所有集群内并且在通过所述第一相互依赖性语法结构彼此相关的所有集群之间调节所述相互依赖性。可替换地，所述第二相互依赖性语法结构的两个实例化可用于描述一方面在所述集群内并且另一方面在不同集群的层之间的层的相互依赖性。无论是将重点放在增加的多样性还是减小的边信息开销上，所述相互依赖性信令理念的结果是保持低信令开销。本申请的一个方面涉及与多层视频信号的每个数据包相关联的层ID的信令。具体而言，这方面实现信令该层关联的有效方法，然而，与编码解码器保持向后兼容性，根据该向后兼容性，基础层ID字段的某个值限制为不可扩展，例如，在基础层ID字段内的基础层ID值0。并非特别相对于该不可扩展的基础层ID值避开该限制，通过将基础层ID字段细分成第一子字段和第二子字段，通过可扩展的方式信令多层数据流的部分的层ID：每当基础层ID字段的第一子字段满足预定标准，提供扩展层ID字段，并且如果基础层ID字段的第一子字段不满足预定标准，那么省略扩展层ID字段。上述不可扩展基础层ID值“隐藏”在这组基础层ID值内，其中，基础层ID字段的第一子字段不满足预定标准，因此，这个不可扩展基础层ID值不单独处理，而是渲染前一个组的一部分。确切地说，如果基础层ID字段的第一子字段满足预定标准，那么从在多层数据流内信令的扩展层ID字段中获得扩展值，以便这同样位于扩展值的域的第一子集内，并且如果基础层ID字段的第一子字段不满足预定标准，那么该扩展值设置为与扩展值的域的第一子集不相交的值。然后，使用扩展值以及从基础层ID字段的第二子字段中获得的集群值，索引与相应部分相关联的层。总而言之，尽管保持向后兼容性，也未丧失信令效率。本申请的一个方面涉及用于多层视频信号的层的至少一个特征的信令(例如，对于每层，通过层间预测与相应层直接相关的相关层的指示)或者上述第二相互依赖性语法结构的信令。根据该方面，在多层视频信号内信令最大语法元素，以指示多层视频信号的数据包的扩展层ID字段的最大使用值，例如，最大语法元素的范围是(例如)延伸穿过多层视频信号的几个部分的多层视频信号的预定部分。因此，根据该方面，对于接收多层视频信号的装置(例如，解码器或网络元件)，可行的是为多层视频信号的较大预定部分获得关于扩展层ID字段可信令的可能值的可能域的实际消耗部分的知识，并且不需要为基础层ID字段值和扩展层ID字段值的每个组合信令至少一个特征，更确切地说，足以为基于最大假定值确定的最大层数信令所述至少一个特征。因此，不需要为具有层ID的层传输/信令所述至少一个特征，所述层的扩展层ID不在多层视频信号的预定部分内发生。除此以外，根据进一步实施方式，最大假定值的知识可用于减少用于信令每个部分的层ID的边信息开销，即，用于减少在多层视频信号的数据包内信令扩展层ID字段所需要的位。附图说明上述方面可组合或者单独使用，并且上述方面的优选实现方式是从属权利要求的主题并且稍后参照附图讨论，其中：图1示出了在HEVC内的NAL单元报头的语法；图2示意性示出了包括多层视频编码器、网络元件以及多层视频解码器的环境，其中，多层视频编码器、网络元件以及多层视频解码器可由在以下附图中描述的概念的任何概念或任何组合改进；图3示意性示出了网络装置以及通过逐个集群的方式在到达网络装置的多层数据流内信令层相互依赖性的概念；图4示意性示出了根据图3的概念信令层间依赖性的方式；图5示意性示出了在使用图3的信令理念的情况下获得层间依赖性的更具体的实例；图6通过示出通过指示层ID扩展的语法元素扩展的一部分薄片段报头来示出薄片段报头的HEVC语法的可能扩展；图7示出了示例性扩展为实现图3的信令理念的VPS语法的实例；图8到图10示出了图7的实例的替换物；图11示意性示出了用于设置本申请的进一步概念的装置，根据该概念，在数据流内信令扩展层ID字段的最大假定值；图12示意性示出了图11的概念；图13示出了在扩展为包括扩展层ID字段的HEVC的薄片段报头之中的部分的实例；图14示出了扩展为包括语法元素的VPS语法的实例，以便表示图13的扩展层ID字段的长度；图15示出了扩展为包括表示扩展层ID字段的最大值的语法元素的VPS语法的实例；图16A到16C示出了扩展为包括扩展层ID字段的在SEI扩展、SPS语法或PPS语法的语法结构之中的部分的实例；图17示出了关于在视频数据流内的层的VPS语法信令信息的实例，根据相对于图11和12解释的最大假定值，循环穿过其语法部分多次；图18示出了根据特定实例例证在扩展层ID字段、基础层ID字段与层ID之间的关系的示意图，具体而言，使用layer_id_ext表示扩展层ID字段，使用nuh_layer_id表示基础层ID字段，并且使用layerID表示层ID，并且扩展层ID字段的能表示值的数量由max_layer_id_ext(加上1)表示，通过将扩展长度设置为等于2，将扩本文档来自技高网...

【技术保护点】
1.一种被配置为处理多层数据流(10)的装置，使用层间预测在对应于信息量的不同等级的不同层上将视频材料编码入所述多层数据流，所述多层数据流包括多个数据包(12)，每个数据包与所述不同层中的一层相关联，每层由基础层ID(20)、或基础层ID(20)和扩展层ID(22)索引，所述装置配置为：从所述多层数据流中读取第一相互依赖性语法结构(24)，表示在所述基础层ID(20)能表示的几对不同值之间的相互依赖性，以及第二相互依赖性语法结构(26)，表示在所述扩展层ID(22)能表示的几对不同值之间的相互依赖性，并且基于所述第一相互依赖性语法结构和第二相互依赖性语法结构，构造显示在所述不同层之间的可能层间预测依赖性的层间依赖性描述(14)，其中，所述第一相互依赖性语法结构(24)限定在不同层组之间的相互依赖性，属于一个组的所有的层具有相同的基础层ID，并且所述第二相互依赖性语法结构(26)限定在表示为由第一相互依赖性语法结构互连几对组中的层之间的相互依赖性。

【技术特征摘要】
2013.07.15 US 61/846,4791.一种被配置为处理多层数据流(10)的装置，使用层间预测在对应于信息量的不同等级的不同层上将视频材料编码入所述多层数据流，所述多层数据流包括多个数据包(12)，每个数据包与所述不同层中的一层相关联，每层由基础层ID(20)、或基础层ID(20)和扩展层ID(22)索引，所述装置配置为：从所述多层数据流中读取第一相互依赖性语法结构(24)，表示在所述基础层ID(20)能表示的几对不同值之间的相互依赖性，以及第二相互依赖性语法结构(26)，表示在所述扩展层ID(22)能表示的几对不同值之间的相互依赖性，并且基于所述第一相互依赖性语法结构和第二相互依赖性语法结构，构造显示在所述不同层之间的可能层间预测依赖性的层间依赖性描述(14)，其中，所述第一相互依赖性语法结构(24)限定在不同层组之间的相互依赖性，属于一个组的所有的层具有相同的基础层ID，并且所述第二相互依赖性语法结构(26)限定在表示为由第一相互依赖性语法结构互连几对组中的层之间的相互依赖性。2.根据权利要求1所述的装置，其中，所述装置配置为：通过有条件地根据表示在对(j,k)之间存在或不存在相互依赖性的所述第一相互依赖性语法结构，从用于对(j,k)的多层数据流中，读取或者抑制读取所述第二相互依赖性结构(26)，以从所述多层数据流中读取所述第二相互依赖性结构(26)的多个实例化(34)，即用于所述基础层ID能表示的值0<k≤j≤n<N的不同几对(j,k)，N是所述基础层ID能表示的值的数量，其中，为对j＝k的(j,k)读取的所述第二相互依赖性结构(26)的实例化(34)表示在具有基础层IDj的层之中的哪些层是依赖于在具有基础层IDj的层之中的其他层的层间预测，并且为对k<j的(j,k)读取的所述第二相互依赖性结构(26)的实例化(34)表示在具有基础层IDj的层之中的哪些层是依赖于在具有基础层IDk的层之中的层的层间预测。3.根据权利要求1所述的装置，其中，所述装置配置为：从所述多层数据流中读取所述第二相互依赖性结构(26)的一个实例化，N是所述基础层ID能表示的值的数量，所述第二相互依赖性结构(26)的所述一个实例化分别表示通常对于所述基础层ID能表示的每个值0<i≤n<N，在具有基础层IDi的层之中的哪些层是依赖于在具有基础层IDi的层之中的其他层的层间预测，或者通常对于0<k<j≤n<N的一组对(j,k)中的每个，在具有基础层IDj的层之中的哪些层是依赖于在具有基础层IDk的层之中的层的层间预测。4.根据权利要求1所述的装置，其中，所述装置配置为：从所述多层数据流中读取所述第二相互依赖性结构(26)的实例化，以及对于所述第二相互依赖性结构(26)的每个实例化，读取使所述第二相互依赖性结构(26)的各实例化与所述基础层ID能表示的值0<k≤j≤n<N的对(j,k)的各子集相关联的关联语法结构，N是所述基础层ID能表示的值的数量。5.根据权利要求4所述的装置，其中，所述关联语法结构包括用于每对(j,k)的标志，并且所述装置配置为：通过跳过值0<k≤j≤n<N的几对(j,k)，解析所述关联语法结构，其中，所述第一相互依赖性语法结构表示在对(j,k)之间不存在相互依赖性。6.根据权利要求5所述的装置，其中，所述扩展层ID(22)能表示的值的数量是M，并且所述第二相互依赖性语法结构包括用于扩展值为0<q<p≤m<M的每对(p,q)的一个二进制值，以便...

【专利技术属性】
技术研发人员：卡斯滕·聚林，托马斯·席尔，德特勒夫·马佩，罗伯特·斯库平，亚戈·桑切斯德拉富恩特，格哈德·特克，
申请(专利权)人：GE视频压缩有限责任公司，
类型：发明
国别省市：美国,US