用于处理数据流的网络实体制造技术

一种用于处理数据流的网络实体，媒体内容被编码至数据流中，数据流包括包，每个包包括包类型识别符，包类型识别符从多个包类型中识别与相应的包相关联的包类型，其中，具有与每个包相关联的来自多个包类型的第一集合中的包类型的每个包包括操作点识别符，操作点识别符从n个可缩放性轴所跨越的可缩放性空间内的多个操作点中识别与相应的包相关联的操作点，其中，具有与每个包相关联的来自包类型的第一集合的第二集合中的任意包类型的每个包额外携带数据。网络实体被配置为从具有与包相关联的第二集合不相交的预定包类型的包读取可缩放性轴描述符，并且根据可缩放性轴描述符来解译操作点识别符。译操作点识别符。译操作点识别符。

【技术实现步骤摘要】
用于处理数据流的网络实体
[0001]本申请是申请号为201910876391.6的中国专利申请的分案申请，其全部内容结合于此作为参考。


[0002]本专利技术涉及诸如可缩放视频流的可缩放数据流，以及处理这种可缩放数据流的网络实体，诸如译码器或MANE(媒体感知网络组件)。

技术介绍

[0003]从传输的角度来看，非常需要在时间或其它维度中调适视频位流，如在H.264/AVC的标准化内已识别并且解决。将视频数据封装于网络抽象层(NAL)单元中以及设计决策反映了此理解，该设计决策即：在视频位流外(在所谓的参数集中)示意许多重要但相当恒定的参数。H.264/AVC的可缩放视频编码(SVC)及多视图视频编码(MVC)扩展允许超出时间维度的调适，但H.264/AVC的基本规范中扩充性的缺失导致用复杂方法以回溯兼容方式来扩展H.264/AVC高阶语法。在H.264/AVC及其扩展中，示意沿着可缩放性维度的操作点是通过NAL单元报头扩展来完成，该NAL单元报头扩展包括用于此目的的额外字节。相同信息由NAL单元的所谓的前缀NAL单元提供，该前缀NAL单元含有纯H.264/AVC视频数据并且构成所谓的基本层。针对增强层扩展经由基本层的序列参数集(SPS)所提供的信息(其系由H.264/AVC之扩展予以编码)的机构是经由所谓的子集序列参数集(SSPS)建立的。
[0004]虽然HEVC基本规范的发展仍在进行，但已进行朝着3D视频编码扩展的努力，来首先保证基本规范中的可扩展语法。基本规范中所谓的可缩放钩需要被小心设计成面向未来的(future
‑
proof)。以下段落给出HEVC高阶(HL)语法的当前状态以及目前所论述的概念的综述。
[0005]HEVC标准化的当前状态如下：
[0006]在目前的HEVC基本规范及3D扩展期间，众多参与者已提议如何自H.264/AVC中所规定的HL语法继续前进。成果反映在该规范的当前工作草案以及个别参与者之众多贡献中。以下段落给出当前论述的综述。
[0007]如上所述，示意SVC或MVC视频位流中在可缩放性维度内的操作点需要H.264/AVC NAL单元报头的(特定)扩展。此被视为不良的解决方案，其导致额外努力(例如，用来剖析多个不同的NAL单元报头结构)并且需要前缀NAL单元来示意基本层。因此，努力确保基本HEVC NAL单元报头语法足够通用，来满足基本规范的未来扩展的需要。
[0008]在如当前工作草案中的NAL单元的语法中。当前一致意见是使用两个字节的NAL单元报头。在第一个字节中，用一个位来示意nal_ref_flag，而不是H.264/AVC中的nal_ref_idc的两个位，因为此HL特征还未在应用中广泛使用。语法元素nal_unit_type因此具有再一个位来示意NAL单元的类型，其允许总共64个可区分类型。
[0009]NAL单元报头的第二个字节被分成两部分，其中1C位用来示意NAL单元之temporal_id，因为在基本规范中已启用时间可缩放性。第二个字节的剩余5个位在符合
HEVC的位流内经保留为等于一。对使用剩余5个位的当前理解为，其可用来在未来扩展中示意例如layer_id语法元素的可缩放性识别符。
[0010]虽然如当前HEVC基本规范中所定义的图片参数集(PPS)及序列参数集相对而言类似于先前在H.264/AVC中已规定的参数集，但两个新的参数集(称为调适参数集(APS)及视频参数集(VPS))已引入至HEVC，其中仅VPS与本文件的内容有关。
[0011]视频参数集应该示意参数，诸如视频位流中存在的(例如时间)层级/层的数目以及里面的所有操作点的配置文件(profile)及层级(level)。将要示意的其它参数包括可缩放层之间的相依性，就好像其系在SVC可缩放性信息SEI消息中示意的一样。
[0012]以下关于NAL单元和视频参数集语法的语义呈现额外的简要阐述。
[0013]profile_idc及level_idc指示已编码视频序列所符合的配置文件及层级。
[0014]max_temporal_layers_minus1+1规定序列中存在的时间层(temporal layer)的最大数目。max_temporal_layers_minus1的值应在0至7的范围内(包括0及7)。如下规定more_rbsp_data()。
[0015]‑
若RBSP中没有更多数据，则more_rbsp_data()的传回值等于假(FALSE)。
[0016]‑
否则，搜寻RBSP数据以找到RBSP中存在的等于1的最后一个(最低有效，最右边)位。考虑到这个位的位置(其是rbsp_trailing_bits()语法结构的第一个位(rbsp_stop_one_bit))，以下适用。
[0017]‑
若RBSP中在rbsp_trailing_bits()语法结构之前有更多数据，则more_rbsp_data()之传回值等于真(TRUE)。
[0018]‑
否则，more_rbsp_data()的传回值等于假。
[0019]等于1的nal_ref_flag规定NAL单元的内容含有序列参数集、图片参数集、调适参数集或参考图片的图块(slice)。
[0020]对于符合附件10中所规定的配置文件中的一个或多个已编码视频序列(使用条款2至条款9中所规定的译码处理程序对其进行译码)，含有图块的NAL单元的等于0的nal_ref_flag指示该图块是非参考图片的部分。
[0021]对于序列参数集、图片参数集或调适参数集NAL单元，nal_ref_flag应等于1。当nal_ref_flag对于特定图片的nal_unit_type等于1或4的一个NAL单元等于0时，nal_ref_flag对于该图片的nal_unit_type等于1或4的所有NAL单元应等于0。
[0022]nal_ref_flag对于nal_unit_type等于5的NAL单元应等于1。
[0023]nal_ref_flag对于nal_unit_type等于6、9、10、11或12的所有NAL单元应等于0。
[0024]nal_unit_type规定NAL单元中所含的RBSP数据结构的类型，如表1中所规定。
[0025]译码器应忽略(自位流移除并且舍弃)使用nal_unit_type之保留值的所有NAL单元之内容。
[0026]表1
‑
可能的NAL单元类型码及NAL单元类型类别(其非详尽清单)
[0027][0028][0029]“配置文件”是整个位流语法的子集。在给定配置文件的语法所赋予的界限内，仍可能需要编码器及译码器之效能的很大变化，其取决于位流中的语法元素所采用的值，诸如已译码图片的规定大小。在许多应用中，实施能够处理特定配置文件内的语法的所有假设用途的译码器当前既不可行也不合算。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据流，媒体内容被编码至所述数据流中，所述数据流包括包(12)，每个包(12)包括包类型识别符(16)，所述包类型识别符从多个包类型中识别与相应的包相关联的包类型，其中，具有与每个包(12)相关联的来自所述多个包类型的第一集合的包类型的每个包包括操作点识别符(34)，所述操作点识别符从n个可缩放性轴(22a，22b)所跨越的可缩放性空间(20)内的多个操作点中识别与所述相应的包相关联的操作点(18)，并且0<n，所述操作点具有在所述操作点之中定义的顺序操作点次序，其中，具有与每个包(12)相关联的来自包类型的所述第一集合的第二集合中的任意包类型的每个包额外携带数据(36)，所述数据与具有与所述包相关联的任意操作点的所述包一起促成在与所述相应的包相关联的所述操作点处的所述媒体内容的已编码表示，所述任意操作点在与所述相应的包相关联的所述操作点之前或者等于与所述相应的包相关联的所述操作点，其中，具有与每个包(44)相关联的与所述第二集合不相交的预定包类型的每个包具有可缩放性轴描述符(38)，所述可缩放性轴描述符定义所述一个或多个可缩放性轴的数目n和语义含义。2.根据权利要求1所述的数据流，其中，具有与所述包中的每一个相关联的所述预定包类型的所述包中的每一个还包括与所述多个操作点的至少子集中的一个或多个相关联的配置文件和/或层级描述符(44)的序列(54)，每个配置文件和/或层级描述符(44)定义可用编码选项集和/或可用语法元素值范围，具有与其相关联的与所述相应的配置文件和/或所述相应的层级描述符相关联的操作点的包的语法遵守所述可用编码选项集和/或所述可用语法元素值范围，其中，所述配置文件和/或所述层级描述符的第一集合明确示意所述可用编码选项集和/或所述可用语法元素值范围的定义，并且所述配置文件和/或所述层级描述符的第二、不相交的非空集合通过参考另一个配置文件和/或层级描述符来示意所述可用编码选项集和/或所述可用语法元素值范围的定义。3.根据权利要求2所述的数据流，其中，每个配置文件和/或层级描述符(44)具有字段(56)，所述字段识别与所述相应的配置文件和/或所述相应的层级描述符(44)相关联所述操作点(18)。4.根据权利要求3所述的数据流，其中，所述配置文件和/或所述层级描述符(44)的所述第二、不相交的非空集合通过参考另一个配置文件和/或层级描述符并使用所参考的配置文件和/或层级描述符的所述字段的明确示意(52)，来示意所述可用编码选项集和/或所述可用语法元素值范围的定义。5.根据权利要求1至4中任一项所述的数据流，其中，对于所述多个操作点的至少子集中的每一个，具有与所述包中的每一个相关联的所述预定包类型的所述包中的每一个还包括语法(98)，所述语法识别由较低操作点识别符识别的所述多个操作点的其它操作点，所述相应的操作点是所述多个操作点的扩展，从而指示所述顺序操作点次序。6.根据权利要求3至5中任一项所述的数据流，其中，每个字段(56)使用所述操作点识别符共有的位序列(60)来识别所述相应的操作点，所述位序列识别所述相应的操作点。7.根据权利要求6所述的数据流，其中，所有的操作点识别符具有固定位长度语法元素(60)，并且所述可缩放性轴描述符(38)示意n和所述固定位长度语法元素(60)的n个分割区
与所述n个可缩放性轴的关联，其中，所述位序列是所述固定位长度语法元素所共有的。8.根据权利要求6所述的数据流，其中，所有的操作点识别符(34)具有固定位长度语法元素(60)和情景语法元素(64)，所述情景语法元素示意n以及所述固定位长度语法元素的n个分割区与所述n个可缩放性轴的关联，其中，所述位序列是所述固定位长度语法元素所共有的。9.根据权利要求1至8中任一项所述的数据流，其中，所有的操作点识别符(34)具有固定位长度语法元素(60)，并且所述可缩放性轴描述符(38)示意n以及所述固定位长度语法元素的n个分割区与所述n个可缩放性轴的关联，使得第n个部分是沿着第n个可缩放性轴的所述相应的操作点的位置的序数量度。10.根据权利要求1至8中任一项所述的数据流，其中，所有的操作点识别符(34)具有固定位长度语法元素(60)和情景语法元素(64)，所述情景语法元素示意n以及所述固定位长度语法元素的n个分割区与所述n个可缩放性轴的关联，使得第n个部分是沿着第n个可缩放性轴的所述相应的操作点的位置的序数量度。11.根据权利要求1至10中任一项所述的数据流，其中，所述可缩放性轴描述符(38)包括语法元素(94)，所述语法元素的可能状态单独地与n的值和与所述n个可缩放性轴的对应语义含义的语义含义的不同组合相关联。12.一种数据流，媒体内容被编码至所述数据流中，所述数据流包括包(12)，每个包包括包类型识别符(16)，所述包类型识别符从多个包类型中识别与相应的包相关联的包类型，其中，具有与每个包(12)相关联的来自所述多个包类型的第一集合的包类型的每个包包括操作点识别符(34)，所述操作点识别符从n个可缩放性轴(22a，22b)所跨越的可缩放性空间(20)内的多个操作点中识别与所述相应的包相关联的操作点(18)，并且0<n，所述操作点具有在所述操作点之中定义的顺序操作点次序，其中，具有与每个包(12)相关联的来自包类型的所述第一集合的第二集合的任意包类型的每个包额外携带数据(36)，所述数据与具有与所述包相关联的任意操作点的所述包一起促成在与所述相应的包相关联的所述操作点处的所述媒体内容的已编码表示，所述任意操作点在与所述相应的包相关联的所述操作点之前或者等于与所述相应的包相关联的所述操作点，其中，具有与每个包(12)相关联的与所述第二集合不相交的预定包类型的每个包包括均与所述多个操作点的至少子集中的一个或多个相关联的配置文件和/或层级描述符(44)的序列(54)，每个配置文件和/或层级描述符(44)定义可用编码选项集和/或可用语法元素值范围，具有与其相关联的与所述相应的配置文件和/或所述相应的层级描述符相关联的操作点的包的序列遵守所述可用编码选项集和/或所述可用语法元素值范围，其中，所述配置文件和/或所述层级描述符的第一集合明确示意所述可用编码选项集和/或所述可用语法元素值范围的定义，并且所述配置文件和/或所述层级描述符的第二、不相交的非空集合通过参考另一个配置文件和/或层级描述符来示意所述可用编码选项集和/或所述可用语法元素值范围的定义。13.根据权利要求12所述的数据流，其中，每个配置文件和/或层级描述符(44)具有字段，所述字段识别与所述相应的配置文件和/或所述相应的层级描述符相关联的所述操作
点。14.根据权利要求13所述的数据流，其中，所述配置文件和/或所述层级描述符(44)的所述第二、不相交的非空集合通过参考另一个配置文件和/或层级描述符并使用所参考的配置文件和/或层级描述符的所述字段的明确示意(52)，来示意所述可用编码选项集和/或所述可用语法元素值范围的定义。15.根据权利要求12至14中任一项所述的数据流，其中，对于所述多个操作点的至少子集中的每一个，具有与所述包中的每一个相关联的所述预定包类型的所述包中的每一个还包括语法(98)，所述语法识别由较低操作点识别符识别的所述多个操作点的其它操作点，所述相应的操作点是所述多个操作点的扩展，从而指示所述顺序操作点次序。16.根据权利要求12至15中任一项所述的数据流，其中，每个字段(56)使用所述操作点识别符共有的位序列(60)来识别所述相应的操作点，所述位序列识别所述相应的操作点。17.根据权利要求16所述的数据流，其中，所有的操作点识别符具有固定位长度语法元素(60)，并且所述可缩放性轴描述符(38)示意n以及所述固定位长度语法元素(60)的n个分割区与所述n个可缩放性轴的关联，其中，所述位序列是所述固定位长度语法元素所共有的。18.根据权利要求16所述的数据流，其中，所有的操作点识别符(34)具有固定位长度语法元素(60)和情景语法元素(64)，所述情景语法元素示意n以及所述固定位长度语法元素的n个分割区与所述n个可缩放性轴的关联，其中，所述位序列是所述固定位长度语法元素所共有的。19.根据权利要求12至18中任一项所述的数据流，其中，所有的操作点识别符(34)具有标记，所述标记示意是否属于所述配置文件和/或所述层级描述符的所述第一集合和所述配置文件和/或所述层级描述符的所述第二、不相交的非空集合，所述第一集合明确示意所述可用编码选项集和/或所述可用语法元素值范围的定义，所述第二、不相交的非空集合通过参考另一个、先前配置文件和/或层级描述符来示意所述可用编码选项集和/或所述可用语法元素值范围的定义。20.一种用于处理数据流的网络实体，媒体内容被编码至所述数据流中，所述数据流包括包(12)，每个包(12)包括包类型识别符(16)，所述包类型识别符从多个包类型中识别与相应的包相关联的包类型，其中，具有与每个包(12)相关联的来自所述多个包类型的第一集合中的包类型的每个包包括操作点识别符(34)，所述操作点识别符从n个可缩放性轴(22a，22b)所跨越的可缩放性空间(20)内的多个操作点中识别与所述相应的包相关联的操作点(18)，并且0<n，所述操作点具有在所述操作点之中定义的顺序操作点次序，其中，具有与每个包(12)相关联的来自包类型的所述第一集合的第二集合中的任意包类型的每个包额外携带数据(36)，所述数据与具有与所述包相关联的任意操作点的所述包一起促成在与所述相应的包相关联的所述操作点处的所述媒体内容的已编码表示，所述任意操作点在与所述相应的包相关联的所述操作点之前或者等于与所述相应的包相关联的所述操作点，其中，所述网络实体被...

【专利技术属性】
技术研发人员：托马斯，
申请(专利权)人：GE视频压缩有限责任公司，
类型：发明
国别省市：