视频数据流、编码器、编码视频内容的方法以及解码器技术

本发明专利技术涉及视频数据流、编码器、编码视频内容的方法以及解码器。视频数据流，具有以视频内容的图像的子部分为单位编码至其中的视频内容，分别将每一子部分编码至视频数据流的封包序列的一或多个有效负载封包中，封包序列被分成存取单元的序列，因此每一存取单元收集与视频内容的各图像有关的有效负载封包，其中，封包序列具有穿插在其中的时序控制封包，因此时序控制封包将存取单元细分成解码单元，因此至少一些存取单元被细分成两个或更多解码单元，其中，每一时序控制封包用信号发出解码单元的解码器缓冲器撷取时间，解码单元的有效负载封包在封包序列中接在各时序控制封包后面。后面。后面。

【技术实现步骤摘要】
视频数据流、编码器、编码视频内容的方法以及解码器
[0001]本申请是国际申请日2013年7月1日、国际申请号为PCT/EP2013/063853的国际申请于2014年12月29日进入国家阶段的申请号为201380034944.4、专利技术名称为“视频数据流概念技术”的专利技术申请的分案申请201910661351.X的分案申请，其全部内容结合于此作为参考。


[0002]本申请案关于视频数据流概念技术，特定言之，该等概念技术在低延迟应用方面是有利的。

技术介绍

[0003]HEVC[2]允许向应用层进行高阶语法发信号的不同手段。此等手段系NAL单元标头、参数集及补充增强信息(SEI)讯息。在解码过程中不使用SEI讯息。高阶语法发信号的其他手段源自于个别传输协议规定，诸如MPEG2传输协议[3]或实时传输协议[4]，及其有效负载特殊规定，例如对于H.264/AVC[5]、可缩放视频编码(SVC)[6]或HEVC[7]的建议。此等传输协议可介绍高阶发信号，其所使用的结构及机构与个别应用层编码解码器规定(例如HEVC[2])之高阶发信号类似。此发信号的一实例为如[6]中所描述的有效负载内容可缩放性信息(PACSI)NAL单元，其为传输层提供补充信息。
[0004]HEVC[2]允许向应用层进行高阶语法发信号的不同手段。此等手段系NAL单元标头、参数集及补充增强信息(SEI)讯息。在解码过程中不使用SEI讯息。高阶语法发信号的其他手段源自于个别传输协议规定，诸如MPEG2传输协议[3]或实时传输协议[4]，及其有效负载特殊规定，例如对于H.264/AVC[5]、可缩放视频编码(SVC)[6]或HEVC[7]的建议。此等传输协议可介绍高阶发信号，其所使用的结构及机构与个别应用层编码解码器规定(例如HEVC[2])之高阶发信号类似。此发信号的一实例为如[6]中所描述的有效负载内容可缩放性信息(PACSI)NAL单元，其为传输层提供补充信息。
[0005]就参数集而言，HEVC包括视频参数集(VPS)，该参数集在单个及中央位置编译将由应用层使用之最重要的流信息。在较早的方法中，需要自多个参数集及NAL单元标头收集此信息。
[0006]在本申请案之前，关于假想参考解码器(HRD)的已编码图像缓冲器(CPB)操作之标准的状态，以及在序列参数集(SPS)/视频可用性信息(VUI)、图像时序SEI、缓冲周期SEI以及解码单元之定义(其描述子图像及如片段标头以及图像参数集(PPS)中所呈现的相依性片段的语法)中提供的所有相关语法如下。
[0007]为了允许子图像层级上的低延迟CPB操作，已提议子图像CPB操作并且将其并入HEVC标准草案7JCTVC
‑
I1003[2]中。尤其在此处，在[2]的第3章节中已将解码单元定义为：
[0008]解码单元:存取单元或存取单元的子集。若SubPicCpbFlag等于0，则解码单元系存取单元。否则，解码单元由存取单元中的一或多个VCL NAL单元及相关非VCL NAL单元组成。就存取单元中的第一个VCL NAL单元而言，相关非VCL NAL单元系紧接在第一个VCL NAL单
元之后的填充符数据NAL单元(若存在)以及在该存取单元中位于第一个VCL NAL单元之前的所有非VCL NAL单元。就并非存取单元中的第一个VCL NAL单元之VCL NAL单元而言，相关非VCL NAL单元系紧接在该VCL NAL单元之后的填充符数据NAL单元(若存在)。
[0009]到那时为止已定义的标准中，已描述「解码单元移除时序及解码单元解码」。为了用信号发出子图像时序，已扩展缓冲周期SEI讯息及图像时序SEI讯息以及VUI中的HRD参数来支持解码单元，如子图像单元。
[0010][2]的缓冲周期SEI讯息语法展示于图1中。
[0011]当NalHrdBpPresentFlag或VclHrdBpPresentFlag等于1时，缓冲周期SEI讯息可与位流中的任何存取单元相关，且缓冲周期SEI讯息将与每一RAP存取单元及关联于恢复点SEI讯息的每一存取单元相关。
[0012]对于一些应用，缓冲周期SEI讯息的频繁出现可能是理想的。
[0013]缓冲周期规定为按解码次序在缓冲周期SEI讯息的两个例所述的间的存取单元的集合。
[0014]语义如下：
[0015]seq_parameter_set_id规定含有序列HRD属性的序列参数集。seq_parameter_set_id的值将等于与缓冲周期SEI讯息相关的主要已编码图像所参考的图像参数集中的seq_parameter_set_id的值。seq_parameter_set_id的值将在0至31的范围内(包括0及31)。
[0016]rap_cpb_params_present_flag等于1规定initial_alt_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_delay_offset[SchedSelIdx]语法元素的存在。当不存在时，推断rap_cpb_params_present_flag的值等于0。当相关图像既非CRA图像亦非BLA图像时，rap_cpb_params_present_flag的值将等于0。
[0017]initial_cpb_removal_delay[SchedSelIdx]及initial_alt_cpb_removal_delay[SchedSelIdx]规定第SchedSelIdx个CPB的初始CPB移除延迟。该等语法元素具有由initial_cpb_removal_delay_length_minus1+1给出的以位为单位的长度，且以90kHz的时钟为单位。该等语法元素的值将不等于0且将不超过90000*(CpbSize[SchedSelIdx]÷
BitRate[SchedSelIdx])，其是以90kHz的时钟为单位的CPB大小的时间等效物。
[0018]initial_cpb_removal_delay_offset[SchedSelIdx]及initial_alt_cpb_removal_delay_offset[SchedSelIdx]用于第SchedSelIdx个CPB，来规定已编码数据单元至该CPB的初始递送时间。该等语法元素具有由initial_cpb_removal_delay_length_minus1+1给出的以位为单位的长度，且以90kHz的时钟为单位。此等语法元素并不被解码器所使用且仅为递送排程器(HSS)所需要。
[0019]在整个已编码视频序列上，initial_cpb_removal_delay[SchedSelIdx]与initial_cpb_removal_delay_offset[SchedSelIdx]的总和对于SchedSelIdx的每值将为恒定的，且initial_alt_cpb_removal_delay本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频数据流，具有以视频内容(16)的图像(18)的子部分(24)为单位编码至其中的所述视频内容(16)，分别将每一子部分(24)编码至所述视频数据流(22)的封包序列(34)的一或多个有效负载封包(32)中，所述封包序列(34)被分成存取单元(30)的序列，因此每一存取单元(30)收集与所述视频内容(16)的各图像(18)有关的有效负载封包(32)，其中，所述封包序列(34)具有穿插在其中的时序控制封包(36)，因此所述时序控制封包(36)将所述存取单元(30)细分成解码单元(38)，因此至少一些存取单元(30)被细分成两个或更多解码单元(38)，其中，每一时序控制封包(38)用信号发出解码单元(38)的解码器缓冲器撷取时间，所述解码单元的有效负载封包(32)在所述封包序列(34)中接在各所述时序控制封包(38)后面。2.一种用于将视频内容(16)以所述视频内容(16)的图像(18)的子部分(24)为单位编码至视频数据流(22)中的方法，其中，分别将每一子部分(24)编码至所述视频数据流(22)的封包序列(34)的一或多个有效负载封包(32)中，因此所述封包序列(34)被分成存取单元(30)的序列，且每一存取单元(30)收集与所述视频内容(16)的各图像(18)有关的有效负载封包(32)，所述方法包含将时序控制封包(36)穿插在所述封包序列(34)中，因此所述时序控制封包(36)将所述存取单元(30)细分成解码单元(38)，因此至少一些存取单元(30)被细分成两个或更多解码单元(38)，其中，每一时序控制封包(36)用信号发出解码单元(38)的解码器缓冲器撷取时间，所述解码单元的有效负载封包(32)在所述封包序列(34)中接在各所述时序控制封包(36)后面。3.一种用于解码视频数据流(22)的解码器，所述视频数据流(22)具有以视频内容(16)的图像(18)的子部分(24)为单位编码至其中的所述视频内容(16)，分别将每一子部分编码至所述视频数据流(22)的封包序列(34)的一或多个有效负载封包(32)中，所述封包序列(34)被分成存取单元(30)的序列，因此每一存取单元(30)收集与所述视频内容(16)的各图像(18)有关的有效负载封包(32)，所述解码器包含缓冲器，用来缓冲所述视频数据流或藉由解码所述视频数据流而自其获得的所述视频内容的重新建构，且所述解码器被配置为寻找穿插在所述封包序列中的时序控制封包(36)，在所述时序控制封包(36)处将所述存取单元(30)细分成解码单元(38)，因此至少一些存取单元被细分成两个或更多解码单元，且以所述解码单元为单位清空所述缓冲器。4.一种用于解码视频数据流(22)的方法，所述视频数据流(22)具有以视频内容(16)的图像(18)的子部分(24)为单位编码至其中的所述视频内容(16)，分别将每一子部分编码至所述视频数据流(22)的封包序列(34)的一或多个有效负载封包(32)中，所述封包序列(34)被分成存取单元(30)的序列，因此每一存取单元(30)收集与所述视频内容(16)的各图像(18)有关的有效负载封包(32)，所述方法使用缓冲器来缓冲所述视频数据流或藉由解码所述视频数据流而自其获得的所述视频内容的重新建构，且所述方法包含：寻找穿插在所述封包序列中的时序控制封包(36)，在所述时序控制封包(36)处将所述存取单元(30)细分成解码单元(38)，因此至少一些存取单元被细分成两个或更多解码单元，以及以所述解码单元为单位清空所述缓冲器。5.一种用于传输视频数据流(22)的网络实体，所述视频数据流(22)具有以视频内容(16)的图像(18)的子部分(24)为单位编码至其中的所述视频内容(16)，分别将每一子部分编码至所述视频数据流(22)的封包序列(34)的一或多个有效负载封包(32)中，所述封包序
列(34)被分成存取单元(30)的序列，因此每一存取单元(30)收集与所述视频内容(16)的各图像(18)有关的有效负载封包(32)，所述解码器被配置为：寻找穿插在所述封包序列中的时序控制封包(36)，在所述时序控制封包(...

【专利技术属性】
技术研发人员：托马斯，
申请(专利权)人：GE视频压缩有限责任公司，
类型：发明
国别省市：