语法控制的已解码图片缓冲器管理的方法技术

一种用于管理已解码图片缓冲器的方法和设备，已解码图片缓冲器用于视频解码，包括：对至少一个语法元素进行解码，至少一个语法元素与存储在已解码图片缓冲器中的参考图片有关；以及使用参考图片来重构当前图片，其中，语法元素指示参考图片可用于将来参考还是不可用于将来参考。于将来参考。

【技术实现步骤摘要】
【国外来华专利技术】语法控制的已解码图片缓冲器管理的方法
[0001]相关申请的交叉引用
[0002]本申请要求于2018年12月26日在美国专利商标局提交的美国临时专利申请第62/785,067号和于2019年12月11日在美国专利商标局提交的美国专利申请第16/710,915号的优先权，这两个申请的公开内容通过引用以其整体并入本文中。


[0003]所公开的主题涉及视频编码和解码，并且更具体地，涉及在已解码图片缓冲器中包括一个或更多个语法元素，一个或更多个语法元素标识未使用的参考图片或将来使用的参考图片。

技术介绍

[0004]使用的视频编码和解码可以使用带有运动补偿的帧间图片预测。未压缩的数字视频可以包括一系列图片，每个图片的空间尺寸为例如1920x 1080亮度样本和相关联的色度样本。该系列图片可以具有固定的或可变的图片速率，其可以被称为帧速率，例如每秒60幅图片或60Hz。未压缩的视频具有很高的比特率要求。例如，每样本8比特下的1080p60 4：2：0视频(60Hz帧速率下的1920x1080亮度样本分辨率)需要接近1.5千兆比特/秒的带宽。一小时的此类视频需要超过600千兆字节的存储空间。
[0005]视频编码和解码的一个目的可以是通过压缩来减少输入视频信号中的冗余。在一些情况下，压缩可以帮助将前述带宽或存储空间要求减少两个数量级或更多。可以采用无损压缩和有损压缩二者以及它们的组合。无损压缩是指可以根据压缩后的原始信号重构原始信号的精确副本的技术。当使用有损压缩时，重构的信号可能与原始信号不相同，但是原始信号与重构的信号之间的失真很小，足以使重构的信号对于预期的应用有用。在视频的情况下，有损压缩被广泛采用。可容忍的失真量取决于应用；例如，某些消费者流媒体应用的用户可能比电视贡献应用的用户容忍更高的失真。可达到的压缩率可以反映出：更高的可允许/可容忍的失真可以产生更高的压缩率。
[0006]视频编码器和解码器可以利用来自几种广泛类别的技术，包括例如运动补偿、变换、量化和熵编码，其中的一些将在下面讨论。
[0007]可以将已编码视频比特流划分为分组以通过分组网络进行传输。早期，大多数视频编码标准和技术已针对面向比特的传输及经定义的比特流进行了优化。分组发生在例如以实时传输协议(RTP
‑
)有效载荷格式指定的系统层接口中。随着适于在因特网上大量使用视频的因特网连接的出现，视频编码标准通过视频编码层(VCL)和网络提取层(NAL)的概念区别反映了该突出的使用情况。NAL单元是2003年在H.264中引入的，并且由于此后仅作了一些修改就保留在某些视频编码标准和技术中。
[0008]在许多情况下，NAL单元可以看作是解码器可以在其上作用的最小实体，而不必对已编码视频序列的所有先前NAL单元进行解码。就此而言，NAL单元通过诸如选择性转发单元(SFU)或多点控制单元(MCU)的媒体感知网络元素(MANE)使某些错误恢复技术以及某些
比特流操纵技术能够包括比特流修剪。
[0009]在H.264和H.265的NAL单元报头中，forbidden_zero_bit是用于在某些系统层环境中防止启动代码仿真的零比特。nal_unit_type语法元素是指NAL单元携带的数据的类型，其可以是例如某些切片类型、参数集类型、补充增强信息(SEI
‑
)消息等中的一种。H.265NAL单元报头还包括nuh_layer_id和nuh_temporal_id_plus 1，这两个指示NAL单元所属的已编码图片的空间/SNR和时间层。
[0010]可以观察到，NAL单元报头仅包括可容易解析的固定长度的码字，其对比特流中的其他数据诸如例如其他NAL单元报头、参数集等不具有任何解析依赖性。当NAL单元报头是在NAL单元中的第一八位字节时，MANE可以容易地对它们进行提取，对它们进行解析，并对它们进行作用。相比之下，其他高级语法元素例如切片或图块报头是MANE不太容易接触到的，因为它们可能需要保存参数集上下文和/或处理可变长度或算术编码的代码点。
[0011]还可以观察到，NAL单元报头可以不包括可以将NAL单元与包括多个NAL单元的已编码图片相关联的信息，该已编码图片诸如例如包括多个图块或切片，所述多个图块或切片中的至少一些被分组在单独的NAL单元中。
[0012]某些传输技术可以包括通常以定时信息的形式的某些信息，传输技术诸如RTP(RFC 3550)、MPEG系统标准、ISO文件格式等，例如呈现时间(在MPEG和ISO文件格式的情况下)或捕获时间(在RTP的情况下)，MANE可以容易访问这些信息，并且这些信息可以帮助将其各自的传输单元与已编码图片相关联。然而，这些信息的语义会从一种传输或存储技术到另一种传输或存储技术而不同，并且可能与视频编码中使用的图片结构没有直接关系。因此，这些信息可能至多是启发式，并且也可能不是特别适合于标识NAL单元流中的NAL单元是否属于同一已编码图片。

技术实现思路

[0013]在实施方式中，一种管理已解码图片缓冲器的方法，已解码图片缓冲器用于视频解码，该方法使用至少一个处理器执行，包括：对至少一个语法元素进行解码，该至少一个语法元素与已解码图片缓冲器中存储的参考图片有关；以及使用参考图片来重构当前图片，其中，至少一个语法元素指示参考图片是可用于将来参考或不可用于将来参考中的至少一种。
[0014]在实施方式中，一种用于管理已解码图片缓冲器的设备，该已解码图片缓冲器用于视频解码，包括：至少一个存储器，其被配置成存储程序代码；以及至少一个处理器，其被配置成读取程序代码并按照程序代码指示的进行操作，程序代码包括：解码代码，其被配置成使至少一个处理器对至少一个语法元素进行解码，至少一个语法元素与已解码图片缓冲器中存储的参考图片有关；以及重构代码，其被配置成使至少一个处理器使用参考图片来重构当前图片，其中，至少一个语法元素指示参考图片是可用于将来参考或不可用于将来参考中的至少一种。
[0015]在实施方式中，一种存储指令的非暂态计算机可读介质，所述指令包括：一个或更多个指令，所述一个或更多个指令在由设备的一个或更多个处理器执行时，使至少一个处理器进行以下操作，该设备使用至少一个处理器来管理用于视频解码的已解码图片缓冲器：对至少一个语法元素进行解码，至少一个语法元素与已解码图片缓冲器中存储的参考
图片有关；以及使用参考图片来重构当前图片，其中，至少一个语法元素指示参考图片是可用于将来参考或不可用于将来参考中的至少一种。
附图说明
[0016]通过下面的详细描述和附图，所公开的主题的其他特征、性质和各种优点将更加明显，在附图中：
[0017]图1是根据实施方式的通信系统的简化框图的示意图示。
[0018]图2是根据实施方式的通信系统的简化框图的示意图示。
[0019]图3是根据实施方式的解码器的简化框图的示意图示。
[0020]图4是根据实施方式的编码器的简化框图的示意图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种管理已解码图片缓冲器的方法，所述已解码图片缓冲器用于视频解码，所述方法使用至少一个处理器执行，所述方法包括：对至少一个语法元素进行解码，所述至少一个语法元素与所述已解码图片缓冲器中存储的参考图片有关；以及使用所述参考图片来重构当前图片，其中，所述至少一个语法元素指示所述参考图片是可用于将来参考或不可用于将来参考中的至少一种。2.根据权利要求1所述的方法，其中，基于所述参考图片不可用于将来参考，所述参考图片被标记为不用于参考。3.根据权利要求2所述的方法，其中，所述参考图片被先前输出，以及其中，基于所述参考图片被先前输出，所述参考图片被标记为对于输出而言不需要。4.根据权利要求3所述的方法，其中，基于所述参考图片被标记为不用于参考并且被标记为对于输出而言不需要，从所述已解码图片缓冲器中移除所述参考图片。5.根据权利要求1所述的方法，其中，基于所述参考图片可用于将来参考，所述参考图片被标记为用于参考，以及其中，基于所述参考图片被标记为用于参考，所述参考图片被保持在所述已解码图片缓冲器中。6.根据权利要求1所述的方法，其中，所述至少一个语法元素被包括在语法结构中，以及其中，所述语法结构包括图片报头、切片报头、图块报头、图块报头组或参数集中的至少一种。7.根据权利要求1所述的方法，其中，所述至少一个语法元素包括第一语法元素，所述第一语法元素被包括在参数集中并且指示第二语法结构中是否包括第二语法元素和至少一个第三语法元素。8.根据权利要求7所述的方法，其中，所述第二语法元素指示在所述第二语法结构中包括的所述至少一个第三语法元素的数目。9.根据权利要求7所述的方法，其中，所述至少一个第三语法元素指示所述当前图片与所述参考图片之间的图片顺序计数差。10.根据权利要求7所述的方法，其中，所述至少一个第三语法元素指示图片顺序计数差的符号。11.一种用于管理已解码图片缓冲器的设备，所述已解码图片缓冲器用于视频解码，所述设备包括：至少一个存储器，其被配置成存储程序代码；以及至少一个处理器，其被配置成读取所述程序代码并按照所述程序代码指示的进行操作，所述程序代码包括：解码代码，其被配置成使所述至少一个处理器对至少一个语法元素进行解码，所述至少...

【专利技术属性】
技术研发人员：崔秉斗，史蒂芬，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：