使用编码图片缓存器的视频编码制造技术

公开了使用编码图片缓存器的视频编码，其中使用以所选择的比特率在显式地用信号发送的CPB(或HRD)参数之间进行插值来实现CPB参数传输容量与CPB参数化有效性之间的良好折衷，并且具体地，可以以有效方式进行。可以以有效方式进行。可以以有效方式进行。

【技术实现步骤摘要】
使用编码图片缓存器的视频编码


[0001]本申请涉及视频编码和编码图片缓存器在视频编码中的使用。

技术介绍

[0002]假设参考解码器及其用于检查比特流和解码器一致性的用途是每个视频编码标准(例如，VVC)的基本组成部分。
[0003]为了进行这种一致性检查，规定了HRD缓存器模型，其包括假设流调度器(HSS)、编码图片缓存器(CPB)、解码过程(其被认为是瞬时的)、解码图片缓存器(DBP)和输出裁剪过程，如图17所示。
[0004]该模型定义了比特流被馈送到编码图片缓存器的定时和比特率、其解码单元(在低延迟操作模式下为接入单元或VCL NAL单元)从CPB中移除并立即被解码的时间、以及图片从DPB中输出的输出时间。
[0005]只有通过这样做，才有可能定义解码器所需的CPB大小，以避免缓存器上溢(发送给解码器的数据多于可以保留在CPB中的数据)或下溢(较少的数据以低于所需的比特率发送给解码器)，并且来自AU的必要数据未在正确的解码时间出现在解码器处。
[0006]最新的视频编码标准规定了不同的参数来描述比特流和HRD要求以及缓存器模型。
[0007]例如，在HEVC中，hrd_parameters是针对子层来定义的，并且描述了Bitrate(i)和CPBsize(i)的一个或多个元组，这些元组指示如果HSS以Bitrate(i)的比特率馈送大小为CPBsize(i)的CPB，将不会发生上溢或下溢。换言之，当遵守这些比特率和CPB大小元组时，可以保证连续的解码。
[0008]结合hrd_parameter语法元素，附加定时信息存在于比特流中，该附加定时信息规定每个图片自CPB的移除时间，即，该信息指示属于每个图片的VCL NAL单元向解码发送的时间。
[0009]相关信息存在于具有语法元素或变量InitialCPBRemovalDelay(i)、InitialCPBRemovalDelayOffset(i)和AuCPBRemovalDelay的缓存周期SEI消息中以及存在于具有AuCPBRemovalDelay的图片定时SEI消息中。
[0010]然而，取决于应用和传输信道，将会需要有关针对许多比特率的HRD参数的信息，以便能够根据比特率进行微调。然而，这将需要大量HRD参数的消耗比特的传输用于bitrate(i)的密集选择。针对以合理的开销发送HRD信息的大量比特率来说，如果手边有允许正确的HRD参数化的概念，即不导致CPB下溢或上溢的概念，这将是有利的。

技术实现思路

[0011]因此，本专利技术的目的是提供一种使用编码图片缓存操作的视频编解码器，该编码图片缓存操作在用于HRD信号化的比特消耗的一方面与针对许多比特率场景确定HRD参数的有效方式之间产生更好的折衷。
[0012]实施例可以具有用于视频解码的装置，所述装置具有编码图片缓存器和解码图片缓存器(DPB)，被配置为接收数据流，该数据流具有按照编码顺序编码到其中的视频的图片作为接入单元序列，使用所选择的比特率将所述接入单元序列顺序地馈送到CPB中，其中暂停对尚未达到根据时间帧移除光栅的虚拟可用时间的接入单元的馈送，直至达到所述虚拟可用时间，所述时间帧移除光栅针对按照所述编码顺序的第一接入单元提前所选择的时间移除延迟，而针对按照所述编码顺序的后续接入单元提前所选择的时间移除延迟与所选择的时间偏移之和；使用时间光栅[RemovalTime]逐AU地从CPB中移除AU，从数据流中提取与第一操作点相关的第一CPB参数和与第二操作点相关的第二CPB参数，所述第一CPB参数和第二CPB参数中的每个CPB参数指示CPB大小、预定时间偏移、预定时间移除延迟和预定比特率，其中，所述第一CPB参数至少在预定比特率方面不同于所述第二CPB参数，通过以所选择的比特率在由所述第一CPB参数指示的预定时间偏移与由所述第二CPB参数指示的预定时间偏移之间进行插值来确定所选择的时间偏移，以及通过以所选择的比特率在由所述第一CPB参数指示的预定时间移除延迟与由所述第二CPB参数指示的预定时间移除延迟之间进行插值来确定所选择的时间移除延迟，使用根据存储在DPB中的被参考的参考图片的图片间预测对从CPB移除的当前AU进行解码，以获得解码图片，以及将所述解码图片插入到DPB中，向存储在DPB中的每个参考图片指派作为短期参考图片、长期参考图片、以及不用于参考的图片之一的分类，从当前AU中读取DPB模式信息，如果所述DPB模式信息指示第一模式，则根据FIFO策略，从DPB中移除被分类为短期图片的一个或多个参考图片，如果DPB模式信息指示第二模式，则读取所述当前AU中的具有至少一个命令的存储器管理控制信息，并执行所述至少一个命令以改变指派给存储在DPB中的参考图片中的至少一个的分类，以及使用DPB中的参考图片的分类，以管理从DPB中的参考图片移除。
[0013]另一实施例可以具有用于将视频编码为数据流的装置，其中，应通过将数据流馈送到包括编码图片缓存器(CPB)的解码器来解码数据流，所述装置被配置为：将按照编码顺序进行编码的视频的图片编码到数据流作为接入单元AU序列，确定与第一操作点相关的第一CPB参数和与第二操作点相关的第二CPB参数，所述第一CPB参数和所述第二CPB参数中的每个CPB参数指示CPB大小、预定时间偏移、预定时间移除延迟和预定比特率，其中，所述第一CPB参数至少在预定比特率方面不同于所述第二CPB参数，以及执行所述确定，使得以多个所选择的比特率中的每个所选择的比特率在所述第一CPB参数的预定时间偏移与所述第二CPB参数的预定时间偏移之间进行插值产生插值后的时间偏移和插值后的时间移除延迟，从而通过以下方式经由CPB将数据流馈送到解码器：使用相应的所选择的比特率将所述AU序列顺序地馈送到CPB中，其中暂停对尚未达到根据时间帧移除光栅的虚拟可用时间的接入单元的馈送，直到达到所述虚拟可用时间，所述虚拟可用时间针对按照所述编码顺序的第一接入单元提前插值后的时间移除延迟，而针对按照所述编码顺序的后续接入单元提前插值后的时间移除延迟与插值后的时间偏移之和；使用时间光栅逐AU地从CPB中移除AU，不导致任何下溢和任何上溢，以及将CPB参数编码到数据流中，其中，所述装置被配置为：在对所述AU进行编码时，使用根据存储在DPB中的被参考的参考图片的图片间预测，将当前图片编码到当前AU中，以及将DPB中的当前图片的解码版本插入到DPB中，向存储在DPB中的每个参考图片指派作为短期参考图片、长期参考图片、以及不用于参考的图片之一的分类，将DPB模式信息写入当前AU，如果DPB模式信息指示第一模式，则根据FIFO策略从DPB中移除被
分类为短期图片的一个或多个参考图片，如果DPB模式信息指示第二模式，则将具有至少一个命令的存储器管理控制信息写入当前AU，所述命令指示改变指派给存储在DPB中的参考图片中的至少一个的分类，其中，DPB中的参考图片的分类用于管理从DPB中的参考图片移除。
[0014]根据另一实施例，一种通过使用编码图片缓存器和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于视频解码的装置，所述装置包括编码图片缓存器和解码图片缓存器DPB，被配置为：接收数据流，所述数据流具有按照编码顺序编码到其中的视频的图片作为接入单元序列，使用所选择的比特率将所述接入单元序列顺序地馈送到CPB中，其中暂停对尚未达到根据时间帧移除光栅的虚拟可用时间的接入单元的馈送，直至达到所述虚拟可用时间，所述时间帧移除光栅针对按照所述编码顺序的第一接入单元提前所选择的时间移除延迟，而针对按照所述编码顺序的后续接入单元提前所选择的时间移除延迟与所选择的时间偏移之和；使用所述时间光栅[RemovalTime]逐AU地从所述CPB中移除AU，从所述数据流中提取与第一操作点相关的第一CPB参数和与第二操作点相关的第二CPB参数，所述第一CPB参数和所述第二CPB参数中的每个CPB参数指示CPB大小、预定时间偏移、预定时间移除延迟和预定比特率，其中，所述第一CPB参数至少在所述预定比特率方面不同于所述第二CPB参数，通过以所选择的比特率在由所述第一CPB参数指示的预定时间偏移与由所述第二CPB参数指示的预定时间偏移之间进行插值来确定所选择的时间偏移，以及通过以所选择的比特率在由所述第一CPB参数指示的预定时间移除延迟与由所述第二CPB参数指示的预定时间移除延迟之间进行插值来确定所选择的时间移除延迟，使用根据存储在所述DPB中的被参考的参考图片的图片间预测，对从所述CPB移除的当前AU进行解码，以获得解码图片，以及将所述解码图片插入到所述DPB中，向存储在所述DPB中的每个参考图片指派作为短期参考图片、长期参考图片、以及不用于参考的图片之一的分类，从所述当前AU中读取DPB模式信息，如果所述DPB模式信息指示第一模式，则根据FIFO策略，从所述DPB中移除被分类为短期图片的一个或多个参考图片，如果所述DPB模式信息指示第二模式，则读取所述当前AU中的包括至少一个命令的存储器管理控制信息，并执行所述至少一个命令以改变指派给存储在所述DPB中的参考图片中的至少一个的分类，以及使用所述DPB中的所述参考图片的分类，以管理从所述DPB中的参考图片移除。2.根据权利要求1所述的装置，被配置为：从所述数据流中导出一个或多个插值参数，以及使用所述一个或多个插值参数，对所述插值进行参数化。3.根据权利要求1所述的装置，被配置为：使用由第一权重加权的由所述第一CPB参数指示的预定时间偏移与由第二权重加权的由所述第二CPB参数指示的预定时间偏移的加权和来执行所述插值。4.根据权利要求3所述的装置，被配置为：基于所选择的比特率、由所述第一CPB参数指示的预定比特率和由所述第二CPB参数指示的预定比特率来确定所述第一权重和所述第二权重。
5.根据权利要求3所述的装置，被配置为：通过将所选择的比特率与由所述第一CPB参数指示的预定比特率之间的差除以由所述第一CPB参数指示的预定比特率与由所述第二CPB参数指示的预定比特率之间的差来计算线性插值权重，以及使用所述线性插值权重来确定所述第一权重和所述第二权重。6.根据权利要求5所述的装置，被配置为：确定所述第一权重，使得所述第一权重是所述线性插值权重或其中的一个因子是所述线性插值权重的乘积，以及确定所述第二权重，使得所述第二权重是所述线性插值权重与1之间的差或其中的一个因子是所述线性插值权重与1之间的差的乘积。7.根据权利要求5所述的装置，被配置为：确定所述第一权重，使得所述第一权重是如下乘积：所述乘积的第一因子是所述线性插值权重，并且所述乘积的第二因子是由所述第一CPB参数指示的预定比特率除以所选择的比特率，以及确定所述第二权重，使得所述第二权重是如下乘积：所述乘积的一个因子是所述线性插值权重与1之间的差，并且所述乘积的第二因子是由所述第二CPB参数指示的预定比特率除以所选择的比特率。8.根据权利要求1所述的装置，被配置为：从所述当前AU中读取关于所述解码图片是否不用于图片间预测的指示；如果所述解码图片未被指示为不用于图片间预测或不直接被输出，则执行将所述解码图片插入到所述DPB中，以及如果所述解码图片被指示为不用于图片间预测且直接被输出，则直接输出所述解码图片，而不在所述DPB中缓存所述解码图片。9.根据权利要求1所述的装置，被配置为：将帧索引指派给所述CPB中的被分类为长期图片的每个参考图片，以及如果指派给所述CPB中的被分类为长期图片的预定参考图片的帧索引在所述当前AU中被参考，则使用所述预定参考图片作为所述DPB中的被参考的参考图片。10.根据权利要求9所述的装置，被配置为执行以下中的一项或多项：如果所述当前AU中的至少一个命令是第一命令，则将所述CPB中的被分类为短期参考图片的参考图片重新分类为不用于参考的图片，如果所述当前AU中的至少一个命令是第二命令，则将所述CPB中的被分类为长期参考图片的参考图片重新分类为不用于参考的图片，如果所述当前AU中的至少一个命令是第三命令，则将所述CPB中的被分类为短期图片的参考图片重新分类为长期参考图片，并将帧索引指派给所述重新分类的参考图片，如果所述当前AU中的至少一个命令是第四命令，则根据所述第四命令设置帧索引上限，并将所述CPB中的被分类为长期图片且已经向其指派了超过所述帧索引上限的帧索引的所有参考图片重新分类为不用于参考的图片，如果所述当前AU中的至少一个命令是第六命令，则将所述当前图片分类为长期图片、不用于参考的图片，并将帧索引指派给所述重新分类的参考图片。11.根据权利要求1所述的装置，被配置为：
从所述DPB中移除被分类为不用于参考的图片且不再被输出的任何参考图片。12.根据权利要求1所述的装置，被配置为：从所述数据流中读取熵编码模式指示符，以及如果所述熵编码模式指示符指示上下文自适应可变长度编码模式，则使用所述上下文自适应可变长度编码模式从所述当前AU中解码出预测残差数据，以及如果所述熵编码模式指示符指示上下文自适应二进制算术编码模式，则使用所述上下文自适应二进制算术编码模式从所述当前AU中解码出预测残差数据。13.根据权利要求1所述的装置，被配置为：基于所述当前AU中的运动矢量并使用6抽头FIR滤波器以导出半像素值并对相邻半像素值进行平均，来导出被参考的参考图片中的四分之一像素值。14.根据权利要求1所述的装置，被配置为：通过所述第一接入单元的移除与所述后续接入单元中的每个后续接入单元的移除之间的时间差，从所述数据流中导出关于所述时间光栅的信息。15.根据权利要求1所述的装置，被配置为：以所选择的比特率在由所述第一CPB参数指示的CPB大小与由所述第二CPB参数指示的CPB大小之间进行插值，以获取插值后的CPB大小，从而确定编码图片缓存器的最小CPB大小。16.根据权利要求1所述的装置，其中，所选择的比特率在由所述第一CPB参数指示的预定时间偏移与由所述第二CPB参数指示的预定时间偏移之间。17.根据权利要求1所述的装置，被配置为以缓存周期为单位进行操作，其中按照所述编码顺序的第一接入单元是当前缓存周期的第一接入单元。18.一种用于将视频编码为数据流的装置，其中，所述数据流应通过将所述数据流馈送到包括编码图片缓存器CPB的解码器来解码，所述装置被配置为：按照编码顺序将视频的图片编码到数据流中，作为接入单元AU序列，确定与第一操作点相关的第一CPB参数和与第二操作点相关的第二CPB参数，所述第一CPB参数和所述第二CPB参数中的每个CPB参数指示CPB大小、预定时间偏移、预定时间移除延迟和预定比特率，其中，所述第...

【专利技术属性】
技术研发人员：亚戈，
申请(专利权)人：弗劳恩霍夫应用研究促进协会，
类型：发明
国别省市：