视频译码中的混合NAL单元图像约束制造技术

本发明专利技术公开了一种视频译码机制。所述机制包括：接收包括当前图像的码流，其中，所述当前图像包括不具有相同网络抽象层(network abstraction layer，NAL)单元类型的多个视频译码层(video coding layer，VCL)NAL单元；获取条带对应的参考图像列表中的活动条目，其中，所述条带位于解码顺序在所述当前图像之后的后续图像的子图像A(subpicA)中，当所述当前图像中的subpicA与帧内随机接入点(intra

【技术实现步骤摘要】
【国外来华专利技术】视频译码中的混合NAL单元图像约束
[0001]相关申请交叉引用
[0002]本专利申请要求王业奎于2019年7月8日提交的申请号为62/871,524、专利技术名称为“视频译码中的一个图像内的混合NAL单元类型的约束(Constraints for Mixed NAL Unit Types within One Picture in Video Coding)”的美国临时专利申请的权益，其内容通过引用结合在本申请中。


[0003]本专利技术大体上涉及视频译码，具体涉及在视频译码中对图像中的子图像进行译码。

技术介绍

[0004]即使视频相对较短，也需要大量的视频数据来描述，当数据要在带宽容量有限的通信网络中进行流式传输或以其它方式进行传输时，这可能会造成困难。因此，视频数据通常要先压缩，然后通过现代电信网络进行传输。由于内存资源可能有限，当在存储设备上存储视频时，该视频的大小也可能是一个问题。视频压缩设备通常在信源侧使用软件和/或硬件对视频数据进行编码，然后传输或存储视频数据，从而减少表示数字视频图像所需的数据量。然后，对视频数据进行解码的视频解压缩设备在目的地侧接收压缩数据。在网络资源有限以及对更高视频质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术在几乎不影响图像质量的情况下能够提高压缩比。

技术实现思路

[0005]在一个实施例中，本专利技术包括一种在解码器中实现的方法。所述方法包括：所述解码器的接收器接收包括当前图像的码流，其中，所述当前图像包括不具有相同网络抽象层(network abstraction layer，NAL)单元类型的多个视频译码层(video coding layer，VCL)NAL单元；所述解码器的处理器获取条带对应的参考图像列表中的活动条目，其中，所述条带位于解码顺序在所述当前图像之后的后续图像的子图像A(subpicA)中，当所述当前图像中的subpicA与帧内随机接入点(intra
‑
random access point，IRAP)NAL单元类型相关联时，所述活动条目不参考解码顺序在所述当前图像之前的任何参考图像；所述处理器根据所述参考图像列表中的活动条目对所述后续图像进行解码；所述处理器转发所述后续图像，其中，所述后续图像作为经解码视频序列的一部分显示。
[0006]视频译码系统可以通过使用IRAP图像和非IRAP图像对视频进行编码。IRAP图像是根据帧内预测译码的图像，这些图像用作视频序列的随机接入点。IRAP图像可以在不先解码任何其它图像的情况下解码。因此，解码器可以从任何IRAP图像开始解码视频序列。相反，解码器通常不能从非IRAP图像开始解码视频序列。IRAP图像也可以刷新DPB。这是因为IRAP图像可以用作编码视频序列(coded video sequence，CVS)的起点，而且CVS中的图像不参考前一CVS中的图像。因此，IRAP图像还可以中断/停止帧间预测链并停止产生帧间预
测相关的译码错误，因为这些错误无法通过IRAP图像传播。
[0007]在一些情况下，视频译码系统可以用于对虚拟现实(virtual reality，VR)视频进行译码。VR视频可以包括视频内容组成的球体，显示起来就像用户处于球体的中心一样。向用户显示的只是球体的一部分，称为视角(viewport)。图像的其余部分被丢弃，而不进行显示。通常传输的是整个图像，使得可以根据用户的头部移动，动态地选择和显示不同的视角。这种方法可能会产生非常大的视频文件大小。为了提高译码效率，一些系统将图像分成子图像。视频可以按两种或两种以上分辨率进行编码。每个分辨率都被编码到对应于子图像的一组不同子码流中。当用户流式传输VR视频时，译码系统可以根据用户正在使用的当前视角将子码流合并为码流进行传输。具体地，当前视角是从高分辨率子码流中获得的，而未被观看的视角是从一个或多个低分辨率码流中获得的。这样，向用户显示的是最高质量的视频，而低质量的视频被丢弃。如果用户选择一个新视角，则向用户显示的是低分辨率视频。解码器可以请求新视角接收高分辨率视频。然后，编码器可以相应地改变合并过程。一旦到达IRAP图像，解码器就可以从新视角开始解码高分辨率视频序列。这种方法显著改善了视频压缩，而不会对用户的观看体验产生不好影响。
[0008]上述办法存在的一个问题是，改变分辨率所需的时长基于到达IRAP图像之前的时长。这是因为解码器不能从非IRAP图像开始解码不同的视频序列，如上所述。减少这种延迟的一种方法是包括更多的IRAP图像。但是，这样增大了文件大小。为了平衡功能与译码效率，不同的视角/子图像可以包括不同频率下的IRAP图像。例如，更有可能被观看的视角可能比其它视角包括更多的IRAP图像。这种方法会产生其它问题。具体地，在IRAP图像之后的图像被约束为不参考在IRAP图像之前的图像。但是，这种约束是在图像级别进行的。在图像级别，可能不会考虑将包括混合NAL单元(同时包括IRAP子图像和非IRAP子图像)的图像作为IRAP图像。因此，这些图像级别约束可能不适用。这可能导致在IRAP子图像之后的部分图像错误地参考在IRAP图像之前的图像。在这种情况下，IRAP子图像会无法作为接入点正常使用，因为参考图像/子图像可能不可用，这会使在IRAP子图像之后的子图像不可解码。此外，IRAP子图像不能阻止非IRAP子图像进行这种参考，因为这样做达不到产生混合NAL单元(例如，根据子图像位置的不同长度的经帧间译码序列)的目的。
[0009]本示例包括用于在图像同时包括IRAP NAL单元和非IRAP NAL单元时减少译码错误的机制。具体地，当前图像中的子图像可以包括IRAP NAL单元。当发生这种情况时，在当前图像之后的图像中的也包括在子图像中的条带被约束为不参考在当前图像之前的参考图像。这确保了IRAP NAL单元停止子图像级别的帧间预测传播。因此，解码器可以从IRAP子图像开始解码。与后续图像中的子图像相关联的条带始终可以被解码，因为这些条带不参考在IRAP子图像(尚未解码)之前的任何数据。这种约束不适用于非IRAP NAL单元。因此，包括非IRAP数据的子图像的帧间预测不会中断。因此，所公开的机制可以实现其它功能。例如，当使用子图像码流时，所公开的机制支持子图像级别的动态分辨率变化。因此，所公开的机制可以在流式传输VR视频时传输低分辨率子图像码流，而不会大大影响用户体验。因此，所公开的机制提高了译码效率，因此降低了编码器和解码器侧网络资源、内存资源和处理资源的使用率。
[0010]可选地，根据任一上述方面，在所述方面的另一种实现方式中，所述IRAP NAL单元类型为纯随机接入(clean random access，CRA)NAL单元类型。
[0011]可选地，根据任一上述方面，在所述方面的另一种实现方式中，所述IRAP NAL单元类型为即时解码刷新(instantaneous decoding refresh，IDR)NAL单元类型。
[0012]可选地本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种在解码器中实现的方法，其特征在于，所述方法包括：所述解码器的接收器接收包括当前图像的码流，其中，所述当前图像包括不具有相同网络抽象层(network abstraction layer，NAL)单元类型的多个视频译码层(video coding layer，VCL)NAL单元；所述解码器的处理器获取条带对应的参考图像列表中的活动条目(active entry)，其中，所述条带位于解码顺序在所述当前图像之后的后续图像的子图像A(subpicA)中，当所述当前图像中的subpicA与帧内随机接入点(intra
‑
random access point，IRAP)NAL单元类型相关联时，所述活动条目不参考解码顺序在所述当前图像之前的任何参考图像；所述处理器根据所述参考图像列表中的活动条目对所述后续图像进行解码。2.根据权利要求1所述的方法，其特征在于，所述IRAP NAL单元类型为纯随机接入(clean random access，CRA)NAL单元类型。3.根据权利要求1所述的方法，其特征在于，所述IRAP NAL单元类型为即时解码刷新(instantaneous decoding refresh，IDR)NAL单元类型。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：所述处理器确定所述当前图像的位于所述subpicA中的所有条带与相同NAL单元类型相关联。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：所述处理器根据标志确定所述当前图像中的所述多个VCL NAL单元的第一NAL单元类型值与所述当前图像中的所述多个VCL NAL单元的第二NAL单元类型值不同。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述码流包括图像参数集(picture parameter set，PPS)，所述标志是从所述PPS中获得的。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述标志为mixed_nalu_types_in_pic_flag，所述mixed_nalu_types_in_pic_flag在表示参考所述PPS的每个图像包括多个VCL NAL单元且所述多个VCL NAL单元不具有相同NAL单元类型(nal_unit_type)值时等于1。8.一种在编码器中实现的方法，其特征在于，所述方法包括：所述编码器的处理器确定当前图像包括不具有相同网络抽象层(network abstraction layer，NAL)单元类型的多个视频译码层(video coding layer，VCL)NAL单元；所述处理器确定所述当前图像中的子图像A(subpicA)与帧内随机接入点(intra
‑
random access point，IRAP)NAL单元类型相关联；所述处理器生成条带对应的参考图像列表中的活动条目，其中，所述条带位于解码顺序在所述当前图像之后的后续图像的subpicA中，当所述当前图像中的所述subpicA与所述IRAP NAL单元类型相关联时，所述活动条目不参考解码顺序在所述当前图像之前的任何参考图像；所述处理器根据所述参考图像列表将所述后续图像编码到码流中。9.根据权利要求8所述的方法，其特征在于，所述IRAP NAL单元类型为纯随机接入(clean random access，CRA)NAL单元类型。10.根据权利要求8所述的方法，其特征在于，所述IRAP NAL单元类型为即时解码刷新(instantaneous decoding refresh，IDR)NAL单元类型。
11.根据权利要求8至10中任一项所述的方法，其特征在于，所述方法还包括：所述处理器通过确保所述当前图像的位于所述subpicA中的所有条带...

【专利技术属性】
技术研发人员：王业奎，弗努，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：