视频编解码的方法和装置制造方法及图纸

本公开的各方面提供了视频编解码的方法和装置。在一些示例中，视频解码的装置包括处理电路，所述处理电路可以从已编码视频比特流中解码变换块(TB)的编码信息。所述编码信息可以指示所述TB的应用二次变换的区域。所述区域可以包括第一子区域和第二子区域，所述第一子区域具有通过所述二次变换计算的变换系数。对于所述TB中的变换系数，所述处理电路可以确定用于确定所述变换系数的相邻变换系数是否位于所述第二子区域中。当确定所述相邻变换系数位于所述第二子区域中时，所述处理电路可以根据所述相邻变换系数的默认值确定所述变换系数，并基于所述TB中的用于样本的所述变换系数重建所述样本。重建所述样本。重建所述样本。

【技术实现步骤摘要】
【国外来华专利技术】视频编解码的方法和装置
[0001]通过引用并入本文
[0002]本申请要求于2020年2月11日提交的、申请号为16/787,628、名称为“视频编解码的方法和装置”的美国专利申请的优先权，其要求于2019年2月12日提交的、申请号为62/804,666、专利技术名称为“变换系数归零”的美国临时申请的优先权。在先申请的全部公开内容通过引用整体并入本文。


[0003]本公开描述总体上涉及视频编解码的实施例。

技术介绍

[0004]本文所提供的背景描述旨在总体上呈现本公开的背景。在
技术介绍
部分以及本说明书的各个方面中所描述的目前已署名的专利技术人的工作所进行的程度，并不表明其在本公开提交时作为现有技术，且从未明示或暗示其被承认为本公开的现有技术。
[0005]可以使用具有运动补偿的图片间预测技术来执行视频编码和解码。未压缩的数字视频可以包括一系列图片，每个图片具有例如1920
×
1080亮度样本及相关色度样本的空间维度。所述系列图片可以具有固定的或可变的图片速率(也非正式地称为帧率)，例如每秒60张图片或60Hz。未压缩的视频具有很高的比特率要求。例如，每个样本8比特的1080p60 4:2:0视频(60Hz帧率下1920x1080亮度样本分辨率)要求接近1.5Gbit/s带宽。一小时这样的视频就需要超过600GB的存储空间。
[0006]视频编码和解码的一个目的是通过压缩减少输入视频信号的冗余。压缩可以帮助降低对上述带宽或存储空间的要求，在某些情况下可降低两个或更多数量级。无损压缩和有损压缩、以及两者的组合均可采用。无损压缩是指从压缩的原始信号中重建原始信号精确副本的技术。当使用有损压缩时，重建信号可能与原始信号不完全相同，但是原始信号和重建信号之间的失真足够小，使得重建信号可用于预期应用。有损压缩广泛应用于视频。容许的失真量取决于应用。例如，相比于电视应用的用户，某些消费流媒体应用的用户可以容忍更高的失真。可实现的压缩比反映出：较高的允许/容许失真可产生较高的压缩比。
[0007]视频编码器和解码器可以利用几大类技术，例如包括：运动补偿、变换、量化和熵编码。
[0008]视频编解码器技术可以包括已知的帧内编解码技术。在帧内编解码中，在不参考先前重建的参考图片的样本或其它数据的情况下表示样本值。在一些视频编解码器中，图片在空间上被细分为样本块。当所有的样本块都以帧内模式编解码时，该图片可以为帧内图片。帧内图片及其衍生(例如独立解码器刷新图片)可用于复位解码器状态，并且因此可用作已编码视频比特流和视频会话中的第一图片，或用作静止图像。帧内块的样本可用于变换，并且可以在熵编码之前量化变换系数。帧内预测可以是一种使预变换域中的样本值最小化的技术。在某些情况下，变换后的DC值越小，且AC系数越小，则在给定的量化步长尺寸下表示熵编码后的块所需的比特越少。
[0009]如同从诸如MPEG
‑
2代编解码技术中所获知的，传统帧内编解码不使用帧内预测。然而，一些较新的视频压缩技术包括：试图从例如周围样本数据和/或元数据中得到数据块的技术，其中周围样本数据和/或元数据是在空间相邻块的编码/解码期间、且在解码顺序之前获得的。这种技术后来被称为"帧内预测"技术。需要注意的是，至少在某些情形下，帧内预测仅使用正在重建的当前图片的参考数据，而不使用参考图片的参考数据。
[0010]可以存在许多不同形式的帧内预测。当在给定的视频编解码技术中可以使用超过一种这样的技术时，所使用的技术可以按帧内预测模式进行编解码。在某些情形下，模式可以具有子模式和/或参数，且这些模式可以单独编解码或包含在模式码字中。给定模式/子模式/参数组合使用哪个码字会影响通过帧内预测获得的编解码效率增益，因此用于将码字转换成比特流的熵编码技术也会出现这种情况。
[0011]H.264引入了一种帧内预测模式，其在H.265中进行了改进，且在诸如联合开发模型(JEM)、通用视频编解码(VVC)、基准集合(BMS)等更新的编解码技术中进一步被改进。使用属于已经可用的样本的相邻样本值可以形成预测块。将相邻样本的样本值按照某一方向复制到预测块中。对所使用方向的引用可以被编码在比特流中，或者本身可以被预测。
[0012]参照图1A，右下方描绘了来自H.265的33个可能的预测方向(对应于35个帧内模式的33个角模式)中已知的九个预测方向的子集。箭头会聚的点(101)表示正在被预测的样本。箭头表示样本正在被预测的方向。例如，箭头(102)表示根据右上方与水平方向成45度角的一个或多个样本，预测样本(101)。类似地，箭头(103)表示根据左下方与水平方向成22.5度角的一个或多个样本，预测样本(101)。
[0013]仍然参考图1A，在左上方示出了一个包括4
×
4个样本的正方形块(104)(由粗虚线表示)。正方形块(104)由16个样本组成，每个样本用“S”、以及其在Y维度(例如行索引)上的位置和在X纬度(例如列索引)上的位置来标记。例如，样本S21是Y维度上的第二个样本(从上方开始)和X维度上的第一个样本(从左侧开始)。类似地，样本S44在Y维度和X维度上都是块(104)中的第四个样本。由于该块为4
×
4大小的样本，因此S44位于右下角。还示出了遵循类似编号方案的参考样本。参考样本用“R”、以及其相对于块(104)的Y位置(例如，行索引)和X位置(例如，列索引)来标记。在H.264与H.265中，预测样本与正在重建的块相邻，因此不需要使用负值。
[0014]通过从相邻样本复制参考样本值，可以进行图片内预测，其中相邻样本是由信号通知的预测方向所决定的。例如，假设已编码视频比特流包括信令，对于该块，该信令指示与箭头(102)一致的预测方向，即，根据右上方与水平方向成45度角的一个或多个预测样本来预测样本。在这种情况下，根据同一参考样本R05，预测样本S41、S32、S23和S14。然后，根据样本R08，预测样本S44。
[0015]在某些情况下，例如通过内插，可以合并多个参考样本的值，以便计算参考样本，尤其是当方向不能被45度整除时。
[0016]随着视频编解码技术的发展，可能的方向的数量已经增加了。在H.264(2003年)中，可以表示九种不同的方向。在H.265(2013年)和JEM/VVC/BMS中增加到了33个，而在此公开时，可以支持多达65个方向。已经进行了实验来识别最可能的方向，并且熵编码中的某些技术被用来使用少量比特来表示那些可能的方向，对于较不可能的方向则接受某些代价。此外，有时可以根据在相邻的、已经解码的块中所使用的相邻方向来预测方向本身。
[0017]图1B示出了一种示意图(180)，其描述了根据JEM的65种帧内预测方向，以说明随着时间的推移预测方向的数量增加。
[0018]从帧内预测方向到已编码视频比特流中的表示方向的比特的映射可以因视频编解码技术的不同而不同，例如，其范围可以从对帧内预测模式的预测方向到码字本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种在解码器中进行视频解码的方法，其特征在于，包括：从已编码视频比特流中解码变换块TB的编码信息，所述编码信息指示所述TB的应用二次变换的区域，所述区域包括第一子区域和第二子区域，所述第一子区域具有通过所述二次变换计算的变换系数；对于所述TB中的变换系数，确定用于确定所述变换系数的相邻变换系数是否位于所述第二子区域中；当确定所述相邻变换系数位于所述第二子区域中时，根据所述相邻变换系数的默认值确定所述变换系数；以及基于所述TB中的用于样本的所述变换系数重建所述样本。2.根据权利要求1所述的方法，其特征在于，所述TB中的所述变换系数是第一系数群组CG中的多个变换系数中的一个，所述第一CG的第一CG标志指示所述多个变换系数中的至少一个是否为非零变换系数；包括变换系数的第二CG被预先熵解码，并且与所述第一CG相邻；并且所述方法进一步包括：确定所述第二CG的位置；以及当确定所述第二CG位于所述第二子区域中时，基于所述第二CG的第二CG标志的默认值确定所述第一CG标志。3.根据权利要求1所述的方法，其特征在于，所述TB中的所述变换系数是第一CG中的多个变换系数中的一个，所述第一CG的第一CG标志指示所述多个变换系数中的至少一个是否为非零变换系数；第二CG包括第一变换系数和第二变换系数，所述第二CG被预先熵解码并且与所述第一CG相邻；并且所述方法进一步包括：确定所述第二CG的位置；以及当所述第二CG的包括所述第二变换系数的部分位于所述第二子区域中并且所述第一变换系数为非零变换系数时，基于所述第二CG的第二CG标志确定所述第一CG标志。4.根据权利要求1所述的方法，其特征在于，进一步包括：确定所述变换系数是否位于所述第二子区域中；当确定所述变换系数位于所述第二子区域中时，确定所述变换系数不用信号通知并且为零；以及当确定所述变换系数不位于所述第二子区域中时，执行所述确定所述相邻变换系数是否位于所述第二子区域中。5.根据权利要求1所述的方法，其特征在于，所述确定所述变换系数包括：确定所述变换系数的语法元素，所述语法元素指示以下之一：所述变换系数是否是非零变换系数；所述变换系数的奇偶性；所述变换系数是否大于2；以及所述变换系数是否大于4。6.一种在解码器中进行视频解码的方法，其特征在于，包括：从已编码视频比特流中解码变换块TB的编码信息；基于所述编码信息确定是否对所述TB的第一区域执行二次变换，所述第一区域包括第
一子区域和第二子区域，所述第一子区域具有通过所述二次变换计算的变换系数；以及当确定执行所述二次变换时，确定所述TB中的第二区域中的变换系数为零，所述第二区域在所述第一区域之外。7.根据权利要求6所述的方法，其特征在于，基于所述第一区域，确定所述TB中的包括多个变换系数的系数单元的大小和位置，并且所述系数单元之外的变换系数为零。8.根据权利要求7所述的方法，其特征在于，所述第一区域是所述TB中的左上8
×
8区域，所述系数单元是所述第一区域，所述第二区域与所述左上8
×
8区域相邻。9.根据权利要求8所述的方法，其特征在于，所述第一子区域是所述TB中的左上4
×
4区域，所述系数单元是所述第一区域中的所述第一子区域，并且包括所述第二区域和所述第二子区域的组合区域中的变换系数为零。10.根据权利要求7所述的方法，其特征在于，所述第一区域是所述TB中的左上4
×
4区域，所述系数单元是所述第一区域，...

【专利技术属性】
技术研发人员：赵欣，李翔，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：