视频编解码方法和装置制造方法及图纸

本公开的各方面提供了一种包括用于视频解码的处理电路的方法和装置。处理电路从已编码视频码流中解码出变换块(TB)的编码信息。所述编码信息指示TB的帧内预测模式信息、TB的大小和TB的主变换类型中的一个，所述帧内预测模式信息指示TB的帧内预测模式。处理电路基于所述TB的帧内预测模式信息、所述TB的大小和所述TB的主变换类型中的一个来确定用于对二次变换索引进行熵解码的上下文。所述二次变换索引指示一组二次变换中将对TB执行的二次变换。处理电路基于所述上下文对所述二次变换索引进行熵解码并且执行所述二次变换。行熵解码并且执行所述二次变换。行熵解码并且执行所述二次变换。

【技术实现步骤摘要】
【国外来华专利技术】视频编解码方法和装置
引用并入
[0001]本申请要求于2021年6月28日提交的美国专利申请号17/360,431，“视频编解码方法和装置”的优先权，该申请要求于2020年11月11日提交的美国临时申请号63/112,529，“对二次变换索引进行熵编解码的上下文设计”的优先权。在先申请的全部公开内容在此全文引入作为参考。


[0002]本公开描述了总体上涉及视频编解码的实施例。

技术介绍

[0003]本文中提供的背景描述是为了总体地呈现本公开的上下文。当前署名的专利技术人的工作在该
技术介绍
部分中描述的程度上以及在提交时可能不构成现有技术的描述的各方面既不明示地也不暗示地被认为是本公开的现有技术。
[0004]可以使用具有运动补偿的帧间预测来执行视频编码和解码。未压缩数字视频可以包括一系列图片，每个图片具有例如1920
×
1080亮度样本和相关联的色度样本的空间维度。系列图片可以具有固定或可变的图片速率(也被非正式地称为帧速率)，例如每秒60个图片或60Hz。未压缩视频具有特定比特率要求。例如，每采样8比特的1080p60 4:2:0视频(60Hz帧速率的1920
×
1080亮度样本分辨率)需要接近1.5Gbit/s带宽。一个小时的这种视频需要超过600GB的存储空间。
[0005]视频编码和解码的一个目的可以是通过压缩来减少输入视频信号中的冗余。压缩可以帮助减少上述带宽和/或存储空间要求，在一些情况下减少两个数量级或更多。可以采用无损压缩和有损压缩，以及它们的组合。无损压缩是指可以从压缩的原始信号重建原始信号的精确副本的技术。当使用有损压缩时，重建信号可能与原始信号不同，但是原始信号和重建信号之间的失真足够小，使得重建信号可用于预期应用。在视频的情况下，广泛采用有损压缩。容许的失真量取决于应用；例如，某些消费流式应用的用户可以容忍比电视分发应用的用户更高的失真。可实现的压缩比可以反映出：较高的可允许/可容许失真可以产生较高的压缩比。
[0006]视频编码器和解码器可以利用来自若干广泛类别(包括例如运动补偿、变换、量化及熵编解码)的技术。
[0007]视频编解码器技术可以包括称为帧内编解码的技术。在帧内编解码中，在不参考来自先前重建的参考图片的样本或其它数据的情况下表示样本值。在一些视频编解码器中，图片在空间上被细分为样本块。当所有样本块都以帧内模式编码时，该图片可以是帧内图片。帧内图片及其派生图片(诸如独立解码器刷新图片)可以用于重置解码器状态，并且因此可以用作已编码视频码流和视频会话中的第一图片，或用作静止图像。可以将帧内块的样本暴露于变换，并且可以在熵编解码之前量化变换系数。帧内预测可以是使预变换域中的样本值最小化的技术。在一些情况下，变换后的DC值越小，并且AC系数越小，则在给定
量化步长下表示熵编解码之后的块所需的比特越少。
[0008]诸如从例如MPEG
‑
2代编解码技术中已知的传统帧内编解码不使用帧内预测。然而，一些较新的视频压缩技术包括从例如周围样本数据和/或元数据尝试数据块的技术，该周围样本数据和/或元数据是在空间相邻的数据块的编码和/或解码期间获得的并且在解码顺序上先于数据块。这样的技术此后被称为“帧内预测”技术。注意，在至少一些情况下，帧内预测仅使用来自重建中的当前图片的参考数据，而不使用来自参考图片的参考数据。
[0009]可以有许多不同形式的帧内预测。当在给定的视频编解码技术中可以使用多于一种这样的技术时，可以以帧内预测模式对所使用的技术进行编解码。在某些情况下，模式可以具有子模式和/或参数，并且这些子模式和/或参数可以被单独编解码或被包括在模式码字中。用于给定模式、子模式和/或参数组合的这种码字可以影响通过帧内预测的编解码效率增益，并且因此可以影响用于将码字转换成码流的熵编解码技术。
[0010]帧内预测的某种模式与H.264一起被引入，在H.265中被改进，并且在诸如联合探索模型(JEM)、通用视频编解码(VVC)和基准集(BMS)的较新的编解码技术中被进一步改进。可以使用属于已经可用的样本的相邻样本值来形成预测器块。根据方向将相邻样本的样本值复制到预测器块中。对使用方向的参考可以在码流中编码或本身可以被预测。
[0011]参考图1A，在右下方描绘了从H.265的33个可能的预测器方向(与35个帧内模式的33个角度模式相对应)已知的九个预测器方向的子集。箭头会聚的点(101)表示被预测的样本。箭头表示样本正被预测的方向。例如，箭头(102)指示从右上方的一个或多个样本以与水平方向成45度角来预测样本(101)。类似地，箭头(103)指示从样本(101)的左下方的一个或多个样本以与水平方向成22.5度角来预测样本(101)。
[0012]仍然参考图1A，在左上方描绘了4
×
4样本的正方形块(104)(由虚线黑体线表示)。正方形块(104)包括16个样本，每个样本标记有“S”、其在Y维度中的位置(例如，行索引)和其在X维度中的位置(例如，列索引)。例如，样本S21是Y维度上的第二样本(从顶部)和X维度上的第一样本(从左侧)。类似地，样本S44是块(104)中Y维度和X维度上的第四样本。由于块的大小是4
×
4样本，因此S44在右下。进一步示出了遵循类似编号方案的参考样本。参考样本标记有R、其相对于块(104)的Y位置(例如，行索引)和X位置(列索引)。在H.264和H.265中，预测样本邻近重建中的块；因此，不需要使用负值。
[0013]帧内图片预测可以通过复制来自如由用信号通知的预测方向所适当的相邻样本的参考样本值来工作。例如，假设已编码视频码流包括这样的信令，对于该块，该信令指示与箭头(102)一致的预测方向——即，从右上方的一个或多个预测样本以与水平成45度角来预测样本。在这种情况下，从相同的参考样本R05来预测样本S41、S32、S23和S14。然后从参考样本R08预测样本S44。
[0014]在某些情况下，可以例如通过内插来组合多个参考样本的值，以便计算参考样本；尤其是当方向不能被45度整除时。
[0015]随着视频编解码技术的发展，可能方向的数量增加。在H.264(2003年)中，可以表示九个不同的方向。这在H.265(2013年)中增加至33，并且JEM/VVC/BMS在公开时可以支持高达65个方向。已经进行了实验来识别最可能的方向，并且使用熵编解码中的某些技术来以少量比特来表示那些可能的方向，接受对于较不可能的方向的某种处罚。进一步地，有时可以根据在相邻的已解码块中使用的相邻方向来预测方向本身。
[0016]图1B示出了根据JEM描绘65个帧内预测方向的示意图(180)，以图示预测方向的数量随时间增加。
[0017]表示可以与视频编解码技术不同的方向的已编码视频码流中的帧内预测方向比特到视频编解码技术的映射；并且可以例如从预测方向到帧内预测模式、到码字、到涉及最可能模式的复杂自适应方案和类本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种在解码器中进行视频解码的方法，其特征在于，包括：从已编码视频码流中解码出变换块(TB)的编码信息，所述编码信息指示所述TB的帧内预测模式信息、所述TB的大小、以及所述TB的主变换类型中的一个，所述TB的帧内预测模式信息指示所述TB的帧内预测模式；基于所述TB的帧内预测模式信息、所述TB的大小和所述TB的主变换类型中的一个，确定用于对二次变换索引进行熵解码的上下文，所述二次变换索引指示一组二次变换中的将对所述TB执行的二次变换；基于所述上下文对所述二次变换索引进行熵解码；以及对所述TB执行由所述二次变换索引指示的所述二次变换。2.根据权利要求1所述的方法，其特征在于，所述TB的帧内预测模式信息、所述TB的大小和所述TB的主变换类型中的一个指示所述TB的大小；并且所述确定所述上下文包括基于所述TB的大小确定用于对所述二次变换索引进行熵解码的所述上下文。3.根据权利要求2所述的方法，其特征在于，所述TB的大小指示所述TB的宽度W和所述TB的高度H，所述TB的所述宽度W和所述TB的所述高度H中的最小值是L，并且所述确定所述上下文进一步包括基于L或L
×
L来确定所述上下文。4.根据权利要求1所述的方法，其特征在于，所述TB的帧内预测模式信息、所述TB的大小和所述TB的主变换类型中的一个指示所述TB的帧内预测模式信息；并且所述确定所述上下文包括基于所述TB的帧内预测模式信息确定用于对所述二次变换索引进行熵解码的所述上下文。5.根据权利要求4所述的方法，其特征在于，所述TB的帧内预测模式信息指示标称模式索引，所述TB通过定向预测模式来预测，所述定向预测模式是基于所述标称模式索引和角度偏移确定的，并且所述确定所述上下文包括基于所述标称模式索引来确定用于对所述二次变换索引进行熵解码的所述上下文。6.根据权利要求4所述的方法，其特征在于，所述TB的帧内预测模式信息指示标称模式索引，所述TB通过定向预测模式来预测，所述定向预测模式是基于所述标称模式索引和角度偏移确定的，并且所述确定所述上下文包括基于与所述标称模式索引相关联的索引值来确定用于对所述二次变换索引进行熵解码的所述上下文。7.根据权利要求4所述的方法，其特征在于，所述TB的帧内预测模式信息指示非定向预测模式索引，所述TB通过由所述非定向预测模式索引指示的非定向预测模式来预测，并且所述确定所述上下文包括基于所述非定向预测模式索引来确定用于对所述二次变换索引进行熵解码的所述上下文。8.根据权利要求4所述的方法，其特征在于，
所述TB的帧内预测模式信息指示用于预测所述TB的递归滤波模式，所述方法包括基于所述递归滤波模式来确定标称模式索引，所述标称模式索引指示标称模式，并且所述确定所述上下文包括基于所述标称模式索引来确定用于对所述二次变换索引进行熵解码的所述上下文。9.根据权利要求1所述的方法，其特征在于，所述TB的帧内预测模式信息、所述TB的大小和所述TB的主变换类型中的一个指示所述TB的主变换类型；并且所述确定所述上下文包括基于所述TB的主变换类型确定对所述二次变换索引进行熵解码的所述上下文。10.根据权利要求9所述的方法，其特征在于，由所述主变换类型指示的主变换包括由水平主变换类型指示的水平变换和由垂直主变换类型指示的垂直变换，并且所述确定所述上下文进一步包括基于所述水平主变换类型和所述垂直主变换类型都是离散余弦变换(DCT)或都是非对称离散正弦变换(ADST)来确定用于对所述二次变换索引进行熵解码的所述上下文。11.根据权利要求9所述的方法，其特征在于，由所述主变换类型指示的主变换包括由水平主变换类型指示的水平变换和由垂直主变换类型指示的垂直变换，并且所述确定所述上下文进一步包括基于所述水平主变换类型和所述垂直主变换类型都是离散余弦变换(DCT)或都是线图变换(LGT...

【专利技术属性】
技术研发人员：马杜，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：