用于帧内串复制的方法和设备技术

在用于解码器的视频解码方法中，接收块的已编码信息，该已编码信息包括信令信息和语法元素。语法元素中的每个语法元素包括一个或更多个二进制位，并且块通过串匹配模式编码。基于允许通过上下文编码模式进行编码的二进制位的最大数量来确定阈值。确定语法元素中的第一语法元素的多个二进制位。使用第一语法元素的一个或更多个二进制位以串匹配模式对块进行解码，其中第一语法元素的二进制位的数目受指示针对上下文编码模式所允许的二进制位的最大数目的阈值限制。最大数目的阈值限制。最大数目的阈值限制。

【技术实现步骤摘要】
【国外来华专利技术】用于帧内串复制的方法和设备
[0001]交叉引用
[0002]本申请要求于2021年10月14日提交的美国专利申请第17/450,935号“METHOD AND APPARATUS FOR INTRA STRING COPY”的优先权的权益，该美国专利申请要求于2021年4月12日提交的美国临时申请第63/173,929号“STRING MATCHING WITH REFERENCE LOCATION CONSTRAINTS”的优先权的权益。在先申请的全部公开内容通过引用整体并入本文。


[0003]本申请描述了总体上涉及视频译码例如基于帧内串复制模式对视频中的区域中的块进行编码/解码的实施方式。

技术介绍

[0004]本文中提供的
技术介绍
描述的目的在于从总体上呈现本申请的背景。就在此
技术介绍
部分中描述目前署名的专利技术人的工作的程度而言，目前署名的专利技术人的工作以及在提交时可不被另外视为现有技术的描述的方面既没有被明确地也没有被隐含地承认为针对本申请的现有技术。
[0005]可以使用具有运动补偿的图片间预测来执行视频编码和解码。未经压缩的数字视频可以包括一系列图片，每个图片的空间大小为例如1920
×
1080个亮度样本以及相关联的色度样本。一系列图片可以具有固定的或可变的图片速率(也被非正式地称为帧速率)，例如每秒60幅图片或60Hz。未经压缩的视频具有特定的比特率要求。例如，每个样本8比特的1080p60 4:2:0视频(60Hz帧速率的1920
×
1080亮度样本分辨率)需要接近1.5Gbit/s的带宽。一小时的这样的视频需要超过600千兆字节(GByte)的存储空间。
[0006]视频编码和解码的一个目的可以是通过压缩来降低输入视频信号的冗余度。压缩可以有助于降低上述带宽需求和/或存储空间需求，在一些情况下可以降低两个数量级或更多个数量级。可以采用无损压缩和有损压缩两者及其组合。无损压缩是指可以根据经压缩的原始信号重构原始信号的精确副本的技术。当使用有损压缩时，重构的信号可能与原始信号不同，但是原始信号与重构的信号之间的失真足够小，以使得重构的信号能够用于预期应用。在视频的情况下，广泛地采用有损压缩。容忍的失真量取决于应用；例如，某些消费者流媒体应用的用户可能比电视分发应用的用户容忍更高的失真。可实现的压缩比可以反映出：较高的可允许/可容忍的失真可以产生较高的压缩比。
[0007]视频编码器和解码器可以利用来自例如包括运动补偿、变换、量化和熵编码的若干大类的技术。
[0008]视频编解码器技术可以包括被称为帧内编码的技术。在帧内编码中，在不参考来自先前重构的参考图片的样本或其他数据的情况下表示样本值。在一些视频编解码器中，在空间上将图片细分为样本块。当所有的样本块都以帧内模式编码时，该图片可以是帧内图片。帧内图片及其派生(例如，独立解码器刷新图片)可以用于重置解码器状态，并且因此可以用作已编码视频比特流和视频会话中的第一图片或用作静止图像。帧内块的样本可以
经受变换，并且可以在熵编码之前对变换系数进行量化。帧内预测可以是在预变换域中使样本值最小化的技术。在一些情况下，变换之后的DC值越小，并且AC系数越小，在给定量化步长下表示熵编码之后的块所需的比特就越少。
[0009]例如从诸如MPEG
‑
2代编码技术已知的传统帧内编码不使用帧内预测。然而，一些较新的视频压缩技术包括根据例如在空间上邻近并且在解码顺序上在先的数据块的编码/解码期间获得的元数据以及/或者周围样本数据进行尝试的技术。这样的技术此后被称为“帧内预测”技术。注意，在至少一些情况下，帧内预测仅使用来自重构中的当前图片的参考数据，而不使用来自参考图片的参考数据。
[0010]可以存在许多不同形式的帧内预测。当可以在给定视频编码技术中使用多于一种这样的技术时，可以在帧内预测模式中对使用的技术进行编码。在某些情况下，模式可以具有子模式和/或参数，并且这些子模式和/或参数可以被单独编码或被包括在模式码字中。针对给定模式、子模式和/或参数组合使用哪个码字可以对通过帧内预测的编码效率增益产生影响，并且因此用于将码字转换成比特流的熵编码技术也是如此。
[0011]帧内预测的某些模式随H.264引入、在H.265中被细化，并且在较新的编码技术诸如联合开发模型(joint exploration model，JEM)、通用视频编码(versatile video coding，VVC)和基准集(benchmark set，BMS)中被进一步细化。可以使用属于已经可用的样本的邻近样本值来形成预测块。根据方向将邻近样本的样本值复制到预测块中。对使用的方向的参考可以在比特流中被编码，或者其本身可以被预测。
[0012]参照图1，右下方描绘了从H.265的33个可能预测方向(对应于35个帧内模式中的33个角度模式)已知的九个预测方向的子集。箭头会聚的点(101)表示正被预测的样本。箭头表示对样本进行预测的方向。例如，箭头(102)指示根据右上方的与水平成45度角的一个或多个样本对样本(101)进行预测。类似地，箭头(103)指示根据样本(101)左下方的与水平成22.5度角的一个或多个样本对样本(101)进行预测。
[0013]仍然参照图1，在左上方描绘了4
×
4个样本的正方形块(104)(由黑体虚线指示)。正方形块(104)包括16个样本，每个样本均用“S”、其在Y维度上的位置(例如，行索引)以及其在X维度上的位置(例如，列索引)来标记。例如，样本S21是Y维度上(从顶部起)的第二个样本并且是X维度上(从左侧起)的第一个样本。类似地，样本S44是块(104)中在Y维度和X维度两者上的第四个样本。由于块的大小是4
×
4个样本，因此S44在右下方。另外示出的是遵循类似的编号方案的参考样本。参考样本用R、其相对于块(104)的Y位置(例如，行索引)和X位置(列索引)来标记。在H.264和H.265二者中，预测样本与重构中的块相邻；因此不需要使用负值。
[0014]帧内图片预测可以通过复制来自如由用信号指示的预测方向适当的相邻样本的参考样本值来工作。例如，假设已编码视频比特流包括下述信令，针对该块，该信令指示与箭头(102)一致的预测方向——即，根据在右上方的与水平成45度角的一个或多个预测样本来对样本进行预测。在这种情况下，根据同一参考样本R05对样本S41、S32、S23和S14进行预测。然后根据参考样本R08对样本S44进行预测。
[0015]在某些情况下，可以例如通过内插将多个参考样本的值进行组合以便计算参考样本；尤其是在方向不能被45度整除的情况下。
[0016]随着视频编码技术发展，可能的方向的数量也在增加。在H.264(2003年)中，可以
表示九个不同的方向。这在H.265(2013年)中增加到33个，并且在公开时JEM/VVC/BMS可以支持多达65个方向。已经进行了实验来识别最可能的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于解码器的视频解码方法，所述方法包括：从已编码视频比特流接收已编码区域中的块的已编码信息，所述已编码信息包括信令信息和与所述块相关联的语法元素，所述语法元素中的每个语法元素包括一个或更多个二进制位，所述块包括多个串，并且所述块通过串匹配模式编码；基于与所述块相关联的、允许通过上下文编码模式进行编码的二进制位的最大数目来确定阈值；确定所述语法元素中的第一语法元素的二进制位的数目；以及使用所述第一语法元素的一个或更多个二进制位以所述串匹配模式对所述块进行解码，其中，所述第一语法元素的二进制位的数目受指示针对所述上下文编码模式所允许的二进制位的最大数目的阈值限制。2.根据权利要求1所述的方法，其中，基于以下之一对所述第一语法元素进行编码：(i)当所述第一语法元素的二进制位的数目小于所述阈值时基于上下文编码模式；以及(ii)当所述第一语法元素的二进制位的数目等于或大于所述阈值时基于旁路编码模式。3.根据权利要求1所述的方法，其中：所述多个串中的每个串包括一个或更多个样本，并且所述串匹配模式包括以下之一：(i)帧内串复制(ISC)模式，其被配置成基于由串偏移矢量指示的相应参考串来重构所述块中的所述多个串中的每个串；以及(ii)等值串(EVS)模式，其被配置成通过复制在对应串上方的参考串的值、或者利用所述对应串的第一样本的值对所述对应串中的其他样本的值进行设置，来重构所述块中的所述多个串中的每个串。4.根据权利要求3所述的方法，其中，确定所述阈值还包括：确定平均阈值，所述平均阈值指示所述块的样本中的每个样本中允许通过所述上下文编码模式进行编码的二进制位的平均数目；以及将所述阈值确定为所述平均阈值与所述块中的样本的总数的乘积。5.根据权利要求4所述的方法，其中，基于以下之一来确定所述平均阈值：(i)在切片报头、图片报头和序列报头之一中用信号指示的已编码信息中的信令信息；以及(ii)预定义值。6.根据权利要求4所述的方法，其中，所述平均阈值包括1.125、1.25和1.75之一。7.根据权利要求4所述的方法，其中，基于所述块以所述EVS模式进行编码，所述平均阈值基于与所述块相关联的、允许通过所述上下文编码模式进行编码的二进制位的最大数目。8.根据权利要求4所述的方法，其中，在所述块通过帧内预测模式、帧内块复制模式和帧间预测模式之一进行编码时，所述平均阈值基于与所述块相关联的、允许通过所述上下文编码模式进行编码的二进制位的最大数目。9.根据权利要求4所述的方法，其中，确定所述阈值还包括：确定截止数，所述截止数基于以下之一：(i)在切片报头、图片报头和序列报头之一中用信号指示的已编码信息中的信令信息；以及(ii)预定义值；以及将所述阈值确定为：(i)所述平均阈值与所述块中的样本的总数的乘积减去(ii)所述截止数。
10.根据权利要求9所述的方法，其中，所述截止数被设置为以下之一：所述第一语法元素的允许通过所述上下文编码模式进行编码的二进制位的最大数目，与通过所述串匹配模式进行编码的块相关联的语法元素之一的允许通过所述上下文编码模式进行编码的二进制位的最大数目，恒定值与所述平均阈值的乘积，以及与通过所述串匹配模式进行编码的块相关联...

【专利技术属性】
技术研发人员：许晓中，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：