用于双向预测和仿射模式的基于模板匹配的自适应运动矢量分辨率（AMVR）制造技术

本公开的各方面提供了方法和装置，该装置包括处理电路，该处理电路通过确定对应于多个运动矢量分辨率(MVR)对中的每个MVR对的模板匹配(TM)代价来对当前块的多个MVR对执行TM。当前块是使用仿射自适应运动矢量预测(AMVP)模式进行预测的。每个MVR对包括：与第一参考图片对应的第一多个MVR中的第一MVR，以及与第二参考图片对应的第二多个MVR中的第二MVR。每个TM代价基于当前块的当前模板和相应MVR对的双向预测器来确定。双向预测器依赖于第一参考图片中的第一参考模板和第二参考图片中的第二参考模板。基于所确定的对应TM代价来选择MVR对。对。对。

【技术实现步骤摘要】
【国外来华专利技术】用于双向预测和仿射模式的基于模板匹配的自适应运动矢量分辨率(AMVR)
援引并入
[0001]本申请要求于2022年10月13日提交的题为“TEMPLATE
‑
MATCHING BASED ADAPTIVE MOTION VECTOR RESOLUTION(AMVR)FOR BI
‑
PREDICTION AND AN AFFINE MODE”的美国专利申请第17/965,729号的优先权权益，该美国专利申请要求于2021年11月1日提交的题为“TEMPLATE
‑
MATCHING BASED ADAPTIVE MOTION VECTOR RESOLUTION(AMVR)FOR BI
‑
PREDICTION AND AFFINE MODE”的美国临时申请第63/274,273号的优先权权益。所有在先申请的全部内容通过引用并入本文中。


[0002]本申请描述了总体上涉及视频编解码的实施例。

技术介绍

[0003]此文所提供的
技术介绍
说明以对本公开的上下文作一般性说明为目的。专利技术人的某些工作(即已在此
技术介绍
部分中作出描述的工作)以及说明书中关于某些尚未成为申请日之前的现有技术的方面，无论是以明确或隐含的方式均不被视为相对于本公开的现有技术。
[0004]未压缩的数字图像和/或视频可以包括一系列图片，每个图片具有例如为1920x1080的亮度样本及相关的色度样本的空间维度。该一系列图片可以具有例如每秒60幅图片或60Hz的固定的或可变的图片速率(也非正式地称为帧率)。未压缩的图像和/或视频具有特定的比特速率要求。例如，每样本8个比特的1080p60 4：2：0的视频(60Hz帧率下的亮度样本分辨率为1920x1080)需要接近1.5Gbit/s的带宽。一小时的此类视频需要600GB以上的存储空间。
[0005]图像和/或视频编码和解码的一个目的可以是通过压缩来减少输入的图像和/或视频信号中的冗余。压缩可以有助于减小上述带宽和/或存储空间需求，在某些情况下可以减小两个数量级或大于两个数量级。尽管本文的描述使用视频编码/解码作为说明性示例，但在不脱离本公开的精神的情况下，同样的技术可以以类似的方式应用于图像编码/解码。可以采用无损压缩和有损压缩，以及它们的组合。无损压缩是指可以从已压缩的原始信号中重建原始信号的精确副本的技术。当使用有损压缩时，已重建的信号可能与原始信号不同，但是原始信号和重建的信号之间的失真足够小，以使已重建的信号可用于预期的应用。在视频的情况下，广泛使用有损压缩。可容忍的失真量取决于应用，例如某些消费者流媒体应用的用户相比电视分配应用的用户来说可以容忍更高的失真。可达到的压缩率可以反映：更高的可容许/接受的失真可以产生更高的压缩率。
[0006]视频编码器和视频解码器可以利用多种广泛类别的技术，例如包括：运动补偿、变换处理、量化以及熵编码。
[0007]视频编解码器技术可以包括称为帧内编码的技术。在帧内编码中，在不参考来自
先前重建的参考图片的样本或其他数据的情况下表示样本值。在某些视频编解码器中，图片在空间上细分为样本块。当所有的样本块都以帧内模式编码时，该图片可以是帧内图片。帧内图片及其派生方式(例如独立的解码器刷新图片)可以用于重置解码器状态，并且因此可以用作编码视频码流和视频会话中的第一张图片，或者用作静止图像。可以使帧内块的样本进行变换，并且可以在熵编码之前对变换系数进行量化。帧内预测可以是一种使预变换域中的样本值最小化的技术。在某些情况下，变换后的DC值越小，且AC系数越小，则在给定的量化步长尺寸下就需要越少的比特来表示熵编码后的块。
[0008]诸如在例如MPEG
‑
2代编码技术所应用的，传统帧内编码不使用帧内预测。然而，一些较新的视频压缩技术包括基于例如周围样本数据和/或元数据尝试的技术，该周围样本数据和/或元数据是在数据块的编码/解码期间获得的。此类技术此后称为“帧内预测”技术。注意，至少在某些情况下，帧内预测仅使用来自正在重建的当前图片的参考数据，而不使用来自参考图片的参考数据。
[0009]帧内预测可以有许多不同的形式。当在给定的视频编码技术中可以使用不止一种这样的技术时，可以以使用特定技术的特定的帧内预测模式对使用中的特定技术进行编码。在某些情况下，帧内预测模式可以具有子模式和/或参数，其中，该子模式和/或参数可以单独编码或包括在限定所使用的预测模式的模式码字中。针对给定的模式、子模式和/或参数组合使用哪个码字可能会对通过帧内预测对编码效率增益产生影响，且用于将码字转换为码流的熵编码技术同样对其也可以产生影响。
[0010]H.264引入了某种帧内预测模式，并在H.265中对其进行了改进，并在诸如联合探索模型(Joint Exploration Model，JEM)、下一代视频编码(Versatile Video Coding，VVC)、基准集(Benchmark Set，BMS)等新的编码技术中进一步进行了改进。可以使用已经可用样本的相邻样本值来形成预测器块。根据方向将相邻样本的样本值复制到预测器块中。对所使用方向的参考可以编码在码流中，或者可以对其本身进行预测。
[0011]参考图1A，右下方描绘的是从H.265中限定的33种可能的预测器方向(对应于35种帧内模式中的33种角度模式)中获知的9个预测器方向的子集。箭头收敛的点(101)表示正在被预测的样本。箭头表示正在被预测的样本的方向。例如，箭头(102)指示从与水平线成45度角的右上方向的一个或多个样本中预测样本(101)。同样，箭头(103)表示从与水平线成22.5度角的样本(101)的左下方向的一个或多个样本中预测样本(101)。
[0012]仍参考图1A，在左上角描绘了一个4x4个样本的正方形块(104)(由粗体虚线表示)。正方形块(104)包含16个样本，每个样本使用“S”及其在Y维度上的位置(例如，行索引)和其在X维度上的位置(例如，列索引)来标记。例如，样本S21是Y维度上(从顶部开始)的第二个样本，以及X维度上(从左侧开始)的第一个样本。类似地，样本S44在Y维度和X维度上都是块(104)中的第四个样本。由于块的大小为4x4个样本，因此S44在右下角。图中还示出了参考样本，它们遵循类似的编号方案。参考样本用R及其相对于块(104)的Y位置(例如行索引)和X位置(列索引)来标记。在H.264和H.265二者中，预测样本都与正在重建的块相邻，因此，无需使用负值。
[0013]帧内图片预测可以通过从信号通知的预测方向所指示的相邻样本复制参考样本值来工作。例如，假设已编码视频码流包括信令(signaling)，该信令针对该块指示与箭头(102)一致的预测方向，也就是说，样本是从与水平方向成45度角的右上角的预测样本进行
预测的。在这种情况下，根据同一个参考样本R05预测样本S41、S32、S23和S14。然后，根据参考样本R08预测样本S44。...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频解码器中的视频解码方法，包括：从已编码的视频码流中解码当前图片中的当前块的预测信息，所述预测信息指示所述当前块是在仿射自适应运动矢量预测AMVP模式下使用双向预测来预测的；通过下述操作对多个运动矢量分辨率MVR对执行模板匹配TM：确定对应于所述多个MVR对中每个MVR对的TM代价，每个MVR对包括(i)与第一参考图片对应的第一多个MVR中的第一MVR和(ii)与第二参考图片对应的第二多个MVR中的第二MVR，每个TM代价至少基于所述当前块的当前模板的一部分或全部以及相应MVR对的双向预测器来确定，所述双向预测器依赖于与所述相应MVR对的第一MVR对应的所述第一参考图片中的第一参考模板的一部分或全部以及与所述相应MVR对的第二MVR对应的所述第二参考图片中的第二参考模板的一部分或全部；以及基于所确定的对应TM代价来选择MVR对；以及基于所选择的MVR对来重建所述当前块。2.根据权利要求1所述的方法，其中，所述执行TM包括：基于所述确定的对应TM代价对所述多个MVR对进行重新排序；以及所述选择包括从经重新排序的多个MVR对中选择所述MVR对。3.根据权利要求2所述的方法，其中，所述当前块的当前模板的全部用于确定所述TM代价；以及针对每个MVR对：所述第一参考模板的全部用于确定所述双向预测器，以及所述第二参考模板的全部用于确定所述双向预测器。4.根据权利要求1所述的方法，其中，针对每个MVR对，每个MVR对中的所述第一MVR和所述相应MVR对中的所述第二MVR相同。5.根据权利要求1所述的方法，其中，所述多个MVR对中的一个MVR对的第一MVR与所述多个MVR对中的所述一个MVR对的第二MVR不同。6.根据权利要求1所述的方法，其中，所述预测信息包括指示对所述多个MVR对执行所述TM的标志。7.根据权利要求3所述的方法，其中，所述当前模板包括多个当前子块模板；以及针对所述多个MVR对中的每个MVR对，所述确定TM代价包括：基于所述多个当前子块模板和对应的第一运动矢量MV来分别确定所述第一参考模板中的多个第一参考子块模板，所述第一MV依赖于相应的当前子块模板的位置和所述当前块的仿射参数，以及基于所述多个当前子块模板和对应的第二MV来分别确定所述第二参考模板中的多个第二参考子块模板，所述第二MV依赖于相应的当前子块模板的位置和所述当前块的所述仿射参数，所述双向预测器依赖于所述多个第一参考子块模板和所述多个第二参考子块模板。8.根据权利要求7所述的方法，其中，针对所述多个MVR对中的每个MVR对，所述多个第一参考子块模板中每个第一参考子块
模板中的多个样本的运动信息相同。9.根据权利要求7所述的方法，其中，确定所述多个第一参考子块模板包括：针对所述多个MVR对中的每个MVR对，基于使用光流的预测细化PROF模式来确定所述多个第一参考子块模板，其中，所述多个第一参考子块模板中的一个第一参考子块模板中的两个样本的运动信息不同。10.一种视频解码器中的视频解码方法，包括：从已编码的视频码流中解码当前图片中的当前块的预测信息，所述预测信息指示所述当前块是在自适应运动矢量预测AMVP模式下使用的双向预测来预测的；通过下述操作对多个运动矢量分辨率MVR对执行模板匹配TM：确定对应于所述多个MVR对中每个MVR对的TM代价，每个MVR对包括(i)与第一参考图片对应的第一多个MVR中的第一MVR和(ii)与第二参考图片对应的第二多个MVR中的第二MVR，每个TM代价至少基于所述当前块的当前模板的一部分或全部以及相应MVR对的双向预测器来确定，...

【专利技术属性】
技术研发人员：陈联霏，李翔，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：