利用光流补偿进行的帧间预测存储器访问带宽减少方法技术

本发明专利技术描述了用于视频编码的系统和方法。在一些实施方案中，通过对初始运动向量进行舍入并确定由该舍入引起的舍入误差向量来执行当前块中的样本的帧间预测。使用该舍入运动向量生成该样本的未细化预测。针对该当前块中的其他样本类似地生成未细化预测。基于该未细化预测，针对该块中的每个样本位置确定空间梯度。通过向该未细化预测添加该样本位置处的该空间梯度与该舍入误差向量之间的标量积来针对每个样本位置生成细化预测。示例性方法可减少用于预测当前块的参考像素的数量，并因此可减少存储器访问带宽。减少存储器访问带宽。减少存储器访问带宽。

【技术实现步骤摘要】
【国外来华专利技术】利用光流补偿进行的帧间预测存储器访问带宽减少方法
[0001]相关申请的交叉引用
[0002]本申请是于2019年3月16日提交的名称为“利用光流补偿进行的帧间预测存储器访问带宽减少方法(INTER PREDICTION BANDWIDTH REDUCTION METHOD WITH OPTICAL FLOW COMPENSATION)”的美国临时专利申请序列号62/819,529的非临时申请，并且根据35 U.S.C.
§
119(e)要求该美国临时专利申请的权益，该美国临时专利申请据此全文以引用方式并入。

技术介绍

[0003]视频编码系统广泛用于压缩数字视频信号，以减少此类信号的存储需要和/或传输带宽。在各种类型的视频编码系统(诸如基于块的系统、基于小波的系统和基于对象的系统)中，目前基于块的混合视频编码系统是最广泛使用和部署的。基于块的视频编码系统的示例包括国际视频编码标准，诸如MPEG
‑
1/2/4第2部分、H.264/MPEG
‑
4第10部分AVC、VC
‑
1以及由ITU
‑
T/SG16/Q.6/VCEG和ISO/IEC/MPEG的JCT
‑
VC(视频编码联合协作小组)开发的称为高效视频编码(HEVC)的最新视频编码标准。
[0004]2017年10月，ITU
‑
T和ISO/IEC发布了关于视频压缩能力超过HEVC的联合提议(CfP)。2018年4月，在第10届JVET会议上收到并评估了标准动态范围类别的CfP响应，表明压缩效率比HEVC提高了约40％。基于此类评估结果，联合视频专家组(JVET)启动了新项目，开发名为多功能视频编码(VVC)的新一代视频编码标准。同月，建立了名为VVC测试模型(VTM)的参考软件代码库，用于证实VVC标准的参考实现。对于初始VTM
‑
1.0，大多数编码模块(包括帧内预测、帧间预测、变换/逆变换和量化/反量化以及环路滤波器)遵循现有的HEVC设计，不同的是在VTM中使用了基于多类型树的块划分结构。同时，为了便于评估新的编码工具，还生成了称为基准集(BMS)的另一个参考软件库。在BMS代码库中，在VTM的顶部包括从JEM继承而来的编码工具列表，这些编码工具提供更高的编码效率和适度的实现复杂度，并在VVC标准化过程期间评估类似编码技术时用作基准。具体地，在BMS
‑
1.0中集成了9种JEM编码工具，包括65个角度帧内预测方向、修正系数编码、高级多重变换(AMT)+4
×
4不可分离二次变换(NSST)、仿射运动模型、广义自适应环路滤波器(GALF)、高级时间运动向量预测(ATMVP)、自适应运动向量精度、解码端运动向量细化(DMVR)和线性模型(LM)色度模式。

技术实现思路

[0005]本文所述的实施方案包括用于视频编码和解码(统称为“编码”)的方法。
[0006]在一些实施方案中，一种方法包括：对与当前样本相关联的第一运动向量进行舍入以获得第二运动向量；使用第二运动向量获得当前样本的未细化预测；获得指示第一运动向量和第二运动向量之间的差值的舍入误差向量；在当前样本的样本位置处获得空间梯度；以及基于未细化预测、空间梯度和舍入误差向量来获得当前样本的细化预测。一些实施方案包括一种装置，该装置包括一个或多个处理器，该一个或多个处理器被配置为执行本
文所述的此类方法或其他方法。
[0007]在一些实施方案中，通过向未细化预测添加空间梯度与舍入误差向量之间的标量积来获得当前样本的细化预测。
[0008]在一些实施方案中，第二运动向量被舍入到整数精度。在一些实施方案中，第二运动向量被舍入到分数精度。
[0009]在一些实施方案中，第一运动向量是包含当前样本的子块的子块运动向量，并且使用仿射运动模型获得第一运动向量。
[0010]在一些实施方案中，第一运动向量是与包含当前样本的当前块相关联的平移运动向量。
[0011]在一些实施方案中，基于与当前样本相邻的多个样本的未细化预测来执行在当前样本的样本位置处获得空间梯度。在一些此类实施方案中，空间梯度的水平分量作为当前样本的右相邻样本和左相邻样本之间的差值来获得，并且空间梯度的竖直分量作为当前样本的顶部相邻样本和底部相邻样本之间的差值来获得。
[0012]在一些实施方案中，使用四抽头内插滤波器来执行获得当前样本的未细化预测。
[0013]在一些实施方案中，使用双线性内插滤波器来执行获得当前样本的未细化预测。
[0014]在一些实施方案中，基于包括当前样本的当前块的尺寸来做出执行第一运动向量的舍入的确定。在一些此类实施方案中，基于包括当前样本的当前块为4
×
4、4
×
8或8
×
4块的确定来做出执行第一运动向量的舍入的确定。
[0015]在一些实施方案中，在比特流中发信号通知第一运动向量。
[0016]在一些实施方案中，从输入样本值中减去当前样本的细化预测以生成预测残差，并且在比特流中对预测残差进行编码。
[0017]在一些实施方案中，从比特流解码当前样本的预测残差并将其添加到当前样本的细化预测以生成重构的样本值。
[0018]本专利技术的实施方案中的一个或多个实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质在其上存储有用于根据上述方法中的任一方法来执行双向光流、编码或解码视频数据的指令。本专利技术的实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质在其上存储有根据上述方法生成的比特流。本专利技术的实施方案还提供了一种用于传输根据上述方法生成的比特流的方法和装置。本专利技术的实施方案还提供了一种计算机程序产品，该计算机程序产品包括用于执行所述方法中的任一方法的指令。
[0019]在另外的实施方案中，提供了编码器和解码器装置来执行本文所述的方法。编码器或解码器装置可包括被配置为执行本文所述的方法的处理器。该装置可包括存储用于执行本文所述方法的指令的计算机可读介质(例如，非暂态介质)。在一些实施方案中，计算机可读介质(例如，非暂态介质)存储使用本文所述方法中的任一方法编码的视频。
附图说明
[0020]图1A是示出可在其中实现一个或多个所公开的实施方案的示例性通信系统的系统图。
[0021]图1B是示出根据实施方案可在图1A所示的通信系统内使用的示例性无线发射/接收单元(WTRU)的系统图。
[0022]图1C是根据一些实施方案的系统的功能框图。
[0023]图2A是基于块的视频编码器(诸如用于VVC的编码器)的功能框图。
[0024]图2B是基于块的视频解码器(诸如用于VVC的解码器)的功能框图。
[0025]图3是示出运动补偿预测的示例的图示。
[0026]图4是示出画面内的块水平移动的示例的图示。
[0027]图5是示出编码比特流结构的示例的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，所述方法包括：对与当前样本相关联的第一运动向量进行舍入以获得第二运动向量；使用所述第二运动向量获得所述当前样本的未细化预测；获得指示所述第一运动向量和所述第二运动向量之间的差值的舍入误差向量；在所述当前样本的样本位置处获得空间梯度；以及基于所述未细化预测、所述空间梯度和所述舍入误差向量来获得所述当前样本的细化预测。2.一种装置，所述装置包括一个或多个处理器，所述一个或多个处理器被配置为执行以下操作：对与当前样本相关联的第一运动向量进行舍入以获得第二运动向量；使用所述第二运动向量获得所述当前样本的未细化预测；获得指示所述第一运动向量和所述第二运动向量之间的差值的舍入误差向量；在所述当前样本的样本位置处获得空间梯度；以及基于所述未细化预测、所述空间梯度和所述舍入误差向量来获得所述当前样本的细化预测。3.根据权利要求1所述的方法或根据权利要求2所述的装置，其中所述第二运动向量被舍入到整数精度。4.根据权利要求1所述的方法或根据权利要求2所述的装置，其中所述第二运动向量被舍入到分数精度。5.根据权利要求1所述的方法或根据权利要求2所述的装置，其中所述第一运动向量是包含所述当前样本的子块的子块运动向量，并且其中使用仿射运动模型获得所述第一运动向量。6.根据权利要求1所述的方法或根据权利要求2所述的装置，其中所述第一运动向量是与包含所述当前样本的当前块相关联的平移运动向量。7.根据权利要求1所述的方法或根据权利要求2所述的装置，其中基于与所述当前样本相邻的多个样本的未细化预测来执行在所述当前样本的样本位置处获得所述空间梯度。8.根据权利要求1所述的方法或根据权利要求2所述的装置，其...

【专利技术属性】
技术研发人员：罗健聪，贺玉文，陈伟，
申请(专利权)人：VID拓展公司，
类型：发明
国别省市：