用于针对视频编解码的预测相关残差缩放的方法和设备技术

提供了用于减少由LMCS引入的解码时延的方法。在一种方法中，从解码器侧运动矢量导出DMVR的双线性滤波器的输出中选择一个或多个亮度预测样本值，将所选择的一个或多个亮度预测样本值调整成具有与输入视频的原始编码位深度相同的位深度的另一个或多个亮度预测样本值，使用具有与输入视频的原始编码位深度相同的位深度的亮度预测样本值来导出用于解码一个或多个色度残差样本的缩放因子，使用所述缩放因子来缩放一个或多个色度残差样本，以及通过将经缩放的一个或多个色度残差样本与其对应的色度预测样本相加来重构一个或多个色度残差样本。度残差样本。度残差样本。

【技术实现步骤摘要】
【国外来华专利技术】用于针对视频编解码的预测相关残差缩放的方法和设备
[0001]相关应用的交叉引用本申请要求于2019年6月21日提交的序列号为62/865,142的美国临时专利申请的权益。上述申请的全部公开内容通过引用整体地并入本文中。


[0002]本公开总体上涉及视频编解码和压缩。更具体地，本公开涉及用于使用对编码单元的预测相关残差缩放来执行视频编解码的系统和方法。

技术介绍

[0003]本部分提供了与本公开相关的背景信息。本部分中包含的信息不一定被解释为现有技术。
[0004]可以使用各种视频编解码技术中的任一个来压缩视频数据。视频编解码可以根据一个或多个视频编解码标准来执行。一些说明性视频编解码标准包括：通用视频编解码（VVC）、联合探测测试模型（JEM）编解码、高效视频编解码（H.265/HEVC）、高级视频编解码（H.264/AVC）和运动图像专家组（MPEG）编解码。
[0005]视频编解码通常利用预测方法（例如，帧间预测、帧内预测等），该预测方法利用视频图像或序列中固有的冗余。视频编解码技术的一个目标是将视频数据压缩成使用较低比特率的形式，同时避免或最小化视频质量的退化。
[0006]HEVC标准的第一个版本于2013年10月最终确定，与上一代视频编解码标准H.264/MPEG AVC相比，该HEVC标准的第一个版本节省了约50%的比特率或同等的感知质量。尽管HEVC标准与其前身（predecessor）相比提供了显著的编码改进，但是存在如下证据：即，利用附加的编解码工具相比于HEVC可以实现更优越的编解码效率。基于此，VCEG和MPEG两者开始了对未来视频编解码标准化的新编解码技术的探索工作。ITU
‑
T VECG和ISO/IEC MPEG于2015年10月成立了一个联合视频探索团队（JVET），以开始对可以使得能够大幅增强编解码效率的高级技术进行重要研究。JVET通过在HEVC测试模型（HM）之上集成若干个附加编解码工具来维护被称为联合探索模型（JEM）的一个参考软件。
[0007]2017年10月，ITU
‑
T和ISO/IEC发布了关于具有超越HEVC的能力的视频压缩的联合征求建议书（CfP）。2018年4月，在第10次JVET会议上接收到并评估了23份CfP回复，这些回复展示了相比于HEVC大约40%的压缩效率增益。基于这种评估结果，JVET启动了新项目来开发新一代视频编解码标准，其被命名为通用视频编解码（VVC）。在同一月，名为VVC测试模型（VTM）的一个参考软件被建立，以用于展示VVC标准的参考实现。
[0008]视频编解码中利用的预测方法通常包括：执行空间（帧内）预测和/或时间（帧间）预测以减少或移除视频数据中固有的冗余，并且通常与基于块的视频编解码相关联。如HEVC那样，VVC构建在基于块的混合视频编解码框架之上。
[0009]在基于块的视频编解码中，输入视频信号被逐块地处理。针对每个块（也称为编码单元（CU）），可以执行空间预测和/或时间预测。在较新的视频编解码标准（诸如，当前的VVC
设计）中，可以基于多类型树结构来进一步对块进行分区，该多类型树结构不仅包括四叉树，而且还包括二叉树和/或三叉树。这允许更好地适应变化的局部特性。
[0010]空间预测（也称为“帧内预测”）使用来自相同视频图片/切片中的已编码的邻近块的样本（被称为参考样本）的像素来预测当前块。空间预测减少了视频信号中固有的空间冗余。
[0011]在解码过程期间，视频比特流首先在熵解码单元处被熵解码。编码模式和预测信息被发送到空间预测单元（当帧内编码时）或时间预测单元（当帧间编码时），以形成预测块。残差变换系数被发送到逆向量化单元和逆向变换单元，以重构残差块。然后，预测块和残差块被相加在一起。所重构的块在被存储在参考图片存储库中之前可以进一步经过环路内滤波。参考图片存储库中的所重构的视频然后被发送出去，以驱动显示设备，以及用于预测未来视频块。
[0012]在较新的视频编解码标准（诸如，当前的VVC设计）中，具有色度缩放的亮度映射（LMCS）的编码工具可以在环路内滤波之前应用。LMCS旨在调整输入信号的动态范围，以改进编码效率。
[0013]然而，LMCS的当前设计引起了对计算复杂性和片上存储器的额外要求，这是因为它在不同的解码模块处使用不同的域映射。此外，LMCS的当前设计使用不同的亮度预测样本值来导出亮度和色度缩放因子，这引入了额外的复杂性。此外，LMCS的当前设计增加了色度残差样本重构的时延，这是因为它需要将色度残差样本重构推迟直到成功完成亮度预测样本之后，这进而需要成功完成对复杂帧间模式编码工具的顺序应用，该复杂帧间模式编码工具诸如解码器侧运动矢量导出（DMVR）、双向光流（BDOF）以及联合帧间帧内预测（CIIP）。

技术实现思路

[0014]本部分提供了本公开的一般概述，而不是对其全部范围或所有特征的全面公开。
[0015]根据本公开的第一方面，在具有一个或多个处理器以及存储要由一个或多个处理器执行的多个程序的存储器的计算设备处执行一种视频编解码方法。所述方法包括：获得亮度预测样本以用于解码亮度残差样本。所述方法进一步包括：使用亮度预测样本来导出缩放因子。所述方法进一步包括：使用所述缩放因子来缩放亮度残差样本。所述方法进一步包括：通过将亮度预测样本和经缩放的亮度残差样本相加来计算所重构的亮度样本。
[0016]根据本公开的第二方面，在具有一个或多个处理器以及存储要由一个或多个处理器执行的多个程序的存储器的计算设备处执行一种视频编解码方法。所述方法包括：获得亮度预测样本值，所述预测样本值用于解码输入位置处的亮度残差样本和色度残差样本两者。所述方法进一步包括：获得与亮度残差样本相关联的亮度预测样本。所述方法进一步包括：获得与色度残差样本相关联的色度预测样本。所述方法进一步包括：使用亮度预测样本来导出亮度残差样本的第一缩放因子和色度残差样本的第二缩放因子。所述方法进一步包括：使用第一缩放因子来缩放亮度残差样本。所述方法进一步包括：使用第二缩放因子来缩放色度残差样本。所述方法进一步包括：通过将亮度预测样本和经缩放的亮度残差样本相加来计算所重构的亮度样本。所述方法进一步包括：通过将色度预测样本和经缩放的色度残差样本相加来计算所重构的色度样本。
[0017]根据本公开的第三方面，在具有一个或多个处理器以及存储要由一个或多个处理器执行的多个程序的存储器的计算设备处执行一种视频编解码方法。所述方法包括：通过在编码单元（CU）的亮度预测过程期间跳过多个预定义的中间亮度预测阶段来获得多个亮度预测样本。所述方法进一步包括：使用所获得的多个亮度预测样本来导出CU中的色度残差样本的缩放因子。所述方法进一步包括：使用所述缩放因子来缩放CU中的色度残差样本。所述方法进一步包括：通过在CU中将色度预测样本和经缩放的色度残差样本相加来计算所重构的色度样本。
[0018]根据本申请的第四方面，从解码器侧运动矢量导出D本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于视频编解码的方法，包括：从解码器侧运动矢量导出DMVR的双线性滤波器的输出中选择一个或多个亮度预测样本值；将所选择的一个或多个亮度预测样本值调整成具有与输入视频的原始编码位深度相同的位深度的另一个或多个亮度预测样本值；使用具有与输入视频的原始编码位深度相同的位深度的亮度预测样本值来导出用于解码一个或多个色度残差样本的缩放因子；使用所述缩放因子来缩放一个或多个色度残差样本；以及通过将经缩放的一个或多个色度残差样本与其对应的色度预测样本相加来重构一个或多个色度残差样本。2.根据权利要求1所述的方法，其中从DMVR的双线性滤波器的输出中选择一个或多个亮度预测样本值包括：从所述DMVR的双线性滤波器的输出中选择L0和L1亮度预测样本。3.根据权利要求2所述的方法，其中将所选择的一个或多个亮度预测样本值调整成具有与输入视频的原始编码位深度相同的位深度的另一个或多个亮度预测样本值包括：通过向左移位将来自所述DMVR的双线性滤波器的输出的L0和L1亮度预测样本的内部位深度增加到14位；通过对经移位的14位L0和L1亮度预测样本值求平均来获得14位平均亮度预测样本值；以及通过经由向右移位将所述14位平均亮度预测样本值的内部位深度改变成所述输入视频的原始编码位深度来转换所述14位平均亮度预测样本值。4.根据权利要求1所述的方法，其中从DMVR的双线性滤波器的输出中选择一个或多个亮度预测样本值以及将所选择的一个或多个亮度预测样本值调整成具有与输入视频的原始编码位深度相同的位深度的另一个或多个亮度预测样本值包括：从来自所述DMVR的双线性滤波器的输出的L0和L1亮度预测样本中选择一个亮度预测样本；通过移位将所选择的一个亮度预测值的内部位深度改变成所述输入视频的原始编码位深度来调整所选择的一个亮度预测样本；以及使用经调整的亮度预测样本作为具有与所述输入视频的原始编码位深度相同的位深度的亮度预测样本。5.一种用于视频编解码的方法，包括：从参考图片选择一个或多个亮度参考样本值；将所选择的一个或多个亮度参考样本值变换成亮度样本值；使用所述亮度样本值来导出缩放因子；使用所述缩放因子来缩放一个或多个色度残差样本；以及通过将经缩放的一个或多个色度残差样本与其对应的色度预测样本相加来重构一个或多个色度残差样本。6.根据权利要求5所述的方法，其中从参考图片选择一个或多个亮度参考样本值以及将所选择的一个或多个亮度参考样本值变换成亮度样本值包括：从L0和L1参考图片获得L0和L1亮度参考样本值两者；以及
对所述L0和L1亮度参考样本值求平均作为所述亮度样本值。7.根据权利要求5所述的方法，其中从参考图片选择一个或多个亮度参考样本以及将所选择的一个或多个亮度参考样本变换成亮度样本值包括：从来自L0和L1参考图片的L0和L1亮度参考样本值中选择一个亮度参考样本值；以及使用所选择的一个亮度参考样本值作为所述亮度样本值。8.一种计算设备，包括：一个或多个处理器；耦合到所述一个或多个处理器的非暂时性存储器；以及存储在所述非暂时性存储器中的多个程序，所述多个程序当由所述一个或多个处理器执行时使得所述计算设备执行包括以下步骤的动作：从解码器侧运动矢量导出DMVR的双线性滤波器的输出中选择一个或多个亮度预测样本值；将所选择的一个或多个亮度预测样本值调整成具有与输入视频的原始编码位深度相同的位深度的另一个或多个亮度预测样本值；使用具有与所述输入视频的原始编码位深度相同的位深度的亮度预测样本值来导出用于解码一个或多个色度残差样本的缩放因子；使用所述缩放因子来缩放一个或多个色度残差样本；以及通过将经缩放的一个或多个色度残差样本与其对应的色度预测样本相加来重构一个或多个色度残差样本。9.根据权利要求8所述的计算设备，其中从DMVR的双线性滤波器的输出中选择一个或多个亮度预测样本值包括：从所述DMVR的双线性滤波器的输出中选择L0和L1亮度预测样本。10.根据权利要求9所述的计算设备，其中将所选择的一个或多个亮度预测样本值调整成具有与所述输入视频的原始编码位深度相同的位深度的另一个或多个亮度预测样本值包括：通过向左移位将来自所述DMVR的双线性滤波器的输出的L0和L1亮度预测样本的内部位深度增加到14位；通过对经移位的14位L0和L1亮度预测样本值求平均来获得14位平均亮度预测样本值；以及通过经由向右移位将所述14位平均亮度预测样本值的内部位深度改变成所述输入视频的原始编码位深度来转换所述14位平均亮度预测样本值。11.根据权利要求8所述的计算设备，其中从DMVR的双线性滤波器的输出中选择一个或多个亮度预测样本值以及将所选择的一个或多个亮度预测样本值调整成具有与所述输入视频的原始编码位深度相同的位深度的另一个或多个亮度预测样本值包括：从来自所述DMVR的双线性滤波器的输出的L0和L1亮度预测样本中选择一个亮度预测样本；通过移位将所选择的...

【专利技术属性】
技术研发人员：修晓宇，陈漪纹，王祥林，马宗全，叶水明，朱弘正，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：