对于DMVR的块尺寸限制制造技术

描述了对于DMVR的块尺寸限制。提供了一种视频处理方法，包括：基于视频块的宽度和高度中的至少一个，执行所述视频块与所述视频块的比特流之间的转换；响应于宽高比(W/H)小于第一阈值，避免在所述转换期间应用解码器侧运动矢量细化步骤；以及响应于宽高比(W/H)大于第二阈值，避免在所述转换期间应用所述解码器侧运动矢量细化步骤，其中，W和H分别是所述视频块的宽度和高度，并且其中，所述解码器侧运动矢量细化步骤包括细化在所述比特流中信令通知的运动矢量的值以及在所述转换期间使用所述细化的值。述细化的值。述细化的值。

【技术实现步骤摘要】
对于DMVR的块尺寸限制
[0001]相关申请的交叉引用
[0002]本申请是申请日为2019年7月2日、申请号为201910590860.8的中国专利技术专利申请的分案申请，其要求于2018年7月2日提交的美国临时专利申请第62/693,412号的优先权和权益。该国际专利申请第62/693,412号的全部公开内容通过引用并入作为本申请的公开内容的一部分。


[0003]本文件涉及视频编码技术。

技术介绍

[0004]虽然视频压缩有所进步，但数字视频仍占据因特网和其他数字通信网络上的最大的带宽使用。随着能够接收和显示视频的所连接的用户设备的数量增加，预计数字视频使用的带宽需求将继续增长。

技术实现思路

[0005]公开了涉及视频编码中的解码器侧运动矢量推导(DMVD)的技术。其可以应用于现有的视频编码标准(例如HEVC)或者将被最终确定的标准(多功能视频编码(VVC)。其还可以应用于未来的视频编码标准或视频编解码器。
[0006]在一个示例方面，公开了一种视频处理的方法。该方法包括基于视频块的条件，确定视频块尺寸宽度(W)和高度(H)；在启用和禁用解码器侧运动矢量细化步骤之间做出决定，该解码器侧运动矢量细化步骤用于视频块和视频块的编码表示之间的转换；在决定为启用的情况下，通过启用解码器侧运动矢量细化步骤而进行转换；并且在决定为禁用的情况下，通过禁用解码器侧运动矢量细化步骤而进行转换，其中解码器侧运动矢量细化步骤包括细化在编码表示中发出信令的运动矢量的值，以及在转换期间使用细化的值。
[0007]在另一示例方面，公开了一种视频解码设备，包括被配置为实现上述方法的处理器。
[0008]在又一个示例中，公开了一种视频编码设备，包括被配置为实现上述方法的处理器。
[0009]在又一个示例中，公开了一种计算机可读介质。该介质储存有代码，当由处理器执行该代码时，使得处理器实现上述方法。
[0010]在又一个示例方面，提供了一种视频处理方法，包括：基于视频块的宽度和高度中的至少一个，执行所述视频块与所述视频块的比特流之间的转换；响应于宽高比(W/H)小于第一阈值，避免在所述转换期间应用解码器侧运动矢量细化步骤；以及响应于所述宽高比(W/H)大于第二阈值，避免在所述转换期间应用所述解码器侧运动矢量细化步骤，其中，W和H分别是所述视频块的宽度和高度，并且其中，所述解码器侧运动矢量细化步骤包括细化在所述比特流中信令通知的运动矢量的值以及在所述转换期间使用所述细化的值。
视频和H.264/MPEG
‑
4高级视频编码(AVC)和H.265/HEVC标准。从H.262开始，视频编码标准是基于混合视频编码结构，其中使用了时间预测加变换编码。为了探索超越HEVC的未来视频编码技术，由VCEG和MPEG于2015年联合成立了联合视频探索小组(JVET)。自此，JVET采用了许多新方法，并将其放入名为联合探索模型(JEM)的参考软件中。在2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间创立了联合视频专家小组(JVET)，以从事于VVC标准，目标为相比于HEVC缩减50％比特率。
[0022]HEVC/H.265中的帧间预测
[0023]每个帧间预测的预测单元(PU)具有用于一个或两个参考图片列表的运动参数。运动参数包括运动矢量和参考图片索引。对两个参考图片列表中的一个的使用，也可以使用inter_pred_idc来发送。运动矢量可以被明确地编码为相对于预测器的增量。
[0024]当编码单元(CU)用跳过(skip)模式编码时，一个PU与CU相关联，并且没有显著的残差系数，没有编码的运动矢量增量或参考图片索引。合并(merge)模式被规定为，其从相邻的(一个或多个)PU获得当前的PU的运动参数，包括空间和时间候选。merge模式可以应用于任何帧间预测的PU，不仅仅用于skip模式。merge模式的替代是运动参数的显式传输，其中运动矢量(更确切地，与运动矢量预测器比较的运动矢量差)、对于每个参考图片列表和参考图片列表使用的相应参考图片索引对每个PU被显式地用信号通知。这种模式在本文中被称为高级运动矢量预测(AMVP)。
[0025]当信号通知指示将使用两个参考图片列表中的一个时，从样本的一个块中生成PU。这被称为
‘
单向预测
’
。单向预测可用于P
‑
条带和B
‑
条带两者。
[0026]当信号通知指示两个参考图片列表都将被使用时，从样本的两个块中生成PU。这被称为
‘
双向预测
’
。双向预测仅可用于B
‑
条带。
[0027]在双边匹配merge模式中，总是应用双向预测，因为CU的运动信息是基于两个块沿着当前CU在两个不同的参考图片中的运动轨迹的最接近的匹配而得到的。对于模板匹配merge模式没有这种限制。在模板匹配merge模式中，编码器对于CU可以在来自列表0的单向预测、来自列表1的单向预测或双向预测之中选择。该选择基于如下模板匹配成本：
[0028][0029][0030]其中成本0是列表0模板匹配的SAD，成本1是列表1模板匹配的SAD，并且成本Bi是双向预测模板匹配的SAD。因子的值等于1.25，这意味着选择过程偏向于双向预测。
[0031]帧间预测方向选择仅应用于CU级模板匹配过程。
[0032]解码器侧运动矢量细化
[0033]在双向预测操作中，对于一个块区域的预测，将分别使用列表0的运动矢量(MV)和列表1的MV形成的两个预测块，组合以形成单个预测信号。在解码器侧运动矢量细化(DMVR)
方法中，双向预测的两个运动矢量通过双边模板匹配处理被进一步细化。双边模板匹配应用于解码器中，以在双边模板和参考图片中的重建样本之间进行基于失真的搜索，以便获得细化的MV，而无需传输额外的运动信息。
[0034]如图1所示，在DMVR中，双边模板被生成为分别来自列表0的初始MV0和列表1的MV1的两个预测块的加权组合(即平均)。模板匹配操作包括计算生成的模板和参考图片中样本区域(初始预测块的周围)之间的成本度量。对于两个参考图片中的每一个，产生最小模板成本的MV被认为是该列表的更新后的MV，以替换原始的MV。在JEM中，对于每个列表，搜索九个MV候选。九个MV候选包括原始的MV和八个周围的MV，该周围的MV相对于原始MV在水平方向上或垂直方向上或两者上具有一个亮度样本的偏移。最后，两个新的MV(即，如图1所示的MV0'和MV1')用于生成最终的双向预测结果。绝对差之和(SAD)用作成本度量。需注意的是，当计算由一个周围MV生成的预测块的成本时，取整的MV(取整到整数像素)实际上用于获得预测块而不是真实的MV。
[0035]DMVR应用于双向预测的merge模式，其中一个MV来自于过去的参考图片，并且另一个MV来自于未来的参考图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，包括：基于视频块的宽度和高度中的至少一个，执行所述视频块与所述视频块的比特流之间的转换；响应于宽高比(W/H)小于第一阈值，避免在所述转换期间应用解码器侧运动矢量细化步骤；以及响应于所述宽高比(W/H)大于第二阈值，避免在所述转换期间应用所述解码器侧运动矢量细化步骤，其中，W和H分别是所述视频块的宽度和高度，并且其中，所述解码器侧运动矢量细化步骤包括细化在所述比特流中信令通知的运动矢量的值以及在所述转换期间使用所述细化的值。2.根据权利要求1所述的方法，其中，所述转换包括将所述比特流解码为所述视频块的像素值。3.根据权利要求1所述的方法，其中，所述转换包括将所述视频块的像素值编码为所述比特流。4.根据权利要求1所述的方法，其中，当W<＝T1或H<＝T2时，确定禁用所述解码器侧运动矢量细化步骤，其中T1是第三阈值且等于4并且T2是第四阈值且等于4。5.根据权利要求1所述的方法，其中，当W<＝T1且H<＝T2时，确定禁用所述解码器侧运动矢量细化步骤。6.根据权利要求1所述的方法，其中，所述解码器侧运动矢量细化步骤在子块级中应用。7.根据权利要求1所述的方法，其中，当W*H<＝T0时，确定禁用所述解码器侧运动矢量细化步骤，其中T0是第五阈值，并且T0是大于或等于1的整数值。8.根据权利要求1所述的方法，其中，当W＝4且H＝4时，确定禁用所述解码器侧运动矢量细化步骤。9.根据权利要求1所述的方法，其中，当W＝4或H＝4时，确定禁用所述解码器侧运动矢量细化步骤。10.根据权利要求1所述的方法，其中，所述第一阈值和所述第二阈值具有固定值。11.根据权利要求1所述的方法，其中，所述第二阈值等于8；并且其中响应于仿射模式被应用于当前块，所述解码器侧运动矢量细化步骤被避免用于当前块。12.一种用于对视频数据进行编解码的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使所述处理器：基于视频块的宽度和高度中的至少一个，执行所述视频块与所述视频块的比特流之间的转换；响应于宽高比(W/H)小于第一阈值，避免在所述转换期间应用解码器侧运动矢量细化步骤；以及响应于所述宽高比(W/H)大于第二阈值，避免在所述转换期间应用所述解码器侧运动矢量细化步骤，其中，W和H分别是所述视频块的宽度和高度，并且其...

【专利技术属性】
技术研发人员：刘鸿彬，张莉，张凯，王悦，
申请(专利权)人：字节跳动有限公司，
类型：发明
国别省市：