视频编码和解码中的仿射模式制造技术

描述了其中使用仿射运动补偿模式来生成比特流的视频编码和解码，涉及视频编码和解码中的仿射模式。一个示例包括：对于当前视频单元的重构，生成仿射运动矢量预测候选的列表，其中该列表中的每个候选在不使用限幅操作的情况下被计算，其中限幅操作将候选运动矢量的幅度限制到一范围；以及使用仿射运动矢量预测候选的列表来执行当前视频单元的重构。

Affine mode in video coding and decoding

【技术实现步骤摘要】
视频编码和解码中的仿射模式相关申请的交叉引用根据适用的专利法和/或依据巴黎公约的规则，本申请是为了及时要求于2018年9月8日提交的国际专利申请No.PCT/CN2018/104723的优先权和权益。为了根据美国法律的所有目的，国际专利申请No.PCT/CN2018/104723的全部公开通过引用而并入作为本申请的公开的一部分。
该专利文档涉及视频编码技术、解码技术、设备和系统。
技术介绍
运动补偿(MotionCompensation，MC)是视频处理中的一种技术，通过考虑相机和/或视频中的对象的运动，在给定先前和/或未来帧的情况下预测视频中的帧。运动补偿可以用于针对视频压缩的对视频数据的编码。
技术实现思路
本文档公开了与在视频编码和解码中使用仿射运动补偿相关的方法、系统和设备。在一个代表性方面，公开了一种视频处理方法。该方法包括：对于当前视频单元的重构，生成仿射运动矢量预测候选的列表，其中该列表中的每个候选在不使用限幅操作的情况下被计算，其中限幅操作将候选运动矢量的幅度限制到一范围；以及使用仿射运动矢量预测候选的列表来执行当前视频单元的重构。在又一方面，公开了另一种视频处理方法。该方法包括：在从视频单元的编码表示生成视频单元期间，使用与用于在编码表示中对仿射视频编码模式中的运动矢量差进行编码的精度相同的精度来构造仿射运动矢量预测值的列表，以及使用仿射运动矢量预测候选的列表来执行视频单元的生成。在又一方面，公开了另一种视频处理方法。该方法包括：对于视频块的编码表示和被仿射编码的视频块之间的转换，确定对该转换启用了对具有不同精度的多个运动矢量差(MotionVectorDifference，MVD)的使用；以及基于该确定来执行该转换。在又一方面，公开了一种视频处理方法。该方法包括：将基于运动的子块编码工具应用于当前视频单元，其中该工具至少基于以第一块尺寸推导用于运动补偿的第一运动信息和以不同于第一块尺寸的第二块尺寸推导第二运动信息；以及存储用于未来视频单元的运动预测的第二运动信息。在又一方面，公开了一种视频处理方法。该方法包括：使用视频单元的编码表示来重构视频单元，其中编码表示包括使用以下公式对视频单元的运动矢量差信息进行取整：其中dMVic[1]、dMVic[3]表示在第i次迭代中推导的、4-参数仿射模型中使用的右上方控制点的水平和垂直运动矢量差，其中>>是位移操作，w是视频单元的宽度，k(w)是非负整数，并且o(w)是偏移。在又一方面，公开了一种视频处理方法。该方法包括：使用与仿射视频编码模式相关联的视频单元的编码表示，该仿射视频编码模式包括使用以不同精度编码的多个运动矢量差(MVD)，使得第一MVD具有第一精度并且第二MVD具有与第一MVD不同的第二精度；以及使用编码表示来构造视频单元。在又一代表性方面，本文描述的各种技术可以体现为存储在非暂时性计算机可读介质上的计算机程序产品。该计算机程序产品包括用于执行本文描述的方法的程序代码。在又一代表性方面，视频编码器装置可以实施如本文所描述的方法。在又一代表性方面，视频解码器装置可以实施如本文所描述的方法。在随附的附件、附图、和以下描述中阐述了一个或多个实施方式的细节。根据描述和附图以及根据权利要求，其它特征将是显而易见的。附图说明图1示出了用于Merge候选列表构造的推导过程的示例。图2示出了空域Merge候选的位置的示例。图3示出了为空域Merge候选的冗余校验而考虑的候选对的示例。图4A和图4B示出了N×2N分割和2N×N分割的第二PU的示例位置。图5是用于时域Merge候选的运动矢量缩放的图示。图6示出了时域Merge候选的候选位置C0和C1的示例。图7A和图7B示出了组合的双向预测Merge候选的示例。图8示出了用于运动矢量预测候选的推导过程的示例。图9是用于空域运动矢量候选的运动矢量缩放的图示。图10示出了用于CU(CodingUnit，编码单元)的ATMVP(AlternativeTemporalMotionVectorPrediction，可选时域运动矢量预测)运动预测的示例。图11示出了具有四个子块(A-D)的一个CU及其相邻块(a-d)的示例。图12是其中OBMC(OverlappedBlockMotionCompensation，重叠块运动补偿)可应用的子块的示例图示。图13示出了用于推导IC参数的相邻样本的示例。图14示出了简化的仿射运动模型的示例。图15示出了每个子块的仿射MVF(MotionVectorField，运动矢量场)的示例。图16A和图16B分别示出了4-参数仿射模型和6-参数仿射模型的示例。图17示出了用于AF_INTER模式的MVP的示例。图18A和图18B示出了AF_MERGE模式的示例候选。图19示出了双边匹配的示例。图20示出了模板匹配的示例。图21描绘了在帧速率上转换(FrameRateUpConversion，FRUC)中使用单边运动估计(MotionEstimation，ME)的示例。图22示出了光流轨迹的示例。图23A和图23B示出了没有块扩展的BIO的示例。图24示出了基于双边模板匹配的DMVR(Decoder-SideMotionVectorRefinement，解码器侧运动矢量细化)的示例。图25A-图25E示出了推导PU/CU的内子块和边界子块的MVstore。图26是示出可用来实施本公开技术的各个部分的计算机系统或其他控制设备的架构的示例的框图。图27示出了可用来实施本公开技术的各个部分的移动设备的示例实施例的框图。图28是视频处理的示例方法的流程图。图29是视频编码的示例方法的流程图。图30是可以实施所公开技术的示例视频处理系统的框图。图31是视频处理的示例方法的流程图。图32是视频处理的示例方法的流程图。图33是视频处理的示例方法的流程图。图34是视频处理的示例方法的流程图。图35是视频处理的示例方法的流程图。图36是视频处理的示例方法的流程图。具体实施方式本文档提供了几种可以体现到数字视频编码器和解码器中的技术。为了清楚理解，在本文档中使用章节标题，并且不将每个章节中公开的技术和实施例的范围仅限于该章节。1.概述所公开的技术涉及视频编码技术。具体地，所公开的技术涉及后重构滤波器(post-reconstructionfilter)，例如，图像/视频编码中的双边滤波器。它可以应用于像HEVC的现有视频编码标准、或要最终确定的标准(多功能视频编码)。它也可以应用于未来视频编码标准或视频编解码器。2.介绍视频编码标准已经主要地通过众所周知的ITU本文档来自技高网...

【技术保护点】
1.一种视频处理的方法，包括：/n将基于运动的子块编码工具应用于当前视频单元，其中所述工具至少基于以第一块尺寸推导用于运动补偿的第一运动信息和以不同于第一块尺寸的第二块尺寸推导第二运动信息；以及/n存储用于未来视频单元的运动预测的第二运动信息。/n

【技术特征摘要】
20180908 CN PCT/CN2018/1047231.一种视频处理的方法，包括：
将基于运动的子块编码工具应用于当前视频单元，其中所述工具至少基于以第一块尺寸推导用于运动补偿的第一运动信息和以不同于第一块尺寸的第二块尺寸推导第二运动信息；以及
存储用于未来视频单元的运动预测的第二运动信息。


2.如权利要求1所述的方法，其中，基于运动的子块编码工具是仿射模式运动补偿。


3.如权利要求1所述的方法，其中，基于运动的子块编码工具是可选时域运动矢量预测模式(ATMVP)。


4.如权利要求1至3中任一项所述的方法，其中，第一运动信息以M1xN1块尺寸而推导，并且第二运动信息以M2xN2块尺寸而推导，其中M1、M2、N1和N2是正整数，并且其中M1不等于M2且N1不等于N2。


5.如权利要求1至3中任一项所述的方法，其中，M1和N1被设置为等于8，并且M2和N2被设置为等于4。


6.如权利要求1至3中任一项所述的方法，其中，处理当前视频单元包括处理当前视频单元的子块，其中当前视频单元包括第一类型的子块和/或第二类型的子块，第一类型的子块位于当前视频单元的、与当前视频单元没有共同边界的最内区域，并且第二类型的子块与当前视频单元共享共同的边界。


7.如权利要求6所述的方法，其中，第一运动信息以M1xN1块尺寸而推导，并且第二运动信息基于所述处理是关于第一类型的子块还是第二类型的子块分别以M2xN2块尺寸或M3xN3块尺寸而推导，其中M1、M2、M3、N1、N2和N3是正整数。


8.如权利要求7所述的方法，其中，当前视频单元是当前视频块，第一类型的子块是当前视频块的内子块，并且第二类型的子块是当前视频块的边界子块。


9.如权利要求8所述的方法，其中，M1和N1被设置为等于8，M2和N2被设置为等于8，并且M3和N3被设置为等于4。


10.如权利要求6-9中任一项所述的方法，其中，对于第二运动信息的推导，矩形块形状MxN被用于第二类型的子块。


11.如权利要求10所述的方法，其中，对于右侧边界，M>N的块尺寸被使用，并且对于底部边界，M<N的块尺寸被使用。


12.如权利要求11所述的方法，其中，底部边界包括右下方边界或左下方边界，并且其中，对于右下方边界，M>N的块尺寸被使用，并且对于左下方边界，M<N的块尺寸被使用。


13.如权利要求11所述的方法，其中，底部边界包括右下方边界，并且其中，对于右下方边界，使用的块尺寸小于在右侧边界处使用的块尺寸。


14.如权利要求11所述的方法，其中，底部边界包括右下方边界，并且其中，对于右下方边界，使用的块尺寸小于在底部边界处使用的块尺寸。


15.如权利要求1至14中任一项所述的方法，其中，未来视频单元的第一运动信息是从当前视频单元的第二运动信息推导的。


16.如权利要求1至14中任一项所述的方法，其中，第二运动信息是从第一运动信息推导的。


17.一种视频处理方法，包括：
使用视频单元的编码表示来重构视频单元，其中编码表示包括使用以下公式对视频单元的运动矢量差信息进行取整：



其中dMVic[1]、dMVic[3]表示在第i次迭代中推导的、4-参数仿射模型中使用的右上方控制点的水平和垂直运动矢量差，其中>>是位移操作，w是视频单元的宽度，k(w)是非负整数，并且o(w)是偏移。

<...

【专利技术属性】
技术研发人员：刘鸿彬，张莉，张凯，王悦，
申请(专利权)人：北京字节跳动网络技术有限公司，字节跳动有限公司，
类型：发明
国别省市：北京;11