视频处理中用运动矢量差的Merge制造技术

一种视频处理的方法，包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定信令通知最终运动矢量表达(UMVE)编解码工具中的多个运动矢量差；以及基于该确定执行该转换，其中，使用UMVE编解码工具，包括起始点、由当前视频块的N个运动幅度和N个运动方向表示的N个运动矢量差的运动矢量表达在该转换期间被使用，N是等于或大于二的整数。N是等于或大于二的整数。N是等于或大于二的整数。

【技术实现步骤摘要】
【国外来华专利技术】视频处理中用运动矢量差的Merge
[0001]相关申请的交叉引用
[0002]根据适用的专利法和/或依据巴黎公约的规则，本申请是为了及时要求于2018年11月17日提交的国际专利申请No.PCT/CN2018/116067、于2018年12月21日提交的国际专利申请No.PCT/CN2018/122626、于2018年12月29日提交的国际专利申请No.PCT/CN2018/125417和于2019年1月23日提交的国际专利申请No.PCT/CN2019/072814的优先权和利益。出于根据相关法律的所有目的，前述申请的全部公开内容通过引用并入作为本申请公开内容的一部分。


[0003]本文档涉及视频和图像编解码和解码。

技术介绍

[0004]数字视频占互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备数量的增加，预计对数字视频使用的带宽需求将继续增长。

技术实现思路

[0005]本文档公开了视频编解码工具，在一个示例方面，该视频编解码工具提高了与最终运动矢量表达或广义双向预测相关的当前编解码工具的编解码效率。
[0006]在一个示例方面，公开了一种视频处理的方法。该方法包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定最终运动矢量表达(Ultimate Motion Vector Expression，UMVE)模式的操作模式；以及基于该确定执行该转换，其中，当前视频块以Merge模式和UMVE模式中的运动矢量差而编解码，其中该UMVE模式包括运动矢量表达，其中该运动矢量表达包括运动信息的起始点、当前视频块的运动幅度和运动方向，并且其中，编解码表示中的一个或多个字段对应于操作模式，并且其中，一个或多个字段包括：UMVE启用字段，其值指示对当前视频块启用还是禁用UMVE模式；或者修改仿射模式启用字段，其指示对当前视频块启用还是禁用基于UMVE模式修改的仿射Merge模式。
[0007]在另一示例方面，公开了一种视频处理的方法。该方法包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定最终运动矢量表达(UMVE)模式的操作模式；以及基于该确定执行该转换，其中，当前视频块以Merge模式和UMVE模式中的运动矢量差而编解码，其中该UMVE模式包括运动矢量表达，其中该运动矢量表达包括运动信息的起始点、当前视频块的运动幅度和运动方向，并且其中，编解码表示中的一个或多个字段对应于操作模式，并且其中，一个或多个字段包括：列表尺寸字段，其指示由UMVE模式使用的基本候选列表的尺寸；或者表字段，其信令通知UMVE模式的距离表或方向表。
[0008]在另一示例方面，公开了一种视频处理的方法。该方法包括使用最终运动矢量表达(UMVE)编解码工具执行视频的当前视频块和视频的编解码表示之间的转换，其中，UMVE编解码工具表示运动矢量表达，其中该运动矢量表达包括运动信息的起始点、当前视频块
的运动幅度和运动方向，并且其中，距离表或方向表中的至少一个取决于两个参考图片的图片顺序计数(Picture Order Count，POC)或包括当前视频块的当前图片的POC，或者用于编解码当前视频块、当前条带或当前图片的量化参数(Quantization Parameter，QP)。
[0009]在另一示例方面，公开了一种视频处理的方法。该方法包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定仿射最终运动矢量表达(UMVE)模式的操作模式；以及基于该确定执行该转换，其中，当前视频块以仿射Merge模式和仿射UMVE模式中的运动矢量差而编解码，其中该仿射UMVE模式包括运动信息的起始点、当前视频块的运动幅度和运动方向，并且其中，编解码表示中的一个或多个字段对应于操作模式，并且其中，一个或多个字段包括：列表尺寸字段，其指示由UMVE模式使用的、具有预测偏移的仿射Merge模式的基本仿射Merge候选列表的尺寸；或者表字段，其信令通知具有预测偏移的仿射Merge模式的距离表或方向表。
[0010]在另一示例方面，公开了一种视频处理的方法。该方法包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定信令通知最终运动矢量表达(UMVE)编解码工具中的多个运动矢量差；以及基于该确定执行该转换，其中，使用UMVE编解码工具，包括起始点、由当前视频块的N个运动幅度和N个运动方向表示的N个运动矢量差的运动矢量表达在该转换期间被使用，N是等于或大于二的整数。
[0011]在另一示例方面，公开了一种视频处理的方法。该方法包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定由于当前视频块使用当前图片参考(Current Picture Referencing，CPR)编解码工具和最终运动矢量表达(UMVE)编解码工具，规则适用于该转换；以及根据该规则执行该转换，其中，该规则不允许将一个或多个编解码距离用于该转换，其中，CPR编解码工具使用当前图片作为参考图片，并且其中，UMVE编解码工具使用包括起始点、当前视频块的运动幅度和运动方向的运动矢量表达。
[0012]在另一示例方面，公开了一种视频处理的方法。该方法包括：在视频的当前视频块和视频的编解码表示之间的转换期间，在确定当前视频块使用表示包括起始点、当前视频块的运动幅度和运动方向的运动矢量表达的最终运动矢量表达(UMVE)编解码工具时，确定执行对当前视频块的运动矢量差(Motion Vector Difference，MVD)值的细化；以及基于该确定执行该转换。
[0013]在另一示例方面，公开了一种视频处理的方法。该方法包括：对于视频的当前视频块和视频的编解码表示之间的转换，在确定当前视频块使用表示包括起始点、当前视频块的运动幅度和运动方向的运动矢量表达的最终运动矢量表达(UMVE)编解码工具时，确定使用来自多个UMVE参数集的第一UMVE参数集；以及基于该确定执行该转换，其中，为当前视频块信令通知或预定义了多个UMVE参数集中的至少一个的指示。
[0014]在另一示例方面，公开了一种视频处理的方法。该方法包括在确定当前视频块使用表示包括起始点、当前视频块的运动幅度和运动方向的运动矢量表达的最终运动矢量表达(UMVE)编解码工具时，选择UMVE参数集以用于视频的当前视频块和视频的编解码表示之间的转换，其中，所选择的UMVE参数集跨不同视频块、不同参考图片列表、不同参考图片、不同片、不同条带、不同图片或不同时域层而改变。
[0015]在另一示例方面，公开了一种视频处理的方法。该方法包括使用表示包括起始点、当前视频块的运动幅度和运动方向的运动矢量表达的最终运动矢量表达(UMVE)编解码工
具来执行视频的当前视频块和视频的编解码表示之间的转换，其中，自适应运动矢量分辨率(Adaptive Motion Vector Resolution，AMVR)方案用于信令通知由UMVE编解码工具使用的距离表。
[0016]在另一示例方面，公开了一种视频处理的方法。该方法包本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频处理的方法，包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定信令通知最终运动矢量表达(UMVE)编解码工具中的多个运动矢量差；以及基于所述确定执行所述转换，其中，使用UMVE编解码工具，包括起始点、由当前视频块的N个运动幅度和N个运动方向表示的N个运动矢量差的运动矢量表达在所述转换期间被使用，N是等于或大于二的整数。2.根据权利要求1所述的方法，其中，N是二，并且两个运动矢量差对应于双向预测中的两个预测方向。3.根据权利要求2所述的方法，其中，信令通知了在UMVE编解码工具中使用的MVD的数量。4.根据权利要求2所述的方法，其中，推导了在UMVE编解码工具中使用的MVD的数量。5.根据权利要求1所述的方法，其中，针对每个预测方向编码了一个MVD，并且第一方向的第一MVD用于预测第二方向的第二MVD。6.根据权利要求5所述的方法，其中，相比其他MVD，更早地信令通知了第一预测方向的MVD。7.根据权利要求6所述的方法，其中，相比其他MVD，更早地信令通知了第二预测方向的MVD。8.根据权利要求1所述的方法，其中，信令通知了信令通知N个运动矢量差的顺序。9.根据权利要求1所述的方法，其中，针对每个预测方向信令通知了基本候选索引、距离索引或方向索引中的至少一个。10.一种视频处理的方法，包括：对于视频的当前视频块和视频的编解码表示之间的转换，确定由于当前视频块使用当前图片参考(CPR)编解码工具和最终运动矢量表达(UMVE)编解码工具，规则适用于所述转换；以及根据所述规则执行所述转换，其中，所述规则不允许将一个或多个编解码距离用于所述转换，其中，CPR编解码工具使用当前图片作为参考图片，并且其中，UMVE编解码工具使用包括起始点、当前视频块的运动幅度和运动方向的运动矢量表达。11.根据权利要求10所述的方法，其中，规则指定不允许具有包括1/2像素分辨率或1/4像素分辨率的分数像素精度的距离。12.根据权利要求10所述的方法，其中，规则指定不允许在CPR模式中的有效搜索范围之外的距离。13.根据权利要求10所述的方法，其中，某个距离被有效距离代替。14.根据权利要求10所述的方法，其中，针对CPR模式和非CPR模式定义了距离索引和像素距离之间的不同映射集合。15.根据权利要求14所述的方法，其中，预定义的增量运动矢量被添加到UMVE编解码工具的起始点。16.根据权利要求15所述的方法，其中，预定义的增量运动矢量取决于块尺寸、参考索
引或颜色分量中的至少一个。17.根据权利要求15所述的方法，其中，预定义的增量运动矢量是在条带头级别、片组头级别、片头级别、图片头级别、图片参数集级别、序列参数集级别、视频参数集级别或编解码单元级别信令通知的。18.根据权利要求10所述的方法，其中，当UMVE编解码工具与CPR编解码工具一起被使用时，单向预测总是被应用。19.根据权利要求18所述的方法，其中，仅使用或信令通知了一个MVD。20.根据权利要求10所述的方法，其中，基本Merge候选具有作为当前图片的至少一个参考图片，某个方向索引不被允许。21.根据权利要求10所述的方法，其中，在Merge候选或AMVP候选具有作为当前图片的至少一个参考图片的情况下，UMVE编解码工具被应用。22.一种视频处理的方法，包括：在视频的当前视频块和视频的编解码表示之间的转换期间，在确定当前视频块使用表示包括起始点、当前视频块的运动幅度和运动方向的运动矢量表达的最终运动矢量表达(UMVE)编解码工具时，确定执行对当前视频块的运动矢量差(MVD)值的细化；以及基于所述确定执行所述转换。23.根据权利要求22所述的方法，其中，所述细化是使用当前视频块的解码距离索引和/或解码方向索引而执行的。24.根据权利要求22所述的方法，其中，细化操作基于与当前视频块的Merge候选列表中的一个或多个Merge候选相关联的运动信息。25.根据权利要求18所述的方法，其中，所选择的基本候选加上解码的MVD与另一Merge候选相同，解码的MVD被进一步细化。26.根据权利要求18所述的方法，其中，在基于规则确定所选择的基本候选加上解码的MVD与另一Merge候选类似的情况下，解码的MVD被进一步细化。27.根据权利要求20所述的方法，其中，在[MV1x
‑
MV2x|+|MV1y
‑
MV2y|<T的情况下，规则确定两个运动矢量MV1和MV2类似，其中，MV1x和MV2x是MV1和MV2的水平分量，并且MV2x和MV2y是MV1和MV2的垂直分量。28.根据权利要求26所述的方法，其中，在两个候选共享相同的参考索引并且引用相同参考图片的两个运动矢量类似的情况下，规则确定两个候选类似。29.根据权利要求24所述的方法，其中，解码的距离索引和解码的方向索引从当前视频块改变到下一个视频块。30.根据权利要求22所述的方法，其中，在用UMVE编解码工具编解码的当前视频块中不允许双向光流(BIO)。31.根据权利要求22所述的方法，其中，在用UMVE编解码工具编解码的当前视频块中不允许解码器侧运动矢量细化(DMVR)。32.根据权利要求1
‑
31中任一项所述的方法，其中，UMVE编解码工具包括编解码基本候选索引和当前视频块的Merge候选列表中的候选索引之间的映射，并且所述映射跨不同视频块、不同片、或不同视频序列的不同图片而改变。33.根据权利要求32所述的方法，其中，等于0的第一个编解码基本候选索引总是对应
于Merge候选列表中的第一个Merge候选。34.根据权利要求33所述的方法，其中，等于K的第K个编解码基本候选索引不对应于Merge候选列表中的第(K+1)个Merge候选，K是大于0的整数。35.根据权利要求33所述的方法，其中，等于1的第二个编解码基本候选索引指示Merge候选列表中的Merge候选，并且所述Merge候选与第一个编解码基本候选索引指向的第一个Merge候选不类似。36.根据权利要求32所述的方法，其中，从Merge候选列表映射或选择基本Merge候选取决于Merge候选列表中的第一个Merge候选。37.根据权利要求32所述的方法，其中，不允许某些Merge候选作为当前视频块的基本Merge候选。38.根据权利要求37所述的方法，其中，某些Merge候选包括以下中的至少一个：i)虚拟Merge候选，包括组合双向预测Merge候选、成对...

【专利技术属性】
技术研发人员：刘鸿彬，张莉，张凯，许继征，王悦，
申请(专利权)人：字节跳动有限公司，
类型：发明
国别省市：