采用几何分割进行帧间预测的高级语法制造技术

描述了一种视频处理的方法。该方法包括：对于视频的当前视频块和视频的比特流表示之间的转换，基于规则确定几何分割模式的适用性；以及基于该确定执行转换，并且其中该规则取决于当前视频块的块宽度、块高度和/或长宽比。比。比。

【技术实现步骤摘要】
【国外来华专利技术】采用几何分割进行帧间预测的高级语法
相关申请的交叉引用根据适用的专利法和/或依据巴黎公约的规则，本申请要求2019年12月24日提交的国际专利申请PCT/CN2019/128091的优先权和利益。出于法律指定的所有目的，上述申请的全部公开内容通过引用并入作为本申请公开内容的一部分。


本专利文件涉及视频编解码和解码技术、设备和系统。

技术介绍

目前，正在努力改进当前视频编解码器技术的性能，以提供更好的压缩比或提供允许较低复杂度或并行实现的视频编解码和解码方案。行业专家最近提出了几种新的视频编解码工具，目前正在进行测试以确定它们的有效性。

技术实现思路

描述了与数字视频编解码相关的设备、系统和方法，具体而言，涉及运动向量的管理。所描述的方法可以应用于现有的视频编解码标准(例如，高效视频编解码(HEVC)或通用视频编解码)和未来的视频编解码标准或视频编解码器。在一个代表性方面，所公开的技术可以用于提供一种视频处理的方法。该方法包括对于视频的当前视频块和视频的比特流表示之间的转换，基于规则确定几何分割模式的适用性；以及基于该确定执行转换，并且其中该规则取决于当前视频块的块宽度、块高度和/或长宽比。在另一个代表性方面，所公开的技术可以用于提供另一种视频处理的方法。该方法包括执行视频的视频单元与视频的比特流表示之间的转换，其中比特流表示符合格式规则，其中格式规则规定是否包括一个或多个语法元素，所述语法元素指示允许在比特流表示中表示视频单元的几何分割模式的数量。在又一个代表性方面，所公开的技术可以用于提供另一种视频处理的方法。该方法包括根据规则在包括视频的一个或多个视频块的视频单元和视频的比特流表示之间执行转换，其中使用一个或多个几何分割模式编解码一个或多个视频块，并且其中规则规定一个或多个几何分割模式来自对于处理一个或多个视频块所允许的几何分割模式的两个集合。在另一个代表性方面，所公开的技术可以用于提供另一种视频处理的方法。该方法包括根据规则在包括视频的一个或多个视频块的视频单元与视频的比特流表示之间执行转换，其中一个或多个视频块根据解码的信息被分类为多个块类别，并且其中该规则规定为处理一个或多个视频块允许几何分割模式的多个集合。在另一个代表性方面，所公开的技术可以用于提供另一种视频处理的方法。该方法包括根据规则执行视频的当前视频块和视频的比特流表示之间的转换，其中该规则规定
当前视频块的几何分割模式索引和为确定当前视频块的分区的角索引和/或距离索引之间的映射取决于当前视频块的解码的信息。在另一个代表性方面，所公开的技术可以用于提供另一种视频处理的方法。该方法包括根据规则执行视频的视频单元的当前视频块与视频的比特流表示之间的转换，其中该规则规定指示当前视频块所允许的几何分割模式、几何分割角和/或几何分割距离的数量的第一数量不同于指示可用于视频单元的几何分割模式、几何分割角和/或几何分割距离的数量的第二数量。在另一个代表性方面，所公开的技术可以用于提供另一种视频处理的方法。该方法包括执行视频的当前视频块和视频的比特流表示之间的转换，其中当前视频块的几何分割模式索引被编解码在比特流表示中，使得根据规则执行几何分割模式索引的二进制化，其中该规则规定在当前视频块的维度满足特定条件的情况下，几何分割模式索引的二进制化期间的最大值等于X，其中X是正整数。在另一个代表性方面，所公开的技术可以用于提供另一种视频处理的方法。该方法包括：对于视频的当前视频块和视频的比特流表示之间的转换，基于包括对应于几何分割索引的几何分割距离的值的表来确定几何分割距离；以及基于该确定执行转换。在另一个代表性方面，所公开的技术可以用于提供另一种视频处理的方法。该方法包括根据规则执行视频的当前视频块和视频的比特流表示之间的转换，其中该规则规定为了使用几何分割模式编解码的当前视频块，该转换允许使用编解码工具，并且其中比特流表示包括编解码工具和几何分割模式的指示和信息。在另一个代表性方面，所公开的技术可以用于提供另一种视频处理的方法。该方法包括根据规则执行视频的当前视频块和视频的比特流表示之间的转换，其中该规则规定是否或如何对当前视频块应用滤波过程取决于在编解码当前视频块时几何分割模式的使用。此外，在代表性方面，公开了一种视频系统中的装置，包括处理器和其上具有指令的非暂时性存储器。由处理器执行的指令使得处理器实现任何一个或多个公开的方法。此外，公开了一种存储在非暂时性计算机可读介质上的计算机程序产品，该计算机程序产品包括用于执行任何一个或多个所公开的方法的程序代码。在附图、说明书和权利要求中更详细地描述了所公开技术的上述和其他方面和特征。
附图说明
图1示出了空域Merge候选的示例位置。图2示出了被考虑用于空域Merge候选的冗余检查的候选对的示例。图3示出了用于时域Merge候选的运动向量缩放的示例。图4示出了用于时域Merge候选的示例候选位置。图5示出了基于三角形分割的帧间预测模式的示例。图6示出了用于三角形分割模式的单向预测运动向量选择的示例。图7A和图7B分别示出了在用于亮度块和色度块的混合过程中使用的权重的示例。图8示出了与三角形预测模式相关的现有和提议的形状的示例。
图9示出了几何Merge模式(GEO)划分边界描述的示例。图10A示出了GEO中支持的边缘的示例说明。图10B示出了给定像素位置和两个边缘之间的几何关系的示例。图11示出了用于GEO的提议的角示例及其对应的宽高比。图12示出了作为ChromaLocType变量的函数的左顶部色度样点的示例位置。图13A是用于实现本文档中描述的视觉媒体解码或视觉媒体编码技术的硬件平台的示例的框图。图13B是视频处理系统的示例的框图。图14示出了用于视频处理的示例方法的流程图。图15是示出了根据本公开的一些实施例的视频编解码系统的框图。图16是示出了根据本公开的一些实施例的编码器的框图。图17是示出了根据本公开的一些实施例的解码器的框图。图18A至图18C是基于所公开技术的一些实现的用于视频处理的示例方法的流程图。图19至图21示出了angleIdx和distanceIdx值的规范。图22示出了从相关工作草案中删除的旧表8
‑
10，图23示出了在相关工作草案中相应改变的新建议的表8
‑
10。图24示出了基于geo_partition_idx值的geo_partition_idx值的映射表。图25示出了从相关工作草案中删除的旧表36，以及图26至图30示出了新建议的表36的示例，其中表36示出了基于geo_partition_idx值的angleIdx和distanceIdx值的规范。
具体实施方式
HEVC/H.265的视频编解码视频编解码标准主要通过众所周知的ITU
‑
T和ISO/IEC标准的发展而演进。ITU
‑
T制定了H.261和H.263，ISO/IEC制定了MPEG
‑
1和MPEG
‑
4 Visual，这两个组织联合制定了H.262/MPEG
‑...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频处理的方法，包括：对于视频的当前视频块和视频的比特流表示之间的转换，基于规则确定几何分割模式的适用性；以及基于所述确定执行所述转换，其中，所述规则取决于所述当前视频块的块宽度、块高度和/或长宽比。2.根据权利要求1所述的方法，其中所述几何分割模式包括以下中的至少一者：三角形预测模式(TPM)、几何Merge模式(GEO)和/或楔形预测模式。3.根据权利要求1或2所述的方法，其中所述几何分割模式包括将视频块划分成两个或更多个子区域，其中至少一个子区域不包括QT、BT和/或分区。4.根据权利要求1
‑
3中任一项或多项所述的方法，其中规则规定在W≥T1且H≥T2且W≤T3且H≤T4且W/H≤T5且H/W≤T6的情况下，对于具有宽度(W)和高度(H)的当前视频块允许所述几何分割模式。5.根据权利要求1
‑
3中任一项或多项所述的方法，其中规则规定在W≥T1且H≥T2且W≤T3且H≤T4的情况下，对于具有宽度(W)和高度(H)的当前视频块允许所述几何分割模式。6.根据权利要求1
‑
3中任一项或多项所述的方法，其中规则规定在W<T1或H<T2或W>T3或H>T4或W/H>T5或H/W>T6的情况下，对于具有宽度(W)和高度(H)的当前视频块不允许所述几何分割模式。7.根据权利要求4
‑
6中任一项所述的方法，其中T1＝T2＝8，T3＝T4＝32或64，T5＝2或4，或T6＝4。8.一种视频处理的方法，包括：执行视频的视频单元和所述视频的比特流表示之间的转换，其中所述比特流表示符合格式规则，其中所述格式规则规定是否包含一个或多个语法元素，所述语法元素指示允许在比特流表示中表示视频单元的几何分割模式的数量。9.根据权利要求8所述的方法，其中，所述视频单元对应于序列、图片组、图片、子图片、条带、片、虚拟流水线数据单元(VPDU)、编解码树单元(CTU)、CTU行、编解码单元、预测单元或变换单元。10.根据权利要求8或9所述的方法，其中，所述一个或多个语法元素在序列参数集(SPS)、视频参数集(VPS)、自适应参数集(APS)、图片参数集(PPS)、图片标头、条带标头、图片、子图片、条带或片中信令通知。11.根据权利要求8到10中任一权利要求所述的方法，其中，所述格式规则规定基于是否对所述视频单元启用几何分割模式、当前图片类型是否是非帧内图片或者B图片，和/或当前条带类型是否是B条带来有条件地信令通知所述一个或多个语法元素。12.根据权利要求8到10中任一权利要求所述的方法，其中，所述一个或多个语法元素中的语法元素指示所述视频单元的几何分割模式的数量是否等于X，其中X为正整数。13.根据权利要求8到10中任一权利要求所述的方法，其中，所述一个或多个语法元素中的语法元素指示对于所述视频单元中的所有块，是否允许X个几何分割模式，其中X为正整数。14.根据权利要求8到10中任一权利要求所述的方法，其中，所述一个或多个语法元素
中的语法元素指示对于所述视频单元中的特定块是否允许X个几何分割模式，其中X为正整数，并且所述特定块满足与所述特定块的长宽比相关的条件。15.根据权利要求8到10中任一权利要求所述的方法，其中，所述一个或多个语法元素的多个语法元素指示对所述视频单元中的每一类别的块所允许的几何分割模式，并且其中，基于所述块的维度将所述块分类到类别。16.根据权利要求15所述的方法，其中，所述多个语法元素包括指示对于一些块是否允许X个几何分割模式的第一语法元素，以及指示对于其他块是否允许Y个几何分割模式的第二语法元素。17.根据权利要求16所述的方法，其中，一些块满足H/W≤T的条件，并且其他块满足H/W>T的另一条件，其中W和H分别指示块的宽度和高度，并且T是正整数。18.根据权利要求12
‑
14或16中任一项所述的方法，其中，X或Y为16、30或32。19.根据权利要求8
‑
10中任一项所述的方法，其中，如何信令通知块的几何分割模式索引取决于一个或多个语法元素和/或块维度。20.根据权利要求19所述的方法，其中，所述块的几何分割模式索引的二进制化和/或熵编解码取决于一个或多个语法元素和/或块维度。21.根据权利要求20所述的方法，其中，在由一个或多个语法元素导出的块的几何分割模式的数量等于X的情况下，几何分割模式索引的输入参数的值等于X。22.根据权利要求20所述的方法，其中，在由一个或多个语法元素导出的块的几何分割模式的数量等于X并且块维度满足特定条件的情况下，几何分割模式索引的输入参数的值等于X。23.根据权利要求8
‑
10中任一项所述的方法，其中，几何分割模式索引的最大值取决于一个或多个语法元素和/或块维度。24.根据权利要求23所述的方法，其中，添加比特流约束，以约束所述最大值小于所述几何分割模式的数量。25.根据权利要求23所述的方法，其中，添加比特流约束，以约束最大值小于具有满足特定条件的块维度的块所允许的几何分割模式的数量。26.根据权利要求8到10中任一权利要求所述的方法，其中，在视频处理单元级中信令通知一个或多个约束标志，以规定是否约束视频单元的X个几何分割模式的使用，其中X为正整数。27.根据权利要求26所述的方法，其中，信令通知约束标志来约束X个几何分割模式是否用于序列中的所有块。28.根据权利要求26所述的方法，其中，如何约束X个几何分割模式取决于块维度。29.根据权利要求8到10中任一权利要求所述的方法，其中，对于视频单元中的块允许哪种几何分割模式取决于一个或多个语法元素。30.根据权利要求29所述的方法，其中，对于块是否允许几何分割模式的子集或全集，对于块是否允许几何分割角度的子集或全集，和/或对于块是否允许几何分割位移的子集或全集取决于一个或多个语法元素。31.一种视频处理的方法，包括：根据规则在视频的包括一个或多个视频块的视频单元和所述视频的比特流表示之间
执行转换，其中，使用一个或多个几何分割模式对所述一个或多个视频块进行编解码，并且其中，所述规则规定所述一个或多个几何分割模式来自对于处理所述一个或多个视频块允许的几何分割模式的两个集合。32.根据权利要求31所述的方法，其中，所述几何分割模式的两个集合包括第一集合和第二集合，并且所述第一集合中的至少一个几何分割模式不包括在所述第二集合中。33.根据权利要求31所述的方法，其中，所述几何分割模式的两个集合包括相同数量的几何分割模式。34.根据权利要求31所述的方法，其中，所述几何分割模式的两个集合分别包括不同数量的几何分割模式。35.根据权利要求1所述的方法，其中，视频块使用来自哪个集合的几何分割模式、角度和/或距离取决于所述视频块的维度。36.根据权利要求31所述的方法，其中，如何信令通知视频块的几何分割模式索引取决于所述视频块的维度。37.一种视频处理的方法，包括：根据规则在视频的包括一个或多个视频块的视频单元和所述视频的比特流表示之间执行转换，其中，一个或多个视频块根据解码的信息被分类为多个块类别，并且其中，所述规则规定对于处理一个或多个视频块允许几何分割模式的多个集合。38.根据权利要求37所述的方法，其中，所述规则进一步规定对于视频块使用哪个集合取决于块类别和/或与几何分割模式相关的一个或多个语法元素。39.根据权利要求37所述的方法，其中，所述规则进一步规定对于视频块允许的几何分割模式的数量取决于块类别和/或与几何分割模式相关的一个或多个语法元素。40.根据权利要求37所述的方法，其中，对于视频块允许的几何分割模式的数量小于或等于表示所述视频块的几何分割模式对应集合的Set
i
的长度(L
i
)。41.根据权利要求37所述的方法，其中，对于视频块允许的所有或部分几何分割模式来自表示所述视频块的几何分割...

【专利技术属性】
技术研发人员：邓智玭，张莉，刘鸿彬，张凯，许继征，王洋，王悦，
申请(专利权)人：字节跳动有限公司，
类型：发明
国别省市：