利用光流的预测细化过程的适用性制造技术

公开了一种视频处理方法，包括：确定当前视频块的编解码模式是仿射模式；根据指定用于应用预测细化光流(PROF)过程的条件的规则，为当前视频块确定PROF过程以仿射模式的适用性模式；以及基于该确定来执行当前视频块和视频的编解码表示之间的转换；其中，在PROF过程期间，当前视频块的一个或多个初始预测在子块级别被计算，并使用光流计算进行细化。并使用光流计算进行细化。并使用光流计算进行细化。

【技术实现步骤摘要】
【国外来华专利技术】利用光流的预测细化过程的适用性
[0001]相关申请的交叉引用
[0002]根据适用的专利法和/或依据巴黎公约的规则，本申请旨在及时要求于2019年4月19日提交的第PCT/CN2019/083434号国际专利申请和2019年6月5日提交的第PCT/CN2019/090201号国际专利申请的优先权和利益。前述申请的全部公开通过引用而并入作为本申请的公开的一部分。


[0003]本专利文档涉及视频处理技术、设备和系统。

技术介绍

[0004]尽管视频压缩技术有所进步，但数字视频仍然在互联网和其它数字通信网络上占据最大的带宽使用。随着能够接收和显示视频的联网用户设备数量的增加，预计对数字视频使用的带宽需求将继续增长。

技术实现思路

[0005]与数字视频处理相关，并且具体地，与用于视频处理的利用光流的预测细化(Prediction Refinement with Optical Flow，PROF)相关的设备、系统和方法。所描述的方法可以被应用于现有的视频编解码标准(例如，高效视频编解码(High Efficiency Video Coding，HEVC))和未来的视频编解码标准或视频编解码器。
[0006]在一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：确定当前视频块的编解码模式是仿射模式；根据指定用于应用预测细化光流(PROF)过程的条件的规则，为当前视频块确定PROF过程以仿射模式的适用性模式；以及基于该确定来执行当前视频块和视频的编解码表示之间的转换，其中，在PROF过程期间，当前视频块的一个或多个初始预测在子块级别被计算，并使用光流计算进行细化。
[0007]在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：由于对视频的视频块启用预测细化光流(PROF)过程，确定不允许编解码模式用于将视频块编解码为视频的编解码表示；以及基于该确定来执行当前视频块和视频的编解码表示之间的转换，其中，在PROF过程期间，当前视频块的一个或多个初始预测在子块级别被计算，并使用光流计算进行细化。
[0008]在又一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：确定视频的当前视频块的编解码模式；以及基于该确定来执行当前视频块和视频的编解码表示之间的转换，其中，由于使用编解码模式，预测细化光流(PROF)过程针对当前视频块被禁用，其中在该PROF过程中当前视频块的一个或多个初始预测在子块级别被计算，并使用光流计算进行细化。
[0009]在又一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：基于视频的编解码特性，为视频的当前视频块和视频的编解码表示之间的转换
确定预测细化光流(PROF)过程的适用性模式；以及基于该确定来执行该转换，其中，在PROF过程期间，当前视频块的一个或多个初始预测在子块级别被计算，并使用光流计算进行细化。
[0010]在又一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：基于视频的当前视频块的色彩分量，确定由于使用编解码模式，与预测细化光流(PROF)过程相关的过程细节针对当前视频块被禁用，其中在该PROF过程中当前视频块的一个或多个初始预测在子块级别被计算，并使用光流计算进行细化；以及使用参数执行当前视频块和视频的编解码表示之间的转换。
[0011]在又一个代表性方面，上述方法以处理器可执行代码的形式被体现并且被存储在计算机可读程序介质中。
[0012]在又一个代表性方面，公开了一种被配置为或可操作来执行上述方法的设备。该设备可以包括被编程来实施该方法的处理器。
[0013]在又一个代表性方面，视频解码器装置可以实施如本文所描述的方法。
[0014]在附图、说明书和权利要求书中更详细地描述了所公开的技术的以上以及其它方面和特征。
附图说明
[0015]图1示出了构建Merge候选列表的示例。
[0016]图2示出了空域候选的位置的示例。
[0017]图3示出了对其进行空域Merge候选的冗余检查的候选对的示例。
[0018]图4A和图4B示出了基于当前块的尺寸和形状的第二预测单元(Prediction Unit，PU)的位置的示例。
[0019]图5示出了用于时域Merge候选的运动矢量缩放的示例。
[0020]图6示出了时域Merge候选的候选位置的示例。
[0021]图7示出了生成组合的双向预测Merge候选的示例。
[0022]图8示出了构建运动矢量预测候选的示例。
[0023]图9示出了用于空域运动矢量候选的运动矢量缩放的示例。
[0024]图10示出了使用用于编解码单元(Coding Unit，CU)的可选时域运动矢量预测(Alternative Temporal Motion Vector Prediction，ATMVP)算法的运动预测的示例。
[0025]图11示出了由空时运动矢量预测(Spatial
‑
Temporal Motion Vector Prediction，STMVP)算法使用的具有子块的编解码单元(CU)和邻近块的示例。
[0026]图12A和12B示出了当使用重叠块运动补偿(OBMC)算法时子块的示例快照(snapshot)。
[0027]图13示出了用于推导用于局部照明补偿(LIC)算法的参数的邻近样点的示例。
[0028]图14示出了简化的仿射运动模型的示例。
[0029]图15示出了每个子块的仿射运动矢量场(MVF)的示例。
[0030]图16示出了用于AF_INTER仿射运动模式的运动矢量预测(MVP)的示例。
[0031]图17A和图17B示出了AF_MERGE仿射运动模式的示例候选。
[0032]图18示出了模式匹配的运动矢量推导(PMMVD)模式中的双边匹配的示例，该模式
是基于帧速率上转换(FRUC)算法的特殊Merge模式。
[0033]图19示出了FRUC算法中的模板匹配的示例。
[0034]图20示出了FRUC算法中的单边运动估计的示例。
[0035]图21示出了由双向光流(BIO)算法使用的光流轨迹的示例。
[0036]图22A和图22B示出了在没有块扩展的情况下使用双向光流(BIO)算法的示例快照。
[0037]图23示出了在BIO中使用的插值样点的示例。
[0038]图24示出了基于双边模板匹配的解码器侧运动矢量细化(DMVR)算法的示例。
[0039]图25示出了子块MV VSB和像素Δv(i,j)的示例。
[0040]图26示出了相位变化水平滤波的示例。
[0041]图27示出了应用8抽头水平滤波的一个实例的示例。
[0042]图28示出了非均匀相位垂直滤波的示例。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种视频处理方法，包括：确定当前视频块的编解码模式是仿射模式；根据指定用于应用预测细化光流(PROF)过程的条件的规则，为所述当前视频块确定所述PROF过程以仿射模式的适用性模式；以及基于所述确定来执行所述当前视频块和视频的编解码表示之间的转换；其中，在所述PROF过程期间，所述当前视频块的一个或多个初始预测在子块级别被计算，并使用光流计算进行细化。2.根据权利要求1所述的方法，其中，所述PROF过程的适用性模式是基于所述当前视频块的宽度(W)和/或高度(H)而确定的。3.根据权利要求2所述的方法，其中，所述PROF过程的适用性模式根据指定用于不应用PROF过程的以下条件中的至少一个的规则而确定为不适用：i)W<＝T1和/或H<＝T2，ii)W<T1和/或H<T2，iii)W>＝T1和/或H>＝T2，iv)W>T1和/或H>T2，v)W*H>，vi)W*H>＝T1，vii)W*H<T1，viii)W*H<＝T1，ix)min(W,H)>＝T1，x)min(W,H)>T1，xi)max(W,H)<＝T1，或者xii)max(W,H)<T1，其中T1和T2是正整数。4.根据权利要求1所述的方法，其中，所述规则基于控制点运动矢量来指定所述PROF过程的适用性模式，其中所述控制点运动矢量对应于控制点处的并针对所述当前视频块推导的运动矢量。5.根据权利要求1所述的方法，其中，所述规则基于在对所述当前视频块的仿射运动补偿预测中使用的仿射参数和/或仿射参数的数量来指定所述PROF过程的适用性模式。6.根据权利要求5所述的方法，其中，所述规则根据阈值与以下中的一个的比较来指定所述适用性模式：i)最大仿射参数，ii)最小仿射参数，iii)所有仿射参数，或iv)至少一个仿射参数。7.根据权利要求5所述的方法，其中，所述仿射参数以特定精度被表示为整数。8.根据权利要求5所述的方法，其中，所述规则根据阈值与以下中的一个的比较来指定所述适用性模式：i)仿射参数的绝对值的最小值，ii)仿射参数的绝对值的最大值，iii)所有仿射参数，或iv)至少一个仿射参数。9.根据权利要求1所述的方法，其中，增量运动矢量用于计算所述当前视频块的运动矢量，并且其中，所述规则根据阈值与以下中的一个的比较来指定所述适用性模式：i)增量运动矢量的绝对值的最大值，ii)增量运动矢量的绝对值的最小值，iii)所有增量运动矢量，iv)增量运动矢量中的至少一个。10.根据权利要求1所述的方法，其中，所述规则基于对应的增量运动矢量的绝对值和阈值之间的比较来指定所述PROF过程被应用于样点的位置。11.根据权利要求6和8
‑
10中任一项所述的方法，其中，所述阈值取决于为所述当前视频块生成的比特深度。12.根据权利要求1所述的方法，其中，所述规则基于以下中的至少一个来指定条件：参考图片结构、包括所述当前视频块的条带或图片的类型、或时域层。13.根据权利要求1至12中任一项所述的方法，其中，执行所述转换包括从所述当前视频块生成所述编解码表示。14.根据权利要求1至12中任一项所述的方法，其中，执行所述转换包括从所述编解码
表示生成所述当前视频块。15.一种视频处理方法，包括：由于对视频的视频块启用预测细化光流(PROF)过程，确定不允许编解码模式用于将所述视频块编解码为所述视频的编解码表示；以及基于所述确定来执行当前视频块和所述视频的编解码表示之间的转换，其中，在所述PROF过程期间，所述当前视频块的一个或多个初始预测在子块级别被计算，并使用光流计算进行细化。16.根据权利要求15所述的方法，其中，用以指示编解码模式的语法元素不被信令通知。17.根据权利要求15所述的方法，其中，所述编解码模式是广义双向预测(GBi)模式，其中在所述模式中不同的权重被应用于所述当前视频块的参考图片。18.根据权利要求17所述的方法，其中，在所述GBi模式的索引不等于0的情况下，所述PROF过程被应用。19.根据权利要求17所述的方法，其中，在应用所述PROF过程的情况下，所述GBi模式的索引为0，或者不被信令通知并被推断为0。20.根据权利要求17所述的方法，其中，在应用所述PROF过程的情况下，不管所述GBi模式的索引如何，所述GBi模式都不被应用。21.根据权利要求15所述的方法，其中，所述编解码模式是使用所述转换期间当前块中的照明变化的线性模型的局部照明补偿。22.根据权利要求15所述的方法，其中，所述编解码模式是包括用于选择的多重变换类型的多重变换集(MTS)。23.根据权利要求22所述的方法，其中，在应用所述PROF的情况下，仅来自MTS的默认变换被应用于所述当前视频块。24.根据权利要求15所述的方法，其中，所述编解码模式是加权预测，其中在所述加权预测中，使用不同预测模式的预测的组合在所述转换期间被应用。25.根据权利要求15至24中任一项所述的方法，其中，执行所述转换包括从所述当前视频块生成所述编解码表示。26.根据权利要求15至24中任一项所述的方法，其中，执行所述转换包括从所述编解码表示生成所述当前视频块。27.一种视频处理方法，包括：确定视频的当前视频块的编解码模式；以及基于所述确定来执行所述当前视频块和所述视频的编解码表示之间的转换，其中，由于使用所述编解码模式，预测细化光流(PROF)过程针对所述当前视频块被禁用，其中在所述PROF过程中所述当前视频块的一个或多...

【专利技术属性】
技术研发人员：张凯，张莉，刘鸿彬，王悦，
申请(专利权)人：字节跳动有限公司，
类型：发明
国别省市：