组合帧间帧内预测模式的预测细化制造技术

一种用于处理视频的方法，包括执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，当前块的转换包括确定双向光流(BIO)技术或解码器侧运动矢量细化(DMVR)技术中的一种或两种对当前块所进行的使用被启用还是禁用，并且其中，确定使用BIO技术或DMVR技术是基于与当前块相关联的成本准则的。

【技术实现步骤摘要】
【国外来华专利技术】组合帧间帧内预测模式的预测细化相关申请的交叉引用根据适用的专利法和/或依据巴黎公约的规则，本申请是为了及时要求于2018年11月20日提交的国际专利申请No.PCT/CN2018/116371、2019年4月2日提交的国际专利申请No.PCT/CN2019/081155以及2019年5月7日提交的国际专利申请No.PCT/CN2019/085796的优先权和利益。出于根据美国法律的所有目的，前述申请的全部公开通过引用而并入，作为本申请的公开的一部分。
本文档涉及视频和图像编解码(coding)和解码技术。
技术介绍
数字视频占互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备的数量增加，预计对数字视频使用的带宽需求将继续增长。
技术实现思路
在一个示例方面，公开了一种处理视频的方法。该方法包括执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，当前块的转换包括确定双向光流(directionalopticalflow，BIO)技术或解码器侧运动矢量细化(decoder-sidemotionvectorrefinement，DMVR)技术中的一种或两种对当前块所进行的使用被启用还是禁用，并且其中，确定使用BIO技术或DMVR技术是基于与当前块相关联的成本准则(costcriterion)的。在另一示例方面，公开了一种处理视频的方法。该方法包括执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，当前块的转换包括确定解码器侧运动矢量细化(DMVR)技术对当前块所进行的使用被启用还是禁用，并且其中，DMVR技术包括基于除了绝对差平均移除和(meanremovedsumofabsolutedifference，MRSAD)成本准则之外的成本准则来细化当前块的运动信息。在另一示例方面，公开了一种处理视频的方法。该方法包括执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，当前块的转换包括确定双向光流(BIO)技术或解码器侧运动矢量细化(DMVR)技术中的一种或两种对当前块所进行的使用被启用还是禁用，并且其中，确定使用BIO技术或DMVR技术是基于计算与当前块相关联的一对参考块的平均值差超过阈值的。在另一示例方面，公开了一种处理视频的方法。该方法包括：修改第一参考块以生成第一修改参考块，并且修改第二参考块以生成第二修改参考块，其中，第一参考块和第二参考块两者都与可视媒体数据的当前块相关联；确定第一修改参考块和第二修改参考块之间的差，该差包括以下中的一个或多个：绝对变换差和(sumofabsolutetransformeddifference，SATD)、绝对变换差平均移除和(meanremovedsumofabsolutetransformeddifference，MRSATD)、平方误差和(sumofsquareserror，SSE)、平方误差平均移除和(meanremovedsumofsquareserror，MRSSE)、平均值差或梯度值；以及执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，该转换包括使用通过分别修改第一参考块和第二参考块而生成的第一修改参考块和第二修改参考块之间的差。在另一示例方面，公开了一种处理视频的方法。该方法包括：使用与可视媒体数据的当前块相关联的参考图片来确定时域梯度或修改的时域梯度，该时域梯度或修改的时域梯度指示参考图片之间的差；以及执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，该转换包括部分地基于时域梯度或修改的时域梯度来使用双向光流(BIO)技术。在另一示例方面，公开了一种处理视频的方法。该方法包括：使用与第一视频块或其子块相关联的参考图片来确定第一时域梯度；使用与第二视频块或其子块相关联的参考图片来确定第二时域梯度；执行对第一时域梯度的修改和对第二时域梯度的修改，以生成修改的第一时域梯度和修改的第二时域梯度，其中，对与第一视频块相关联的第一时域梯度的修改不同于对与第二视频块相关联的第二时域梯度的修改；以及执行第一视频块和第二视频块到它们的对应编解码表示的转换。在另一示例方面，公开了一种处理视频的方法。该方法包括：修改与当前块相关联的第一帧间参考块和第二帧间参考块中的一个或两个；根据应用双向光流(BIO)技术，基于使用修改的第一帧间参考块和/或修改的第二帧间参考块中的一个或两个来确定与当前块相关联的空域梯度；以及执行当前块和对应编解码表示之间的转换，其中，该转换包括使用与当前块相关联的空域梯度。在另一示例方面，公开了一种处理视频的方法。该方法包括：由处理器执行对在块级别信令通知的标志至少部分地指示要对当前块启用解码器侧运动矢量细化(DMVR)技术或双向光流(BIO)技术中的一种或两种的确定；以及执行当前块和对应编解码表示之间的转换，其中，编解码表示包括指示DMVR技术和/或BIO技术中的一种或两种是否被启用的标志。在另一示例方面，公开了一种处理视频的方法。该方法包括：由处理器执行对要对当前块启用解码器侧运动矢量细化(DMVR)技术的确定，其中，该确定排他地基于当前块的高度；以及执行当前块和对应编解码表示之间的转换。在另一示例方面，公开了一种处理视频的方法。该方法包括执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，该转换包括在当前块上使用与解码器侧运动矢量细化(DMVR)技术或双向光流(BIO)技术中的一种或两种相关联的规则，其中，与DMVR技术相关联的规则与BIO技术的应用一致；并且其中，确定BIO技术或DMVR技术中的一种或两种在当前块上的使用被启用还是禁用是基于应用该规则的。在另一示例方面，上述方法可以由包括处理器的视频解码器装置实施。在另一示例方面，上述方法可以由包括处理器的视频编码器装置实施。在又一示例方面，这些方法可以以处理器可执行指令的形式而体现，并被存储在计算机可读程序介质上。这些以及其他方面在本文档中被进一步描述。附图说明图1示出了双边匹配的示例。图2示出了模板匹配的示例。图3示出了帧速率上转换(Frame-RateUpConversion，FRUC)中的单边运动估计(MotionEstimation，ME)的示例。图4示出了光流轨迹的示例。图5A和图5B示出了没有块扩展的双向光流(BIO)的示例。图6示出了具有6点搜索的双边匹配的示例。图7示出了自适应整数搜索模式和半样点搜索模式的示例。图8是视频处理装置的示例的框图。图9示出了视频编码器的示例实施方式的框图。图10是视频处理方法的示例的流程图。图11是视频处理方法的示例的流程图。图12是视频处理方法的示例的流程图。图13是视频处理方法的示例的流程图。图14是视频处理方法的示例的流程图。图15是视频处理方法的示例的流程图。...

【技术保护点】
1.一种可视媒体处理的方法，包括：/n修改与当前块相关联的第一帧间参考块和第二帧间参考块中的一个或两个；/n根据应用双向光流(BIO)技术，基于使用修改的第一帧间参考块和/或修改的第二帧间参考块中的一个或两个来确定与当前块相关联的空域梯度；以及/n执行当前块和对应编解码表示之间的转换，其中，所述转换包括使用与所述当前块相关联的空域梯度。/n

【技术特征摘要】
【国外来华专利技术】20181120 CN PCT/CN2018/116371;20190402 CN PCT/CN201.一种可视媒体处理的方法，包括：
修改与当前块相关联的第一帧间参考块和第二帧间参考块中的一个或两个；
根据应用双向光流(BIO)技术，基于使用修改的第一帧间参考块和/或修改的第二帧间参考块中的一个或两个来确定与当前块相关联的空域梯度；以及
执行当前块和对应编解码表示之间的转换，其中，所述转换包括使用与所述当前块相关联的空域梯度。


2.根据权利要求1所述的方法，其中，确定所述空域梯度包括：
基于与所述当前块相关联的帧内预测块和帧间预测块的加权平均来生成两个预测块；以...

【专利技术属性】
技术研发人员：刘鸿彬，张莉，张凯，许继征，王悦，
申请(专利权)人：北京字节跳动网络技术有限公司，字节跳动有限公司，
类型：发明
国别省市：北京;11