具有从邻域导出的运动信息的重叠块运动补偿制造技术

本公开涉及具有从邻域导出的运动信息的重叠块运动补偿。一种视频处理方法，包括：在视觉媒体数据的当前块和视觉媒体数据的对应编码表示之间的转换期间，确定当前块的至少一个临近块；确定至少一个临近块的运动信息；以及基于至少一个临近块的运动信息对当前块执行重叠块运动补偿(OBMC)，其中，OBMC包括：使用当前块的一个子块的中间预测值、以及至少一个临近子块的预测值来生成子块的最终预测值。

Overlapping block motion compensation with motion information derived from neighborhood

【技术实现步骤摘要】
具有从邻域导出的运动信息的重叠块运动补偿相关申请的交叉引用根据适用的专利法和/或《巴黎公约》的规定，本申请及时要求于2018年10月31日提交的国际专利申请号PCT/CN2018/112948的优先权和利益。根据法律，将前述申请的全部公开以引用方式并入本文，作为本申请公开的一部分。
本专利文件涉及视频编码和解码技术、设备和系统。
技术介绍
在互联网和其他数字通信网络中，数字视频占用的带宽最大。随着能够接收和显示视频的连接用户设备数量的增加，预计数字视频使用的带宽需求将继续增长。
技术实现思路
所公开的技术可由视频解码器或编码器实施例使用，其中使用具有从邻域导出的运动信息的重叠块运动补偿。所描述的方法可以应用于现有的视频编码标准(例如，高效视频编码(HEVC))和未来的视频编码标准或视频编解码器。在一个示例方面，处理视频的方法包括：在视觉媒体数据的当前块和视觉媒体数据的对应编码表示之间的转换期间，确定当前块的至少一个临近块；确定至少一个临近块的运动信息；以及基于至少一个临近块的运动信息对当前块执行重叠块运动补偿(OBMC)；其中，OBMC包括：使用当前块的一个子块的中间预测值、以及至少一个临近子块的预测值来生成子块的最终预测值。在另一示例方面，处理视频的方法包括：在视觉媒体数据的当前块和视觉媒体数据的对应编码表示之间的转换期间，确定当前块的至少一个临近块；确定至少一个临近块的运动信息；以及基于至少一个临近块的运动信息修改当前块的运动信息，以生成当前块的修改的运动信息；基于修改的运动信息执行当前块的处理。在另一示例方面，处理视频的方法包括：在视觉媒体数据的当前块和视觉媒体数据的对应编码表示之间的转换期间，确定当前块的多个临近块；确定多个临近块的运动信息；基于当前块的运动信息确定当前块的第一预测块；基于多个临近块的运动信息确定当前块的第二预测块；基于第二预测块修改第一预测块；并且基于第一预测块执行当前块的处理。在另一示例方面，处理视频的方法包括：在当前块和当前块的比特流表示之间的转换期间，确定当前块内的第一子块的运动矢量；使用重叠块运动补偿(OBMC)模式来执行转换；其中，OBMC模式使用基于第一子块的运动矢量的第一子块的中间预测值、以及临近第一子块的至少第二视频单元的预测值，来生成第一子块的最终预测值；其中，第一子块的子块尺寸基于当前块的块尺寸、块形状、运动信息或参考图片。在又一典型的方面，本文所描述的各种技术可以被实现为计算机可读的记录介质，在该记录介质上记录有包含代码的程序，该程序用于处理器执行用于执行本文所描述的方法的方法。在又一示例方面，视频编码中装置可以实现本文所述的方法。在又一典型的方面，视频解码器装置可以实现如本文所述的方法。在附图和下面的描述中描述一个或多个实现的细节。其他特征将从说明书和附图以及权利要求书中显而易见。附图说明图1示出了编码单元(CU)的可选时域运动矢量预测(ATMVP)的示例。图2示出了具有四个子块A-D及其临近块a-d的一个CU的示例。图3示出了应用重叠块运动补偿(OBMC)的子块的示例。图4示出了具有不同运动矢量(MV)精度的编码流程图的示例。图5示出了简化仿射运动模型的示例。图6示出了每个子块的仿射运动矢量场(MVF)的示例。图7示出了4参数仿射模型(a)和6参数仿射模型(b)的示例。图8示出了AF_INTER的MVP的示例。图9示出AF_Merge的候选的示例。图10示出了当前块的临近块的示例。图11是视频处理装置的示例的框图。图12示出视频编码器的示例实现的框图。图13是视频处理方法的示例的流程图。图14是视频处理方法的示例的流程图。图15是视频处理方法的示例的流程图。图16示出了用于实现一些公开的方法的示例硬件平台。图17示出了用于实现一些公开的方法的另一示例硬件平台。图18是可以实现所公开的技术的示例视频处理系统的框图。图19是视频处理方法的示例的流程图。图20是视频处理方法的示例的流程图。图21是视频处理方法的示例的流程图。图22是视频处理方法的示例的流程图。具体实施方式本文提供了可以由视频比特流的解码器使用以提高解压缩或解码的数字视频的质量的各种技术。此外，视频编码器也可以在编码处理期间中实现这些技术，以便重构用于进一步编码的解码帧。为了便于理解，在本文中使用章节标题，并且不将实施例和技术限制在相应的章节中。因此，可以将来自一个章节的实施例与来自其他章节的实施例组合。1.综述本专利技术涉及视频编码技术。具体来说，涉及视频编码中的重叠块运动补偿。其可以应用于如高效视频编码(HEVC)的现有的视频编码标准，或待定案的标准(多功能视频编码)。它也可适用于未来的视频编码标准或视频编解码器。2.背景视频编码标准主要通过开发众所周知的ITU-T和ISO/IEC标准而发展起来的。ITU-T制作了H.261和H.263，ISO/IEC制作了MPEG-1和MPEG-4视频，并且这两个组织共同制作了H.262/MPEG-2视频和H.264/MPEG-4高级视频编码(AVC)和H.265/HEVC标准。自H.262开始，视频编码标准基于混合视频编码结构，其中利用了时域预测加变换编码。为探索HEVC之外的未来视频编码技术，VCEG和MPEG于2015年共同成立了联合视频探索团队(JVET)。从那时起，JVET采用了许多新的方法，并将其应用到了名为联合探索模型(JEM)的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IECJTC1SC29/WG11(MPEG)之间的联合视频专家团队(JVET)成立，以致力于目标是与HEVC相比其降低50％比特率的多功能视频编码(VVC)标准。图12是视频编码器的示例实现的框图。图12示出了具有内置的反馈路径的编码器实现，其中视频编码器还执行视频解码功能(重构视频数据的压缩表示以用于下一视频数据的编码)。2.1基于子CU的运动矢量预测在具有四叉树二叉树(QTBT)分割的JEM中，每个CU对于每个预测方向最多可以具有一组运动参数。通过将大的CU分割成子CU并推导该大CU的所有子CU的运动信息，编码器中考虑了两种子CU级的运动矢量预测方法。可选时域运动矢量预测(ATMVP)方法允许每个CU从并置参考图片中多个小于当前CU的块中提取多组运动信息。在空时运动矢量预测(STMVP)方法中，通过利用时域运动矢量预测值和空域邻接运动矢量递归地推导子CU的运动矢量。为了为子CU运动预测的保持更精确的运动场，当前禁用参考帧的运动压缩。图1是CU的ATMVP运动预测的示例。2.1.1可选时域运动矢量预测在可选时域运动矢量预测(ATMVP)方法中，运动矢量时域运动矢量预测(TMVP)是通过从小于当前CU本文档来自技高网...

【技术保护点】
1.一种视频处理方法，包括：/n在视觉媒体数据的当前块和所述视觉媒体数据的对应编码表示之间的转换期间，确定所述当前块的至少一个临近块；/n确定所述至少一个临近块的运动信息；以及/n基于所述至少一个临近块的所述运动信息对所述当前块执行重叠块运动补偿(OBMC),/n其中，所述OBMC包括：使用所述当前块的一个子块的中间预测值、以及至少一个临近子块的预测值来生成所述子块的最终预测值。/n

【技术特征摘要】
20181031 CN PCT/CN2018/1129481.一种视频处理方法，包括：
在视觉媒体数据的当前块和所述视觉媒体数据的对应编码表示之间的转换期间，确定所述当前块的至少一个临近块；
确定所述至少一个临近块的运动信息；以及
基于所述至少一个临近块的所述运动信息对所述当前块执行重叠块运动补偿(OBMC),
其中，所述OBMC包括：使用所述当前块的一个子块的中间预测值、以及至少一个临近子块的预测值来生成所述子块的最终预测值。


2.根据权利要求1所述的方法，其中，基于所述至少一个临近块的所述运动信息对所述当前块执行OBMC包括：
基于所述至少一个临近块的所述运动信息对所述当前块的所有子块执行OBMC。


3.根据权利要求1或2所述的方法，其中，所述至少一个临近块包括位于所述当前块上方的第一临近块和位于所述当前块左侧的第二临近块。


4.根据权利要求1至3中任一项所述的方法，其中，所述至少一个临近块和所述当前块来自所述视觉媒体数据的不同图片。


5.根据权利要求1至4中任一项所述的方法，其中，仅在所述当前块未使用子块技术编码时才应用所述方法。


6.一种视频处理方法，包括：
在视觉媒体数据的当前块和所述视觉媒体数据的对应编码表示之间的转换期间，确定所述当前块的至少一个临近块；
确定所述至少一个临近块的运动信息；以及
基于所述至少一个临近块的所述运动信息修改所述当前块的运动信息，以生成所述当前块的修改的运动信息；
基于所述修改的运动信息执行所述当前块的处理。


7.根据权利要求6所述的方法，其中，基于所述至少一个临近块的所述运动信息修改所述当前块的运动信息，以生成所述当前块的所述修改的运动信息包括：
基于所述至少一个临近块的所述运动信息和所述当前块的所述运动信息修改所述当前块的运动信息，以生成所述当前块的所述修改的运动信息。


8.根据权利要求6或7所述的方法，其中，修改所述当前块的运动信息包括：
将所述至少一个临近块的所述运动信息缩放到所述当前块的相同参考图片；以及基于所述至少一个临近块的缩放运动信息和所述当前块的所述运动信息修改所述当前块的运动信息。


9.根据权利要求8所述的方法，其中，对所述至少一个临近块的所述缩放运动信息进行加权平均或平均，以为所述当前块的每个参考图片列表生成一个代表性缩放运动矢量。


10.根据权利要求9所述的方法，其中，将所述当前块的所述修改的运动信息生成为所述代表性缩放运动矢量和所述当前块的所述运动矢量的加权平均。


11.根据权利要求10所述的方法，其中，所述修改的运动矢量计算为：avgMv＝(w1*neigScaleMvLX+w2*currMvLX+offset)>>N，
其中w1、w2、offset和N为整数，其中avgMv是所述修改的运动矢量，neigScaleMvLX是所述代表性缩放运动矢量，并且currMvLX是所述当前块的所述运动矢量，X是所述参考图片列表，其中X＝0，1。


12.根据权利要求11所述的方法，其中，w1是1、w2是3、N是2、并且offset是2，或者其中w1是1、w2是7、N是3、并且offset是4。


13.根据权利要求6至12中任一项所述的方法，其中，基于所述至少一个临近块的所述运动信息执行所述当前块的处理包括：
在所述当前块的边界区域上执行处理，
其中所述当前块的所述边界区域包括所述当前块的多个顶部行和/或左侧列。


14.根据权利要求13所述的方法，其中，分别使用不同的临近块为所述当前块的顶部行和左侧列生成所述代表性运动矢量。


15.根据权利要求6至14中任一项所述的方法，其中，仅当所述当前块使用子块技术编码时才在子块级应用所述方法。


16.根据权利要求6至15中任一项所述的方法，其中，当边界区域的所述至少一个临近块是帧内编码时，不对所述当前块的所述边界区域执行所述方法。


17.根据权利要求6至16中任一项所述的方法，其中，当所述至少一个临近块是帧内编码时，所述方法还包括：
检查相邻块和/或非相邻块，直到找到一个帧间编码块，并且
响应于未找到帧间编码块而禁用所述运动矢量修改处理。


18.根据权利要求17所述的方法，其中，所述非相邻块包括所述当前块的顶部边界区域的上方和/或左上和/或右上临近块，并且所述非相邻块包括所述当...

【专利技术属性】
技术研发人员：刘鸿彬，张莉，张凯，王悦，
申请(专利权)人：北京字节跳动网络技术有限公司，字节跳动有限公司，
类型：发明
国别省市：北京;11