具有隐式模型的帧间-帧内预测制造技术

根据帧间

【技术实现步骤摘要】
【国外来华专利技术】具有隐式模型的帧间
‑
帧内预测

技术介绍

[0001]数字图像和视频可以例如在互联网上用于经由视频会议的远程商务会议、高清视频娱乐、视频广告或用户生成的内容的共享。由于传送和处理图像和视频数据涉及大量数据，高性能压缩对于传输和存储可能是有利的。因此，提供在具有有限带宽的通信信道上发送的高分辨率图像和视频将是有利的，诸如使用具有隐式模型的帧间
‑
帧内预测来进行图像和视频代码化。

技术实现思路

[0002]本申请涉及用于传输或存储的图像数据、视频流数据或两者的编码和解码。本文公开了用于使用具有隐式模型的帧间
‑
帧内预测进行编码和解码的系统、方法和装置的各方面。
[0003]一个方面是一种用于使用具有隐式模型的帧间
‑
帧内预测来进行视频代码化的方法。使用具有隐式模型的帧间
‑
帧内预测来进行视频代码化可以包括从视频帧序列生成与当前帧相对应的重构帧。生成所述重构帧可以包括根据帧间
‑
帧内预测模型生成所述重构帧。根据所述帧间
‑
帧内预测模型生成所述重构帧可以包括：从编码比特流中解码用于所述当前帧的当前块的帧间预测运动矢量集合，根据限定的空间定向，从相对于所述当前块定向的所述重构帧获得空间块
‑
上下文像素，以及使用参考帧集合和所述帧间预测运动矢量集合来生成用于所述当前块的帧间预测块集合，其中，生成所述帧间预测块集合包括：对于来自所述帧间预测块集合的相应帧间预测块，根据所述限定的空间定向，生成相对于所述相应帧间预测块定向的对应参考块
‑
上下文像素集合。根据所述帧间
‑
帧内预测模型生成所述重构帧可以包括标识与所述空间块
‑
上下文像素和所述参考块
‑
上下文像素之间的最小化误差相对应的帧间
‑
帧内预测参数集合，其中，所述帧间
‑
帧内预测参数集合包括混合参数集合，其中，所述混合参数集合包括第一混合参数。根据所述帧间
‑
帧内预测模型生成所述重构帧可以包括通过对于所述当前块的当前像素执行以下操作，生成用于所述当前块的预测块：通过以下方式获得帧间预测像素集合：对于来自所述帧间预测块集合的相应帧间预测块，从所述帧间预测块标识对应于所述当前像素的帧间预测像素，使得所述帧间预测像素集合包括第一帧间预测像素，所述第一帧间预测像素来自所述帧间预测块集合中的第一帧间预测块；使用所述帧间预测像素集合和所述帧间
‑
帧内预测参数集合的组合来确定用于所述当前像素的预测因子；以及将所述预测因子包括在所述预测块中。根据所述帧间
‑
帧内预测模型生成所述重构帧可以包括从所述编码比特流解码用于所述当前块的残差块，其中，解码所述残差块包括解码对应于所述当前像素的残差像素，通过针对所述当前像素将用于所述当前像素的所述预测因子与所述残差像素的总和标识为所述当前像素来生成用于所述当前块的重构块，以及将所述重构块包括在所述重构帧中。所述方法可以包括输出所述重构帧。
[0004]另一方面是一种用于使用具有隐式模型的帧间
‑
帧内预测来进行视频代码化的方法。使用具有隐式模型的帧间
‑
帧内预测来进行视频代码化可以包括从帧序列生成与当前
帧相对应的重构帧。生成所述重构帧可以包括：从编码比特流中解码用于所述当前帧的当前块的帧间预测运动矢量，根据限定的空间定向，从相对于所述当前块定向的所述重构帧获得空间块
‑
上下文像素，使用参考帧和所述帧间预测运动矢量来生成用于所述当前块的帧间预测块，其中，生成所述帧间预测块包括：根据所述限定的空间定向，生成相对于所述帧间预测块定向的参考块
‑
上下文像素，获得与所述空间块
‑
上下文像素和所述参考块
‑
上下文像素之间的最小化误差相对应的帧间
‑
帧内预测参数，以及通过对于所述当前块的当前像素执行以下操作，生成用于所述当前块的预测块：使用来自所述帧间预测块的对应于所述当前像素的帧间预测像素与所述帧间
‑
帧内预测参数的组合来确定用于所述当前像素的预测因子；以及将所述预测因子包括在所述预测块中。生成所述重构帧可以包括从所述编码比特流解码用于所述当前块的残差块，其中，解码所述残差块包括解码对应于所述当前像素的残差像素，通过针对所述当前像素将用于所述当前像素的所述预测因子与所述残差像素的总和标识为所述当前像素来生成用于所述当前块的重构块，以及将所述重构块包括在所述重构帧中。所述方法可以包括输出所述重构帧。
[0005]另一方面是一种用于使用具有隐式模型的帧间
‑
帧内预测来进行视频代码化的方法。使用具有隐式模型的帧间
‑
帧内预测来进行视频代码化可以包括通过编码来自输入视频帧序列的当前帧来生成编码帧。编码所述当前帧可以包括：生成与所述当前帧相对应的重构帧的一部分，标识所述当前帧的当前块，使用第一参考帧生成用于所述当前块的第一帧间预测块。生成所述第一帧间预测块可以包括：标识第一帧间预测运动矢量；以及根据限定的空间定向，生成相对于所述第一帧间预测块定向的第一参考块
‑
上下文像素。编码所述当前帧可以包括根据所述限定的空间定向，从相对于所述当前块定向的所述重构帧获得空间块
‑
上下文像素，获得与所述空间块
‑
上下文像素和所述第一参考块
‑
上下文像素之间的最小化误差相对应的第一帧间
‑
帧内预测参数，以及通过对于所述当前块的当前像素执行以下操作来生成用于所述当前块的预测块：使用来自所述第一帧间预测块的对应于所述当前像素的帧间预测像素和所述第一帧间
‑
帧内预测参数的组合来确定用于所述当前像素的预测因子；以及将所述预测因子包括在所述预测块中。编码所述当前帧可以包括生成用于所述当前块的残差块，其中，生成所述残差块包括生成所述预测因子与所述当前像素之间的差，所述差作为对应于所述当前像素的残差像素，以及在输出比特流中包括所述残差块和所述第一帧间预测运动矢量。所述方法可以包括输出所述输出比特流。
[0006]另一方面是一种用于使用具有隐式模型的帧间
‑
帧内预测来进行视频代码化的装置。所述装置可以包括被配置成从视频帧序列生成与当前帧相对应的重构帧的处理器。所述处理器可以被配置成通过下述操作，根据帧间
‑
帧内预测模型生成所述重构帧：从编码比特流中解码用于所述当前帧的当前块的帧间预测运动矢量集合，根据限定的空间定向，从相对于所述当前块定向的所述重构帧获得空间块
‑
上下文像素，以及使用参考帧集合和所述帧间预测运动矢量集合来生成用于所述当前块的帧间预测块集合，其中，生成所述帧间预测块集合包括：对于来自所述帧间预测块集合的相应帧间预测块，根据所述限定的空间定向，生成相对于所述相应帧间预测本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：从视频帧的序列生成与当前帧相对应的重构帧，其中，生成所述重构帧包括：根据帧间
‑
帧内预测模型来生成所述重构帧，其中，根据所述帧间
‑
帧内预测模型来生成所述重构帧包括：从编码比特流中解码用于所述当前帧的当前块的帧间预测运动矢量的集合；根据限定的空间定向，从相对于所述当前块定向的所述重构帧获得空间块
‑
上下文像素；使用参考帧的集合和所述帧间预测运动矢量的集合来生成用于所述当前块的帧间预测块的集合，其中，生成所述帧间预测块的集合包括：对于来自所述帧间预测块的集合中的相应帧间预测块，根据所述限定的空间定向，生成相对于相应帧间预测块定向的参考块
‑
上下文像素的对应集合；标识与所述空间块
‑
上下文像素和所述参考块
‑
上下文像素之间的最小化误差相对应的帧间
‑
帧内预测参数的集合，其中，所述帧间
‑
帧内预测参数的集合包括混合参数的集合，其中，所述混合参数的集合包括第一混合参数；通过针对所述当前块的当前像素执行以下操作来生成用于所述当前块的预测块：通过针对来自所述帧间预测块的集合的相应帧间预测块从所述帧间预测块标识中对应于所述当前像素的帧间预测像素以使得所述帧间预测像素的集合包括第一帧间预测像素，来获得帧间预测像素的集合，所述第一帧间预测像素来自所述帧间预测块的集合中的第一帧间预测块；使用所述帧间预测像素的集合和所述帧间
‑
帧内预测参数的集合的组合来确定用于所述当前像素的预测因子；以及将所述预测因子包括在所述预测块中；从所述编码比特流中解码用于所述当前块的残差块，其中，解码所述残差块包括：解码对应于所述当前像素的残差像素；通过针对所述当前像素将用于所述当前像素的所述预测因子与所述残差像素的总和标识为所述当前像素，来生成用于所述当前块的重构块；以及将所述重构块包括在所述重构帧中；以及输出所述重构帧。2.根据权利要求1所述的方法，其中，标识所述帧间
‑
帧内预测模型包括：从所述编码比特流中解码标识所述帧间
‑
帧内预测模型的帧间
‑
帧内预测模型标识符。3.根据权利要求1所述的方法，其中：解码所述帧间预测运动矢量的集合包括：解码所述帧间预测运动矢量的集合中的第一帧间预测运动矢量，其中，第一帧间预测运动矢量与所述参考帧的集合中的第一参考帧相关联；生成所述帧间预测块的集合包括：使用所述第一帧间预测运动矢量和所述第一参考帧来生成所述第一帧间预测块，其中，生成所述第一帧间预测块包括：生成相对于所述第一帧间预测块定向的第一参考块
‑
上下文像素的集合；并且确定所述预测因子包括：将第一值标识为所述第一帧间预测像素乘以所述第一混合参数的乘积；以及
将值的集合的总和标识为所述预测因子，其中，所述值的集合包括所述第一值。4.根据权利要求3所述的方法，其中：标识所述帧间
‑
帧内预测参数的集合，使得所述帧间
‑
帧内预测参数的集合与在所述空间块
‑
上下文像素和所述参考块
‑
上下文像素的第一集合之间的最小化误差相对应。5.根据权利要求3所述的方法，其中：解码所述帧间预测运动矢量的集合包括：解码所述帧间预测运动矢量的集合中的第二帧间预测运动矢量，其中，所述参考帧的集合包括第二参考帧；生成所述帧间预测块的集合包括：使用所述第二帧间预测运动矢量和所述第二参考帧来生成所述帧间预测块的集合中的第二帧间预测块，其中，生成所述第二帧间预测块包括：生成相对于所述第二帧间预测块定向的第二参考块
‑
上下文像素的集合；获得所述帧间预测像素的集合包括：从所述第二帧间预测块中标识对应于所述当前像素的第二帧间预测像素，使得所述帧间预测像素的集合包括所述第二帧间预测像素；并且标识所述帧间
‑
帧内预测参数的集合包括：标识所述帧间
‑
帧内预测参数的集合，使得所述帧间
‑
帧内预测参数的集合与在所述空间块
‑
上下文像素、所述第一参考块
‑
上下文像素的集合和所述第二参考块
‑
上下文像素的集合之间的最小化误差相对应。6.根据权利要求5所述的方法，其中，确定所述预测因子包括：将第二值标识为将所述第二帧间预测像素乘以从1减去所述第一混合参数所得的差的乘积；以及将所述第二值包括在所述值的集合中。7.根据权利要求5所述的方法，其中：标识所述帧间
‑
帧内预测参数的集合包括：标识所述混合参数的集合，使得所述混合参数包括第二混合参数；并且确定所述预测因子包括：将第二值标识为所述第二帧间预测像素乘以所述第二混合参数的乘积；以及将所述第二值包括在所述值的集合中。8.根据权利要求3所述的方法，其中：标识所述帧间
‑
帧内预测参数的集合包括：标识递归因子的集合；并且确定所述预测因子包括：从所述重构帧中标识具有相对于所述当前像素的限定的空间定向的...

【专利技术属性】
技术研发人员：德巴尔加，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：