一种双向帧间预测方法及装置制造方法及图纸

本申请实施例公开了一种双向帧间预测方法及装置，涉及视频编解码技术领域，解决了对于双向帧间预测如何选择双向预测运动补偿技术，来达到压缩比与计算复杂度的最佳权衡的问题。具体方案为：首先，获取当前图像块的运动信息，并根据运动信息获取当前图像块的初始预测块；然后，根据初始预测块的属性信息、或者根据运动信息和初始预测块的属性信息、或者根据运动信息和当前图像块的属性信息确定当前图像块的运动补偿方式，最后，根据确定的运动补偿方式以及初始预测块对当前图像块进行运动补偿。运动补偿方式为基于双向预测的加权预测技术或基于双向预测的光流技术。本申请实施例用于双向帧间预测的过程。于双向帧间预测的过程。于双向帧间预测的过程。

【技术实现步骤摘要】
一种双向帧间预测方法及装置


[0001]本申请实施例涉及视频编解码
，尤其涉及一种双向帧间预测方法及装置。

技术介绍

[0002]视频编码压缩技术主要采用基于块的混合视频编码，将一帧视频图像划分为多个块(block)，以块为单位，通过帧内预测(intra prediction)、帧间预测(inter prediction)、变换(transform)、量化(quantization)、熵编码(entropy encode)和环内滤波(in
‑
loop filtering)(主要为去块滤波(de
‑
blocking filtering))等步骤实现视频编码压缩。帧间预测也可以称为运动补偿预测(motion compensation prediction，MCP)，即先得到块的运动信息，然后根据运动信息确定该块的预测像素值。计算块的运动信息的过程称为运动估计(motion estimation，ME)，根据运动信息确定该块的预测像素值的过程称为运动补偿(motion compensation，MC)。根据预测方向的不同，帧间预测包括前向预测、后向预测和双向预测。
[0003]对于双向预测，首先，根据运动信息按照前向预测得到当前图像块的前向预测块，以及根据运动信息按照后向预测得到当前图像块的后向预测块，然后，基于双向预测的加权预测技术将前向预测块和后向预测块中相同像素位置的像素值经过加权预测得到当前图像块的预测块，或者，基于双向预测的光流技术(bi
‑
directional optical flow，BIO)根据前向预测块和后向预测块确定当前图像块的预测块。
[0004]加权预测技术的优点为计算简单，但是，将加权预测技术运用在基于块级的运动补偿时，会导致纹理复杂的图像预测效果差，压缩效率不高。虽然，BIO技术能够通过像素级的运动细化来提高压缩比，但是，BIO技术计算复杂度高，极大地影响了编解码速度，而且在一些情况下，使用加权预测技术也能达到甚至超过BIO技术的压缩效果。因此，对于双向帧间预测如何选择双向预测时的运动补偿技术，来达到压缩比与计算复杂度的最佳权衡是一个亟待解决的问题。

技术实现思路

[0005]本申请实施例提供一种双向帧间预测方法及装置，解决了对于双向帧间预测如何选择双向预测运动补偿技术，来达到压缩比与计算复杂度的最佳权衡的问题。
[0006]为达到上述目的，本申请实施例采用如下技术方案：
[0007]本申请实施例的第一方面，提供一种双向帧间预测方法，包括：在获取到当前图像块的运动信息之后，先根据运动信息获取当前图像块的初始预测块，然后根据初始预测块的属性信息确定当前图像块的运动补偿方式，或者根据运动信息和初始预测块的属性信息确定当前图像块的运动补偿方式，或者根据运动信息和当前图像块的属性信息确定当前图像块的运动补偿方式，最后根据确定的运动补偿方式以及初始预测块对当前图像块进行运动补偿。其中，当前图像块为待编码图像块或待解码图像块。运动补偿方式为基于双向预测
的加权预测技术或基于双向预测的光流技术。
[0008]本申请实施例提供的双向帧间预测方法，在对当前图像块进行运动补偿，根据当前图像块的特征和当前图像块的初始预测块的特征确定合适的运动补偿方式，既兼顾了压缩比高的特点，又兼顾了编解码复杂度低的特点，从而，有效地达到了压缩比和复杂度的最佳平衡。
[0009]本申请实施例所述的运动信息可以包括第一参考帧索引、第二参考帧索引、第一运动矢量和第二运动矢量。结合第一方面，在一种可能的实现方式中，根据运动信息获取当前图像块的初始预测块，具体包括：根据第一参考帧索引和第一运动矢量确定当前图像块的第一初始预测块，并根据第二参考帧索引和第二运动矢量确定当前图像块的第二初始预测块，其中，第一参考帧索引用于表示当前图像块的前向参考块所在的帧的索引，第一运动矢量用于表示当前图像块相对前向参考块的运动位移，第一初始预测块的属性信息包括M*N个像素点的像素值，第二参考帧索引用于表示当前图像块的后向参考块所在的帧的索引，第二运动矢量用于表示当前图像块相对后向参考块的运动位移，第二初始预测块的属性信息包括M*N个像素点的像素值，N为大于等于1的整数，M为大于等于1的整数。
[0010]结合上述可能的实现方式，在一种可能的实现方式中，本申请实施例所述的根据初始预测块的属性信息确定当前图像块的运动补偿方式，具体包括：先根据第一初始预测块的M*N个像素点的像素值与第二初始预测块的M*N个像素点的像素值得到M*N个像素差值，然后，根据M*N个像素差值确定当前图像块的纹理复杂度，再根据当前图像块的纹理复杂度确定运动补偿方式。
[0011]可选的，在本申请的另一种可能的实现方式中，上述根据M*N个像素差值确定当前图像块的纹理复杂度，包括：计算M*N个像素差值的绝对值之和；将M*N个像素差值的绝对值之和确定为当前图像块的纹理复杂度。
[0012]可选的，在本申请的另一种可能的实现方式中，上述根据M*N个像素差值确定当前图像块的纹理复杂度，包括：计算M*N个像素差值的平均值；将M*N个像素差值的平均值确定为当前图像块的纹理复杂度。
[0013]可选的，在本申请的另一种可能的实现方式中，上述根据M*N个像素差值确定当前图像块的纹理复杂度，包括：计算M*N个像素差值的标准差；将M*N个像素差值的标准差确定为当前图像块的纹理复杂度。
[0014]可选的，在本申请的另一种可能的实现方式中，上述根据当前图像块的纹理复杂度确定运动补偿方式，具体包括：判断当前图像块的纹理复杂度是否小于第一阈值，第一阈值为大于0的任意实数；若当前图像块的纹理复杂度小于第一阈值，确定运动补偿方式为基于双向预测的加权预测技术；若当前图像块的纹理复杂度大于或等于第一阈值，确定运动补偿方式为基于双向预测的光流技术。
[0015]结合上述可能的实现方式，在一种可能的实现方式中，本申请实施例所述的当前图像块的运动幅度由运动信息确定，根据运动信息和初始预测块的属性信息确定运动补偿方式，具体包括：根据第一运动矢量确定当前图像块的第一运动幅度，并根据第二运动矢量确定当前图像块的第二运动幅度；根据第一运动幅度、第二运动幅度、初始预测块的属性信息确定运动补偿方式。
[0016]可选的，在本申请的另一种可能的实现方式中，上述根据第一运动幅度、第二运动
幅度、初始预测块的属性信息确定运动补偿方式，初始预测块的属性信息可以是像素点的像素值。获取初始预测块的属性信息的方式可以参考上述可能的实现方式。确定运动补偿方式方法包括：根据第一初始预测块的M*N个像素点的像素值与第二初始预测块的M*N个像素点的像素值得到M*N个像素差值；根据M*N个像素差值确定当前图像块的纹理复杂度；根据当前图像块的纹理复杂度、第一运动幅度、第二运动幅度和第一数学模型确定选择概率；或者，根据当前图像块的纹理复杂度、第一运动幅度和第二运动幅度查询第一映射表确定选择概率，第一映射表包括选本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双向帧间预测方法，其特征在于，包括：获取当前图像块的运动信息，所述当前图像块为待编码图像块或待解码图像块；根据所述运动信息获取所述当前图像块的初始预测块；根据所述初始预测块的属性信息、或者根据所述运动信息和所述初始预测块的属性信息、或者根据所述运动信息和所述当前图像块的属性信息确定所述当前图像块的运动补偿方式，所述运动补偿方式为基于双向预测的加权预测技术或基于双向预测的光流技术BIO；根据确定的所述运动补偿方式以及所述初始预测块对所述当前图像块进行运动补偿。2.根据权利要求1所述的方法，其特征在于，所述运动信息包括第一参考帧索引、第二参考帧索引、第一运动矢量和第二运动矢量；所述根据所述运动信息获取所述当前图像块的初始预测块，包括：根据所述第一参考帧索引和所述第一运动矢量确定所述当前图像块的第一初始预测块，所述第一参考帧索引用于表示所述当前图像块的前向参考块所在的帧的索引，所述第一运动矢量用于表示所述当前图像块相对所述前向参考块的运动位移，所述第一初始预测块的属性信息包括M*N个像素点的像素值，N为大于等于1的整数，M为大于等于1的整数；根据所述第二参考帧索引和所述第二运动矢量确定所述当前图像块的第二初始预测块，所述第二参考帧索引用于表示所述当前图像块的后向参考块所在的帧的索引，所述第二运动矢量用于表示所述当前图像块相对所述后向参考块的运动位移，所述第二初始预测块的属性信息包括M*N个像素点的像素值。3.根据权利要求2所述的方法，其特征在于，所述根据所述初始预测块的属性信息确定所述当前图像块的运动补偿方式，包括：根据所述第一初始预测块的M*N个像素点的像素值与所述第二初始预测块的M*N个像素点的像素值得到M*N个像素差值；根据所述M*N个像素差值确定所述当前图像块的纹理复杂度；根据所述当前图像块的纹理复杂度确定所述运动补偿方式。4.根据权利要求3所述的方法，其特征在于，所述根据所述M*N个像素差值确定所述当前图像块的纹理复杂度，包括：计算所述M*N个像素差值的绝对值之和；将所述M*N个像素差值的绝对值之和确定为所述当前图像块的纹理复杂度。5.根据权利要求3所述的方法，其特征在于，所述根据所述M*N个像素差值确定所述当前图像块的纹理复杂度，包括：计算所述M*N个像素差值的平均值；将所述M*N个像素差值的平均值确定为所述当前图像块的纹理复杂度。6.根据权利要求3所述的方法，其特征在于，所述根据所述M*N个像素差值确定所述当前图像块的纹理复杂度，包括：计算所述M*N个像素差值的标准差；将所述M*N个像素差值的标准差确定为所述当前图像块的纹理复杂度。7.根据权利要求3
‑
6中任一项所述的方法，其特征在于，所述根据所述当前图像块的纹理复杂度确定所述运动补偿方式，包括：判断所述当前图像块的纹理复杂度是否小于第一阈值，所述第一阈值为大于0的任意
实数；若所述当前图像块的纹理复杂度小于所述第一阈值，确定所述运动补偿方式为基于双向预测的加权预测技术；若所述当前图像块的纹理复杂度大于或等于所述第一阈值，确定所述运动补偿方式为基于双向预测的光流技术。8.根据权利要求2所述的方法，其特征在于，所述当前图像块的运动幅度由所述运动信息确定，所述根据所述运动信息和所述初始预测块的属性信息确定所述运动补偿方式，包括：根据所述第一运动矢量确定所述当前图像块的第一运动幅度，并根据所述第二运动矢量确定所述当前图像块的第二运动幅度；根据所述第一运动幅度、所述第二运动幅度、所述初始预测块的属性信息确定所述运动补偿方式。9.根据权利要求8所述的方法，其特征在于，所述根据所述第一运动幅度、所述第二运动幅度、所述初始预测块的属性信息确定所述运动补偿方式，包括：根据所述第一初始预测块的M*N个像素点的像素值与所述第二初始预测块的M*N个像素点的像素值得到M*N个像素差值；根据所述M*N个像素差值确定所述当前图像块的纹理复杂度；根据所述当前图像块的纹理复杂度、所述第一运动幅度、所述第二运动幅度和第一数学模型确定选择概率；或者，根据所述当前图像块的纹理复杂度、所述第一运动幅度和所述第二运动幅度查询第一映射表确定选择概率，所述第一映射表包括选择概率与所述当前图像块的纹理复杂度、所述第一运动幅度和所述第二运动幅度的对应关系；根据所述选择概率确定所述运动补偿方式。10.根据权利要求1所述的方法，其特征在于，所述运动信息包括第一运动矢量和第二运动矢量，所述根据所述运动信息和所述当前图像块的属性信息确定所述当前图像块的运动补偿方式，包括：根据所述当前图像块的尺寸、所述第一运动矢量的水平分量、所述第一运动矢量的垂直分量、所述第二运动矢量的水平分量、所述第二运动矢量的垂直分量和第二数学模型确定选择概率，所述第一运动矢量包括所述第一运动矢量的水平分量和所述第一运动矢量的垂直分量，所述第二运动矢量包括所述第二运动矢量的水平分量和所述第二运动矢量的垂直分量；或者，根据所述当前图像块的尺寸、所述第一运动矢量的水平分量、所述第一运动矢量的垂直分量、所述第二运动矢量的水平分量和所述第二运动矢量的垂直分量查询第二映射表确定选择概率，所述第二映射表包括选择数值与所述当前图像块的尺寸、所述第一运动矢量的水平分量、所述第一运动矢量的垂直分量、所述第二运动矢量的水平分量和所述第二运动矢量的垂直分量的对应关系；根据所述选择概率确定所述运动补偿方式。11.根据权利要求9或10所述的方法，其特征在于，所述根据所述选择概率确定所述运动补偿方式，包括：判断所述选择概率是否大于第二阈值，所述第二阈值为大于等于0且小于等于1的任意实数；
若所述选择概率大于所述第二阈值，确定所述运动补偿方式为基于双向预测的光流技术；若所述选择概率小于或等于所述第二阈值，确定所述运动补偿方式为基于双向预测的加权预测技术。12.一种编码方法，其特征在于，包括：所述权利要求1
‑
11中任一项所述的双向帧间预测方法用于编码过程中，所述当前图像块为待编码图像块。13.一种解码方法，其特征在于，包括：所述权利要求1
‑
11中任一项所述的双向帧间预测方法用于解码过程中，所述当前图像块为待解码图像块。14.一种双向帧间预测装置，其特征在于，包括：运动估计单元，用于获取当前图像块的运动信息，所述当前图像块为待编码图像块或待解码图像块；确定单元，用于根据所述运动信息获取所述当前图像块的初始预测块；所述确定单元，还用于根据所述初始预测块的属性信息、或者根据所述运动信息和所述初始预测块的属性信息、或者根据所述运动信息和...

【专利技术属性】
技术研发人员：符婷，陈焕浜，杨海涛，张昊，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：