用于多参考预测的运动矢量修正制造技术

本发明专利技术涉及针对多参考帧间预测在搜索空间中执行运动矢量修正。选择两幅或以上参考图像，其中一幅图像用于运动矢量修正。基于用于运动矢量修正的参考图像的运动矢量的初始估计值，构建所述参考图像中的搜索空间。使用模板匹配对所述第一运动矢量进行修正。另一幅参考图像的第二运动矢量是采用其初始估计值、所述第一运动矢量的初始估计值和修正后的第一运动矢量计算出来的。运动矢量计算出来的。运动矢量计算出来的。

【技术实现步骤摘要】
用于多参考预测的运动矢量修正
本申请是分案申请，原申请的申请号是201880044272.8，原申请日是2018年03月29日，原申请的全部内容通过引用结合在本申请中。
[0001]本专利技术涉及视频编解码领域，尤其涉及一种适用于多参考帧间预测的运动矢量估计。本申请要求于2017年6月30日提交的PCT/EP2017/066342的优先权，其内容通过引用结合在本申请中。

技术介绍

[0002]当前混合视频编解码器应用的是预测编码。视频序列的图像被细分为像素块，然后对这些块进行编码。整个块不是逐像素地进行编码，而是采用与该块在空间或时间上接近的已编码像素来预测整个块。编码器仅进一步处理该块与该块的预测块之间的差异。所述进一步处理通常包括将块像素变换为变换域中的系数。然后，可以通过量化进一步压缩这些系数，再通过熵编码进一步压缩这些系数以形成码流。该码流还包括使得解码器能够解码编码视频的任何信令信息。例如，该信令可以包括与编码器设置相关的设置，如输入图像的大小、帧率、量化步长指示、应用于图像的块的预测等。
[0003]时间预测利用了视频的图像，也称为帧，之间的时间相关性。时间预测也称为帧间预测，原因在于时间预测是一种使用(帧间)不同视频帧之间的依赖关系的预测。相应地，从(一幅或)多幅先前编码的称为参考图像的图像中预测正在编码的块，该块也称为当前块。按照视频序列的显示顺序，参考图像不一定是位于当前块所在的当前图像之前的图像。编码器可以按照与显示顺序不同的编码顺序对图像进行编码。作为当前块的预测块，可以确定参考图像中的同位块。该同位块是参考图像中与当前图像中的当前块处于相同位置的块。这种预测对于静止图像区域是准确的，即图像区域不会从一幅图像移动到另一幅图像。
[0004]为了获得将运动考虑在内的预测值，即运动补偿预测值，在确定当前块的预测块时，通常应用运动估计。相应地，当前块是采用参考图像中的块进行预测得到的，该块位于与同位块的位置相距由运动矢量给定的距离。为了使解码器能够确定当前块的相同预测块，可以在码流中发送运动矢量。为了进一步减少为每个块发送运动矢量所造成的信令开销，可以估计运动矢量本身。可以基于空域和/或时域中相邻块的运动矢量进行运动矢量估计。
[0005]可以使用一幅参考图像或者通过从两幅或以上参考图像获得的加权预测块来计算当前块的预测块。参考图像可以是相邻图像，即按照显示顺序紧邻当前图像之前的图像和/或紧邻当前图像之后的图像，原因在于相邻图像最有可能与当前图像相似。但是，一般情况下，参考图像也可以是按照显示顺序位于当前图像之前或之后以及码流中位于当前图像之前(解码顺序)的任何其他图像。例如，这可以在视频内容中存在遮挡和/或非线性移动情况下提供优势。因此，也可以在码流中发送参考图像。
[0006]帧间预测的一种特殊模式是所谓的双向预测，在双向预测中，两幅参考图像用于生成当前块的预测块。特别地，将两幅参考图像中分别确定的两个预测块组合为当前块的预测信号。相对于单向预测，即仅使用单幅参考图像的预测，双向预测可以为当前块提供更
准确的预测。预测更准确，则当前块与预测块(也称为“残差”)的像素之间的差值更小，预测块可以更有效地编码，即压缩为更短的码流。通常，可以使用两幅以上参考图像查找到各自的两个以上参考块来预测当前块，即可以应用多参考帧间预测。因此，术语“多参考预测”包括双向预测以及使用两幅以上参考图像的预测。
[0007]为了提供更准确的运动估计，可以通过在像素之间插值样本来增强参考图像的分辨率。可以通过最近像素的加权平均来进行分数像素插值(Fractional pixel interpolation)。在半像素分辨率的情况下，例如，通常使用双线性插值。将其他分数像素(Fractional pixel)计算为最近像素的平均值，该平均值是由最近像素各自与正在预测像素之间的距离的倒数加权得到。
[0008]运动矢量估计是计算复杂度较高的任务，在该任务中，计算当前块与参考图像中的候选运动矢量所指向的相应预测块之间的相似性。为了降低复杂度，通常通过将候选运动矢量限制在一定的搜索空间内来减少候选运动矢量的数量。例如，搜索空间可以由参考图像中与当前图像中当前块的位置所对应的位置周围的像素数量和/或位置定义。另一方面，候选运动矢量可以由相邻块的运动矢量所组成的候选运动矢量列表定义。
[0009]运动矢量通常至少有一部分是在编码器侧确定的，并在编码码流中发送给解码器。然而，运动矢量也可以在解码器处推导出。在这种情况下，当前块在解码器处不可用，也不能用于计算与参考图像中的候选运动矢量所指向的块之间的相似性。因此，使用由已解码块的像素所构成的模板而不是当前块。例如，可以使用与当前块相邻的已解码像素(位于当前图像或参考图像中)。这种运动估计提供了减少信令的优点：编码器处和解码器处采用相同方式推导出运动矢量，因此无需信令。另一方面，这种运动估计的准确性可以更低。
[0010]为了平衡准确性和信令开销，可以将运动矢量估计分为两个步骤：运动矢量推导和运动矢量修正。例如，运动矢量推导可以包括从候选列表中选择运动矢量。例如，可以通过搜索空间内进行搜索来进一步修正所选择的运动矢量。搜索空间内进行的搜索是基于计算每个候选运动矢量的成本函数的，即候选运动矢量所指向的块的每个候选位置。
[0011]X.Chen、J.An和J.Zheng的文件JVET
‑
D0029《基于双向模板匹配的解码器侧的运动矢量修正》(该文件可在http://phenix.it
‑
sudparis.eu/jvet/上找到)示出了运动矢量修正，其中先查找到整数像素分辨率的第一运动矢量，再通过在第一运动矢量周围的搜索空间内以半像素分辨率进行搜索来进一步修正第一运动矢量。

技术实现思路

[0012]当应用多参考预测时，需要确定多幅参考图像中的运动矢量。即使在第一阶段发送了所述运动矢量使得解码器无需进行进一步搜索，运动矢量修正仍然需要在对应搜索空间的运动矢量中进行额外搜索。这可能是一个复杂的任务，需要计算资源和内存资源。
[0013]本专利技术提供了一种在第一参考图像中确定第一运动矢量和在第二参考图像中确定第二运动矢量的技术，从而可以降低复杂度。首先，粗略估计所述第一运动矢量和所述第二运动矢量。然后，通过在所述第一运动矢量的粗略估计值所给定的搜索空间内进行搜索，对所述第一运动矢量进行修正。基于所述第二运动矢量的粗略估计值以及修正后的第一运动矢量进行计算，确定所述第二运动矢量。所述第一运动矢量和所述第二运动矢量可以应用于当前图像中当前块的帧间预测，用于编码器和/或解码器侧的解码器。
[0014]根据第一方面，本专利技术涉及一种用于在第一参考图像中确定第一运动矢量和在第二参考图像中确定第二运动矢量的装置，所述第一运动矢量和所述第二运动矢量应用于当前图像中图像块的帧间预测，所述装置包括运动矢量修正单元和运动矢量计算单元。所述运动矢量修正单元用于获取所述第一运动矢量的估计值。基于所述第一运动矢量的估计值指定了搜本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于帧间预测的视频解码的方法，其特征在于，所述方法包括：获取第一运动矢量的估计值；通过在基于所述第一运动矢量的估计值所指定的搜索空间内进行搜索来确定第一运动矢量与所述第一运动矢量的估计值之间的差值；获取第二运动矢量的估计值；基于所述第二运动矢量的估计值以及所述第一运动矢量与所述第一运动矢量的估计值之间的差值，计算第二运动矢量。2.根据权利要求1所述的方法，其特征在于，通过将所述第一运动矢量与所述第一运动矢量的估计值之间的差值或所述第一运动矢量与所述第一运动矢量的估计值之间的差值的函数与所述第二运动矢量的估计值相加，计算所述第二运动矢量。3.根据权利要求2所述的方法，其特征在于，所述函数包括通过缩放因子进行的缩放和/或剪切。4.根据权利要求3所述的方法，其特征在于，所述缩放因子的值取决于所述第一参考图像和所述第二参考图像各自与所述当前图像的距离之间的比值。5.根据权利要求1至4任一项所述的方法，其特征在于，还包括：获取两幅参考图像，从所述两幅参考图像中选择所述第一参考图像，以及从所述两幅参考图像中选择所述第二参考图像。6.根据权利要求5所述的方法，其特征在于，所述获取两幅参考图像，从所述两幅参考图像中选择所述第一参考图像，以及从所述两幅参考图像中选择所述第二参考图像包括：基于所述第一图像或第二图像是否被与至少两个参考图像列表中的预定义参考图像列表相关的索引在码流中引用，来选择所述第一图像或所述第二图像，所述码流中也包括所述视频的经编码的图像块，其中，参考图像列表将索引与参考图像相对于所述当前图像的位置相关联。7.根据权利要求6所述的方法，其特...

【专利技术属性】
技术研发人员：塞米赫，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：