运动矢量细化的搜索区域制造技术

一种用于确定在视频图片的当前块的帧间预测中使用的运动矢量的方法，所述方法包括：获取初始运动矢量；根据该初始运动矢量获取至少两组点，其中至少两组点中的第一组仅包括与所述初始运动矢量相对应的第一点和附加的N个点，N≥0，并且其中，第一组中每个点比至少两组中的第二组的点中任一点更接近于该第一点；和根据该至少两组点和代价函数获取该当前块的运动矢量。运动矢量。运动矢量。

【技术实现步骤摘要】
【国外来华专利技术】运动矢量细化的搜索区域
[0001]相关申请的交叉引用
[0002]本申请要求享有于2019年3月8日提交给美国专利和商标局的印度临时申请IN201931009158的优先权，其公开内容通过引用整体并入本文。


[0003]本公开的实施例通常涉及一种用于确定视频序列中的图片的块的运动矢量的搜索空间的构建。

技术介绍

[0004]当前的混合视频编解码器采用预测编码。视频序列中的图片被细分为像素块，然后对这些块进行编码。使用块的空间或时间邻近中已经编码的像素来预测整个块，而不是逐个像素地对块进行编码。编码器进一步仅处理块与其预测之间的差异。进一步的处理通常包括将块像素转换为转换域中的系数。该系数可以被进一步的压缩(例如，通过量化)和进一步的紧压(例如，通过熵编码)形成比特流。该比特流可以进一步包括使得解码器解码编码视频的任何信令信息。例如，该信令可以包括，如输入图片的大小、帧速率、量化步长指示、应用于图片块的预测等关于编码器设置的设置。
[0005]块与其预测之间的差异称为块的残差。更具体地说，块的每个像素都有一个残差，残差是该像素的强度水平与其预测的强度水平之间的差。像素的强度水平称为像素值或像素的值。块的所有像素的残差统称为块的残差。换言之，块具有残差，该残差是包括块的所有像素的残差的集合或矩阵。
[0006]时间预测利用视频的图片(也称为帧)之间的时间相关性。时间预测也称为帧间预测，因为它是使用不同视频帧之间(帧间)的相关性的预测。因此，从一个或多个先前解码的图片(称为参考图片)预测要解码的块(也称为当前块)。在视频序列的显示顺序中，一个或多个参考图片不一定是当前块所在的当前图片之前的图片。编码器可以以不同于显示顺序的编码顺序对图片进行编码。作为当前块的预测，可以确定参考图片中的同位置块(称为预测器)。同位置块可以位于参考图片中与当前图片中的当前块的相同位置处。这种预测对于静止图片区域是准确的，即图片区域从一张图片到另一张图片没有发生移动。
[0007]在编码器中，为了获取将运动考虑在内的预测器，即运动补偿预测器，通常采用运动估计。当前块由位于参考图片中由运动矢量指示的位置处的块预测。运动矢量从同位置块的位置指向当前块的位置(反之亦然，取决于符号约定)。为了使解码器能够确定与编码器相同的当前块的预测，可以在比特流中用信号发送运动矢量。为了进一步减少由用信号发送每个块的运动矢量引起的信令开销，可以估计运动矢量本身。运动矢量估计可以基于与当前块在空间和/或时间域中相邻的块的运动矢量来执行。
[0008]当前块的预测可以使用一个参考图片或通过从两个或更多参考图片获取的加权预测来计算。参考图片可以是相邻图片，即在显示顺序中紧接在当前图片之前或之后的图片，因为相邻图片最有可能与当前图片相似。然而，一般而言，参考图片可以是显示顺序中
在当前图片之前或之后以及比特流(解码顺序)中在当前图片之前的任何图片。这可以提供优势，例如在视频内容中出现遮挡和/或非线性移动的情况。参考图片可以在比特流中用信号发送。
[0009]帧间预测的一种特殊模式是所谓的双向预测，其使用两个参考图片来生成当前块的预测。特别地，在各自的两个参考图片中确定的两个预测被组合成当前块的预测信号。与单预测(即仅使用单个参考图片的预测)相比，双预测可以使得对当前块的预测更准确。更准确的预测使得当前块的像素与预测之间的差异更小(即更小的残差)，这可以更有效地编码，即压缩为更短的流。
[0010]为了提供更准确的运动估计，可以提高参考图片的分辨率，例如通过在像素之间插入样本。分数像素插值可以通过对最接近的像素进行加权平均来执行。例如，在半像素分辨率的情况下，可以使用双线性插值。其他分数像素可以计算为最接近像素的平均值，例如由各个最接近像素与被预测像素之间的距离的倒数加权。
[0011]运动矢量可以被估计，例如，通过计算当前块与参考图片中的候选运动矢量指向的对应预测块之间的相似性。这可能是一项复杂的计算任务。为了降低复杂度，可以通过将候选运动矢量限制在某个搜索空间来减少候选运动矢量的数量。搜索空间可以，例如，由与当前块在当前图像中的位置相对应的参考图片中的位置周围的像素数量和/或位置来定义。或者，候选运动矢量可以由相邻块的运动矢量形成的候选运动矢量列表定义。
[0012]运动矢量通常在编码器侧至少部分确定，并在编码比特流内用信号发送给解码器。然而，运动矢量也可以在解码器侧导出。在这种情况下，当前块在解码器处不可用并且不能用于计算当前块与候选运动矢量在参考图片中指向的任何块之间的相似性。因此，可以使用由已经解码块的像素构成的模板，而不是当前块。例如，可以使用与当前块相邻的已解码像素。这种运动估计提供了减少信令的优点：运动矢量在编码器和解码器处以相同的方式导出，因此不需要信令。另一方面，这种运动估计的准确度可能较低。
[0013]为了提供准确度和信令开销之间的折衷，运动矢量估计可以分为两个步骤：运动矢量推导和运动矢量细化。例如，运动矢量推导可以包括从候选列表中选择运动矢量。所选的运动矢量可以被进一步的细化，例如，通过在搜索空间内的搜索。搜索空间中的搜索基于为每个候选运动矢量计算代价函数，即为候选运动矢量指向的块的每个候选位置。
[0014]文档JVET
‑
D0029：Decoder
‑
Side Motion Vector Refinement Based on Bilateral Template Matching(基于双边模板匹配的解码器侧运动矢量细化)，X.Chen、J.An、J.Zheng(该文档可在以下网址找到：http://phenix.it
‑
sudparis/eu/eu/eu/)示出了运动矢量细化，其中以整数像素分辨率找到第一运动矢量，并通过在第一运动矢量周围的搜索空间中以半像素分辨率的搜索进一步细化。在这里，像素分辨率(例如，整数或半整数)描述了搜索空间的分辨率，即搜索到的位移指向输入到过程的非细化运动矢量。作为结果，细化阶段的搜索坐标不一定与图像平面上的实际像素坐标重合。

技术实现思路

[0015]从上述方法开始，本公开的目的是进一步提高运动矢量估计的效率，以提高编码效率和/或降低复杂性。
[0016]为了实现这一点，提供了一种构建用于运动矢量细化的搜索空间的方案，涉及第
一搜索空间和第二搜索空间。位置的数量和/或第二搜索空间的位置是根据第一搜索空间中的两个位置确定的，这两个位置是基于代价函数导出的。
[0017]特别地，根据第一方面，提供了一种用于确定在视频帧的当前块的帧间预测中使用的运动矢量的装置。该装置包括用于获取运动矢量的估计和基于该估计确定包括多个候选运动矢量的第一搜索空间，根据代价函数在第一搜索空间中选择第一和第二候选运动矢量，并基于该第一和第二候选运动矢量确定包括一个或多个候选运动矢量的第二搜索空间的搜索空间确定单元。该装置还包括用于从该第一搜索空间和第二搜索空间的候选运动矢量中选择该本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于确定在视频图片的当前块的帧间预测中使用的运动矢量的方法，所述方法包括：获取初始运动矢量；根据所述初始运动矢量获取至少两组点，其中所述至少两组点中的第一组仅包括与所述初始运动矢量相对应的第一点和附加的N个点，N≥0，并且其中，所述第一组中的每个点比所述至少两组中的第二组的点中任一点更接近于所述第一点；和根据所述至少两组点和代价函数获取所述当前块的所述运动矢量。2.根据权利要求1所述的方法，其中，所述N个点与所述第一点相邻，并且所述第二组包括的点不包括所述第一组中的点。3.根据权利要求1或2所述的方法，其中，所述代价函数是基于所述当前块的一个或多个参考图片中的一个或多个参考块的像素的像素值计算的。4.根据前述权利要求任一项所述的方法，其中，所述代价函数指示模板和所述当前块的参考图片的区域之间的差异，所述区域对应于由与所述至少两组点中的各点相对应的候选运动矢量指向的位置中的所述模板。5.根据权利要求1或2所述的方法，其中，所述代价函数指示所述当前块与由与所述至少两组点中的各点相对应的候选运动矢量指向的候选块之间的差异。6.根据前述权利要求任一项所述的方法，其中，所述代价函数由属于所述至少两组点中的点的至少一个子集来评估。7.根据前述权利要求任一项所述的方法，其中，所述至少两组点包括位于菱形区域中的所有所述点，所述菱形区域以与所述初始运动矢量对应的点为中心。8.根据权利要求7所述的方法，其中，所述菱形区域的角由所述相对于所述中心点的坐标(
‑
3，0)、(0，
‑
3)、(3，0)和(0，3)来确定。9.根据权利要求1至6中任一项所述的方法，其中，所述至少两组点包括位于方形区域中的所有所述点，所述方形区域以与所述初始运动矢量对应的点为中心。10.根据权利要求9所述的方法，其中，所述方形区域的角由所述相对于所述中心点的坐标(
‑
2，
‑
2)、(2，2)、(
‑
2，2)和(2，
‑
2)来确定。11.根据权利要求1至6中任一项所述的方法，其中，所述至少两组点包括位于六边形区域中的所有所述点，所述六边形区域以与所述初始运动矢量对应的点为中心。12.根据权利要求11所述的方法，其中，所述六边形区域的角由所述相对于所述中心点的坐标(
‑
3，0)、(
‑
1，
‑
2)、(1，
‑
2)、(3，0)、(1，2)和(
‑
1，2)来确定。13.根据前述权利要求任一项所述的方法，其中，所述至少两组点中的第一组点包括由所述初始运动矢量指向的所述中心点。14.根据前述权利要求任一项所述的方法，其中，所述根据所述至少两组点和代价函数获取所述当前块的所述运动矢量包括：根据所述初始运动矢量确定具有所述第一组点中至少部分所述点的第一搜索空间；基于所述代价函数获取所述第一搜索空间中的第一搜索点，其中所述第一搜索点对应于所述第一搜索空间中的最低代价或所述第一搜索点对应于所述第一搜索空间中的第二低代价；和当所述第一搜索空间中的所述第一搜索点不是与所述初始运动矢量相对应的所述搜
索点时，根据所述第一搜索点确定第二搜索空间。15.根据权利要求14所述的方法，其中，当与所述初始运动向量相对应的所述搜索点对应于所述第一搜索空间中的所述最低代价时，所述第一搜索点对应于所述第一搜索空间中的所述第二低代价。16.根据权利要求15所述的方法，其中，所述第一搜索点不对应于所述初始运动矢量。17.根据权利要求13或14所述的方法，其中，所述第一搜索空间包括与所述初始运动向量相对应的初始搜索点和与所述初始搜索点最相邻的四个搜索点。18.根据权利要求17所述的方法，还包括：根据所述第一搜索点到所述第一搜索空间，在所述第一组点中添加两个对角搜索点。19.根据权利要求18所述的方法，其中，根据所述第一搜索点确定所述第二搜索空间包括从与所述第一搜索点最相邻的包括在所述第二搜索空间中的所述至少两组点中的第二组的点中选择至少一个点。20.根据权利要求19所述的方法，还包括：确定与所述第二搜索空间中的最低代价相对应的第二搜索点；和根据所述第二搜索点，从所述第二组点添加最多三个附加点到所述第二搜索空间。21.根据权利要求20所述的方法，其中，关于所述第二搜索点...

【专利技术属性】
技术研发人员：斯利拉姆，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：