解码端运动矢量导出的容错与并行处理制造技术

本发明专利技术涉及帧间预测，包括：确定与当前块相邻的块的运动矢量是否已经通过模板匹配进行确定(例如，用于导出和/或细化基于解码器的运动矢量)；如果检测结果为否，则根据相邻块的运动矢量导出当前块的预测；如果检测结果为是，则不根据相邻块预测所述当前块。

Fault tolerance and parallel processing of motion vector export in decoder

【技术实现步骤摘要】
【国外来华专利技术】解码端运动矢量导出的容错与并行处理本专利技术涉及解码端运动矢量的导出，尤其涉及可用于图像编码和解码的运动矢量导出的方法和装置。
技术介绍
现有的混合视频编解码器采用预测编码。视频序列的图像被细分为像素块，然后对这些块进行编码。此处不是指对块的逐个像素进行编码，而是指基于所述块的空域或时域，使用已经编码的像素预测整个块。编码器不仅处理所述块与其预测之间的差异。进一步的处理通常包括将块像素转换为变换域中的系数，然后可以通过量化进一步压缩所述系数，并通过熵编码进一步压缩以形成比特流。比特流还包括解码器用于进行视频编解码的任何信令信息。例如，所述信令可以包括关于编码器设置的设置，例如输入图像的大小、帧率、量化步骤指示、应用于图像块的预测等。时间预测利用视频的图像(也称为帧)之间的时间相关性。时间预测也称为帧间预测，因为它是基于不同视频帧之间(帧间)的依赖关系的预测。因此，从(一个或)多个先前编码的图像(也称为参考图像)预测正在编码的块(也称为当前块)。参考图像不一定是所述当前图像之前的图像，其中所述当前块以视频序列的显示顺序位于所述当前图像。编码器可以采用与显示顺序不同的编码顺序对图像进行编码。作为所述当前块的预测，可以确定参考图像中的同位块，所述同位块是指位于所述参考图像中与所述当前图像中的所述当前块相同位置上的块。这种预测方式对于无运动图像区域(不从一个图像向另一个图像移动的图像区域)具有很高的准确性。为了获得考虑到运动的预测器，即运动补偿预测器，通常在确定所述当前块的预测时采用运动估计。因此，所述当前块基于所述参考图像中的块进行预测，所述块位于由基于运动矢量与所述同位块的位置确定的距离。为了使解码器能够确定所述当前块的相同预测，可以在比特流中发信令通知所述运动矢量。为了进一步减少由发信令通知每个块的运动矢量产生的信令开销，可以估计运动矢量本身。可以基于相邻块在空间和/或时域中的运动矢量估计运动矢量。可以基于一个参考图像计算所述当前块的预测，或者通过对从两个或多个参考图像获得的预测进行加权来计算。所述参考图像可以是相邻图像，即，由于相邻图像最可能类似于所述当前图像，所以相邻图像是以显示顺序，紧接在所述当前图像之前和/或紧接在所述当前图像之后的图像。然而，通常所述参考图像也可以是以显示顺序位于所述当前图像之前或之后的任何其它图像，以及比特流(解码顺序)中的所述当前图像之前的任何其它图像。这种方式是有利的，例如在视频内容中存在遮挡和/或非线性移动的情况。因此，也可以在比特流中发信令通知所述参考图像。帧间预测的特殊模式是双向预测，其中使用两个参考图像来生成当前块的预测。具体地，组合在相应的两个参考图像中确定的两个预测为所述当前块的预测信号。双向预测比单向预测可更精确地预测所述当前块，单项预测指的是仅使用单个参考图像进行预测。更精确的预测可缩小所述当前块的像素与预测之间的差异(也称为“残差”)，从而更有效地进行编码，即通过压缩或得更短的比特流。为了使运动估计更精确，可以通过在像素间内插样本来提高所述参考图像的分辨率。可以通过对最近像素进行加权平均来执行分数像素内插。在半像素分辨率的情况下，例如通常使用双线性插值。其它分数像素被计算为最近像素的平均值。依据各个最近像素与被预测像素之间的距离的倒数加权计算所述最近像素。运动矢量估计涉及复杂的计算，即计算当前块和参考图像中的候选运动矢量所指向的对应预测块之间的相似度。为了简化计算，通常通过将所述候选运动矢量限制在特定搜索空间，来减少候选运动矢量的数量。例如，所述搜索空间可以由像素的数量和/或位置定义，所述像素位于参考图像中与当前图像中当前块的位置相对应的位置周围。此外，候选运动矢量可以通过由候选运动矢量列表进行定义，相邻块的运动矢量形成所述候选运动矢量。通常至少部分地在编码端确定运动矢量，并在编码比特流内发信令给解码器。然而，也可以在解码端导出运动矢量。在这种情况下，所述当前块在解码端不可用，并且不能用于计算与参考图像中的候选运动矢量所指向的块的相似性。因此，代替当前块，使用由已经解码的块的像素解释的模板。例如，可以使用与当前块相邻的已经解码的像素。这种运动估计提供了减少信令的优点：在编码器和解码器以相同的方式导出运动矢量，故不需要信令。另一方面，这种运动估计的精度可能较低。为兼顾精度和信令开销，运动矢量估计可以分为两个步骤：运动矢量导出和运动矢量细化。例如，运动矢量导出可以包括从候选项列表中选择运动矢量。例如，这样选择的运动矢量可以通过搜索空间内的搜索进一步细化。搜索空间中的搜索基于每个候选运动矢量的计算代价函数，即候选运动矢量所指向的块的每个候选位置。文献JVET-D0029：解码端-基于双边模板匹配的运动矢量细化，X.Chen、J.AN、J.Zheng(文献见：http://phenix.it-sudparis.eu/jvet/site)描述了运动矢量细化，即通过在围绕第一运动矢量的搜索空间中具有半像素分辨率的搜索，找到并进一步细化整数像素分辨率的第一运动矢量。
技术实现思路
本专利技术的目的在于改善处理单元并行解码和/或提高解码的容错。为了实现此目的，通过模板匹配导出的当前块的相邻块的运动矢量不用于预测当前块的运动矢量。换句话说，通过参考图像导出的相邻块的运动矢量不用于预测当前块的运动矢量。这可以是使用模板匹配的导出和替换。在以下实施例中，可参考“模板匹配”的应用。但是，通常也可以考虑使用参考图像的任何方法。根据本专利技术的一方面，提供了一种用于确定当前块预测的装置，用于重构所述当前块。所述装置包括：预测单元，用于：检测是否已经通过模板匹配确定所述当前块相邻块的运动矢量；如果检测结果为否，则根据所述相邻块导出所述当前块预测；如果检测结果为是，则不根据所述相邻块导出所述当前块预测。对于重构当前块，所述预测单元包括：运动矢量候选列表确定单元和运动矢量确定单元。所述运动矢量候选列表确定单元用于通过以下步骤形成所述当前块的候选运动矢量列表：检测是否已经由所述模板匹配确定相邻块的运动矢量；如果检测结果为否，则将所述相邻块的所述运动矢量作为候选添加到所述列表中；如果检测结果为是，则不将所述相邻块的所述运动矢量作为候选添加到所述列表中。所述运动矢量确定单元，用于：从所述列表中选择运动矢量的估计值，并根据所述估计值确定所述当前块的所述运动矢量。例如，所述装置的运动矢量候选列表确定单元用于：如果检测结果为是，则将替换运动矢量添加到所述列表以作为候选。根据一示例，所述替换运动矢量与当前块相邻且不同于所述当前块的运动矢量。所述装置还可包括运动矢量细化单元，用于应用所选择的运动矢量估计值的细化；。所述运动矢量候选列表确定单元用于：如果检测结果为是，则将所述相邻块的所述运动矢量的估计值添加到所述列表，其中，所述相邻块的所述运动矢量的估计值是在应用所述细化之前通过所述模板匹配获得的。所述运动矢量确定单元还用于：根据所述细化后所述相邻块的所述运动矢量的所述估计值，确定所述相邻块的所述运动矢量。所述运动矢量候选列本文档来自技高网...

【技术保护点】
1.一种用于确定当前块预测的装置，其特征在于，用于重构所述当前块，所述装置包括：预测单元，用于检测是否已经通过模板匹配确定所述当前块相邻块的运动矢量，还用于：/n-如果检测结果为否，则根据所述相邻块导出所述当前块预测；/n-如果检测结果为是，则不根据所述相邻块导出所述当前块预测。/n

【技术特征摘要】
【国外来华专利技术】1.一种用于确定当前块预测的装置，其特征在于，用于重构所述当前块，所述装置包括：预测单元，用于检测是否已经通过模板匹配确定所述当前块相邻块的运动矢量，还用于：
-如果检测结果为否，则根据所述相邻块导出所述当前块预测；
-如果检测结果为是，则不根据所述相邻块导出所述当前块预测。


2.根据权利要求1所述的装置，其特征在于，用于确定运动矢量以确定当前块的帧间预测以重构所述当前块，所述预测单元包括：
运动矢量候选列表确定单元，用于通过以下步骤形成所述当前块的候选运动矢量列表：
-检测是否已经由所述模板匹配确定相邻块的运动矢量，
-如果检测结果为否，则将所述相邻块的所述运动矢量作为候选添加到所述列表中，或
-如果检测结果为是，则不将所述相邻块的所述运动矢量作为候选添加到所述列表中；
运动矢量确定单元，用于从所述列表中选择运动矢量的估计值，并根据所述估计值确定所述当前块的所述运动矢量。


3.根据权利要求2所述的装置，其特征在于，所述运动矢量候选列表确定单元用于：如果检测结果为是，则将替换运动矢量添加到所述列表以作为候选。


4.根据权利要求3所述的装置，其特征在于，所述替换运动矢量为与所述当前块相邻且不同于所述相邻块的块的运动矢量。


5.根据权利要求2或3所述的装置，其特征在于，还包括：
运动矢量细化单元，用于应用所选择的运动矢量估计值的细化，其中，
所述运动矢量候选列表确定单元用于：如果检测结果为是，则将所述相邻块的所述运动矢量的估计值添加到所述列表，其中，所述相邻块的所述运动矢量的估计值是在应用所述细化之前通过所述模板匹配获得的；
所述运动矢量确定单元还用于：根据所述细化后所述相邻块的所述运动矢量的所述估计值，确定所述相邻块的所述运动矢量。


6.根据权利要求5所述的装置，其特征在于，所述运动矢量候选列表确定单元用于：在所述运动矢量细化单元对所述相邻块应用细化的同时，形成所述当前块的所述列表。


7.根据权利要求5或6所述的装置，其特征在于，
所述运动矢量候选列表确定单元用于：如果检测结果为是，
-如果相邻块与当前块位于同一图像中，则将所述相邻块的所述运动矢量的估计值添加到所述列表，其中，所述相邻块的所述运动矢量的估计值是在应用所述细化之前通过所述模板匹配获得的；
-如果相邻块不位于与当前块相同的图像中，则在所述细化应用于所述相邻块之后，将所述相邻块的所述运动矢量添加到所述列表中。

【专利技术属性】
技术研发人员：塞米赫·艾森力克，赵志杰，阿南德·梅赫·科特拉，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44