互补向量制造技术

互补向量。一种用于执行运动估计的数据处理系统，该系统包括：向量生成器，其被构造成形成针对第一帧的块的前向向量的集合以及针对第二帧的块的后向向量的集合，每个前向向量识别块到第二帧中的可能的映射，而每个后向向量识别块到第一帧中的可能的映射；以及处理器，其被构造成，针对在第一帧和第二帧之间插值的输出帧的块，识别针对第一帧并与该搜索块共位而形成的第一前向向量以及针对第二帧并与该搜索块共位而形成的第一后向向量；该处理器被构造成，如果该第一前向向量和该第一后向向量为互逆，则根据该第一前向向量和该第一后向向量生成针对该搜索块的输出向量。

【技术实现步骤摘要】

本专利技术涉及用于执行运动估计的方法和数据处理系统。
技术介绍
在用于处理视频流或其他帧序列的系统中，能够估计流中描绘的特征在帧之间的运动是有用的。这种运动估计信息具有多种应用。例如，在播放设备中，运动估计信息可用于猜测特征将在视频帧之间的时间点在什么位置，并因此通过在视频流的帧之间生成一个或更多个插值帧来进行帧率转换。在记录或编码设备中，运动估计信息允许视频流的有效压缩，因为其可在一个或更多个视频帧的时间段内用表示相同特征像素的压缩描述和描述这些像素在帧之间运动的信息来替换多个视频帧中的这些像素。已知多种技术用于估计视频帧之间像素或像素组的运动。现将以示例的形式来描述一种称为基于块的运动估计的常规方法。该基于块的运动估计将视频序列帧细分为称为块或宏块的多个区。总体上说，为识别块在帧之间的运动，帧的每个块中的像素数据与来自前一帧或后一帧的多个候选位置的像素数据进行比较。给出最佳匹配的候选的相对位置可被表示为向量，然后其用于表示块在帧之间的运动。通过在帧的块中重复该步骤，可以生成针对该帧的运动向量的集合，称为该帧的运动向量场。运动估计技术通常使用可以称为单端运动向量。图1示出了示例性的基于块的单端运动估计。图像100被划分为块105的规则阵列，而运动估计对每个块依次进行。图1示出了运动对象110，其在视频序列的一个帧的特定位置处，以及交叠于同一图个中，同一对象115，其在序列的前一帧的其位置。块120中的图像数据包含表示对象110的一部分的多个像素。针对块120的运动估计包括搜索序列中的前一帧，以查找具有最类似于块120的内容的内容的图像数据的区域。假设运动估计执行良好，找到了区域125。可以看到，区域125与块120具有相同的大小，但不对齐于网格105。相对于块120，匹配像素125的区域的位置确定运动向量130，其反映对象110的运动，并且称为块120的运动向量。单端运动估计在某些应用运行良好，诸如视频编码，因为其在被编码的每个帧100中，针对每个块诸如120生成一个向量。在运动补偿了的帧率转换器中，在视频序列中的两个已有的源帧之间的中间位置生成插值帧是一般而言必要的。图2示出了从图1的运动估计结果用于在来自原始视频序列的两个源帧之间的新帧中插值图像数据。针对块200的运动估计确定运动向量205，而从块200的像素并且从区域210的像素导出位于向量中点的帧215的新区域的像素。请注意，插值区域215不一定对齐于块的网格。图3例示了在帧率转换器利用单端向量时产生的问题。对象300和305以不同的速度运动，分别产生针对块310和315的不相等的运动向量330和335。在该示例中，向量是收敛的。新帧的插值涉及在两个向量的中点即位置330和335处创建像素数据。块310和315是邻接的，但插值区域320和325不邻接。这导致插值帧中的孔340。另选的情况在向量发散时存在，导致插值区域的交叠。在任一种情况下，需要附加的帧处理来解决孔和交叠区域，以生成在每个像素位置具有一个值的输出帧。图4示出了双端(或双向)运动估计的示例。当用于帧率转换器的示例应用时，该类型的运动估计具有针对插值帧中的每个像素位置准确地生成一个值的优点。要被插值的帧400被划分为块405的规则阵列，而运动估计针对每个块依次进行。针对块405的运动估计涉及针对图像数据彼此最类似的区域，搜索序列中的前一帧和下一帧。在该示例中，搜索通过要求所测试的区域的偏移量量级上相等并且相对于插值帧(表示前一和下一源帧之间的时间中点的插值)中的块的位置方向相反而受约束。在该示例中，最佳匹配发现于前一帧的区域410和下一帧的区域415之间，两者被示出交叠在插值帧的块的网格上。注意任何区域均不一定对齐于网格。前向偏移量420等于后向偏移量425。组合起来，两个偏移量可称为块405的运动向量，并表示对象在源帧之间的间隙中的运动。块405中的像素数据的插值需要从像素数据410和415的区域之一或两者导出像素数据。网格与插值帧的对齐表示针对每个像素位置确实只生成一个值。图4的示例示出了插值出现于两个源帧之间的时间中点。在帧率转换中，通常需要其他插值阶段，例如源帧之间间隙的四分之一处的插值。在该情况，某些可能性是存在的，图5例示了两种情况。在一个示例中，块500被进行运动估计并且利用类似于图4说明的方法插值。然而，已知需要在帧间隙的四分之一进行插值，因此前向偏移量505被缩放以使其为后向偏移量510的三倍大小。缩放后的偏移量然后用于运动估计和插值。其给出了对象515的正确插值。在需要进一步插值的情况下，例如在一半和四分之三间隙，通过相应调整前向和后向偏移量大小来执行进一步运动估计。该方法执行良好，但会需要每个源帧间隙的多次运动估计。在帧率以较大因数增加时，该运动估计的成本是显著的。在另一个示例中，在源帧间隙的某些部分需要插值，但每个间隙仅执行一次运动估计，典型地在中点处执行。针对块550的运动估计因此搜索具有相等和相反偏移量的匹配图像区域，并可以找到分别具有偏移量565和570的区域555和560。对于插值，运动向量根据间隙中的插值位置来缩放。例如，在间隙的四分之一处的插值将向量缩放为前向成分575和后向成分580。总体上，当运动在图像的大部分呈均一时，得到的插值比较精确。图5的示例示出了产生误差的示例。偏移量575和580造成从图像区域585和590导出差值。请注意，用于块500的运动估计的方法将不会选择区域585和590，因为这些区域中的图像数据不匹配。然而，块550的插值没有另选，只能从该数据导出插值输出。结果可为两个区域的综合，如在595示出。基于块的运动评估器典型地通过使用诸如绝对差的和(SAD)或方差均值(MSD)的方法相对于源帧的像素测试针对块的运动向量候选的集合以识别给出最低误差块匹配的运动向量，来选择其输出运动向量。通过搜索该帧对中的像素块的匹配，生成一个或更多个单端或双端运动向量候选，以描述像素块在帧间的运动。在多种视频编码标准中，例如，H.264，利用不同于上述针对帧率转换的机制，“B帧”被双向预测。每一个编码块可选择使用一个或两个基准帧。在使用一个基准帧时，编码类似于用于单向预测的“P”帧中的编码。在使用两个基准帧时，预测可以是从编码帧之前的一帧以及其后继的一帧提取的基准像素的均值。识别两个基准帧的基准像素区域的向量不一定在长度上相等或共线，并且运动估计尝试将每个基准帧的像素数据与正被编码的块的像素数据匹配。传统运动估计系统会将闪烁以及其他伪像引入输出视频流。闪烁一般被认为是出现不希望的(通常是杂乱无章的)随时间的亮度变化。这是在其中难以识别描述帧间像素运动的良好运动向量的帧区域中的特定问题。例如，在依靠像素匹配来识别运动向量的系统中，针对几乎不呈现对比度变化(例如视频中的白色墙壁)或包括重复图案的区域(例如由树形成的浓密的森林或运动场上的草坪)的帧区域会生成欠佳的运动向量。不确定的向量的区域导致输出视频流中的闪烁和漩涡效果。多种方法先前已用于运动估计系统，以降低闪烁和类似伪像。例如，Y.Kuszpet等人在“Post-ProcessingforFlickerReductioninH.264/AVC”，Proc.PictureCod本文档来自技高网...

【技术保护点】
一种用于在帧序列中执行运动估计的数据处理系统，所述帧序列包括分别被划分为相应像素块集合的第一帧和第二帧，该数据处理系统包括：向量生成器，该向量生成器被构造成形成针对所述第一帧的块的前向向量的集合和针对所述第二帧的块的后向向量的集合，每个前向向量识别各块到所述第二帧中的可能的映射，并且每个后向向量识别各块到所述第一帧中的可能的映射；以及处理器，该处理器被构造成针对在所述序列的所述第一帧和所述第二帧之间插值的输出帧的搜索块，识别关于所述第一帧的与所述搜索块共位的一个或更多个块而形成的第一前向向量以及关于所述第二帧的与所述搜索块共位的一个或更多个块而形成的第一后向向量；其中，该处理器被构造成，如果所述第一前向向量和所述第一后向向量基本彼此互逆，则依赖于所述第一前向向量和所述第一后向向量之一或两者生成针对所述输出帧的所述搜索块的输出向量。

【技术特征摘要】
2015.06.08 GB 1509881.71.一种用于在帧序列中执行运动估计的数据处理系统，所述帧序列包括分别被划分为相应像素块集合的第一帧和第二帧，该数据处理系统包括：向量生成器，该向量生成器被构造成形成针对所述第一帧的块的前向向量的集合和针对所述第二帧的块的后向向量的集合，每个前向向量识别各块到所述第二帧中的可能的映射，并且每个后向向量识别各块到所述第一帧中的可能的映射；以及处理器，该处理器被构造成针对在所述序列的所述第一帧和所述第二帧之间插值的输出帧的搜索块，识别关于所述第一帧的与所述搜索块共位的一个或更多个块而形成的第一前向向量以及关于所述第二帧的与所述搜索块共位的一个或更多个块而形成的第一后向向量；其中，该处理器被构造成，如果所述第一前向向量和所述第一后向向量基本彼此互逆，则依赖于所述第一前向向量和所述第一后向向量之一或两者生成针对所述输出帧的所述搜索块的输出向量。2.根据权利要求1所述的数据处理系统，其中，所述处理器被构造成通过形成所述第一前向向量和所述第一后向向量的平均来生成所述输出向量。3.根据权利要求2所述的数据处理系统，其中，所述处理器被构造成通过计算所述第一前向向量与取逆的所述第一后向向量的向量的和来形成所述第一前向向量和所述第一后向向量的平均。4.根据以上权利要求中任一项所述的数据处理系统，其中，所述处理器被构造成，如果所述第一前向向量和所述第一后向向量不是基本彼此互逆，则通过识别所述第一帧和所述第二帧的相似像素的区域生成针对所述输出帧的所述搜索块的向量候选。5.根据以上权利要求中任一项所述的数据处理系统，其中，所述处理器被构造成，如果所述第一前向向量和所述第一后向向量是基本彼此互逆，则不通过识别所述第一帧和所述第二帧的相似像素的区域生成针对所述输出帧的所述搜索块的向量候选。6.根据以上权利要求中任一项所述的数据处理系统，其中，所述处理器被构造成将所述第一帧和所述第二帧的位于与所述输出帧的所述搜索块对应的帧位置处的一个或更多个块识别为与所述搜索块共位。7.根据以上权利要求中任一项所述的数据处理系统，其中，在识别所述第一帧/所述第二帧的与所述搜索块共位的多个块时，所述处理器被构造成通过以下处理来识别针对所述第一帧/所述第二帧的所述多个块的第一前向向量/第一后向向量：计算针对所述第一帧/所述第二帧的所述多个块中的两个或更多个块形成于所述向量生成器处的所述前向向量/所述后向向量的平均；确定针对所述第一帧/所述第二帧的所述多个块形成于所述向量生成器处的所述前向向量/所述后向向量的最常规向量；或随机或根据预定义机制选择针对所述第一帧/所述第二帧的所述多个块的形成于所述向量生成器处的所述前向向量/所述后向向量之一。8.根据以上权利要求中任一项所述的数据处理系统，其中，所述向量生成器被构造成通过识别所述第二帧的与所述第一帧的块的像素最接近地匹配的像素的区域来形成针对所述第一帧的块的所述集合的前向向量，并且通过识别所述第一帧的与所述第二帧的块的像素最接近地匹配的像素的区域来形成针对所述第二帧的块的所述集合的后向向量。9.根据以上权利要求中任一项所述的数据处理系统，其中，在以下情况下，所述第一前向向量和所述第一后向向量基本彼此互逆：所述第一前向向量和所述第一后向向量的方向在第一边界内相反；和/或所述第一前向向量和所述第一后向向量的...

【专利技术属性】
技术研发人员：J·狄金斯，S·菲舍维克，
申请(专利权)人：想象技术有限公司，
类型：发明
国别省市：英国;GB