用于时间预测的分类滤波制造技术

一种执行时间预测的方法包括使用不规则的滤波器抽头来产生目标图像的预测，以及将规则的滤波器抽头应用到所述预测以产生增强预测。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及视频压縮领域。
技术介绍
时间预测滤波器(temporal prediction filter)在视频压縮过程中被用亍 从一组先前解码的参考图像(reference image)中预测出目标图像(target image)。时间预测过程在去除大量时间冗余时是有效的，其一般产生较 高的编码效率。预测过程使用一组运动向量和对运动向量进行操作的滤波 器来预测目标图像。例如，预测方法将参考图像110划分成多个固定尺寸的块120，如图 1所示。每个块具有相关的运动向量，用于描述该块相对于目标图像的运 动。运动向量由图像110中的白点示出。时间预测滤波器使用相关的运动 向量来对参考图像中的每个块执行简单的运动补偿技术，以预测该块在目 标图像中的位置。因此，目标图像中的每个块通过使用单个运动向量根据 参考图像中的块被估计出。但是，这种方法独立对待每个运动向量，并且 不适应用于图像特征。传统的时间滤波器使用单个运动向量来预测相关块的位置或者依赖于 针对规则的运动向量模式(pattern)定义的滤波器，这些传统时间滤波器 需要规则分布的运动向量以执行时间预测。因此，它们无法使得预测过程 适应于不规则的运动向量模式。存在对于可以使得滤波器的抽头(tap)和 滤波器系数局部适应于不规则的运动向量模式的变化的滤波器的需求。还 存在对于具有适应于对象边界(object boundary)和空间纹理(spatial texture)的灵活性的时间滤波器的需求
技术实现思路
执行时间预测的方法包括使用不规则滤波器抽头产生目标图像的预 测，并将规则滤波器抽头应用到该预测以产生增强预测。附图说明本专利技术以示例方式示出，并且可以通过结合附图参考以下描述来更好 地理解，其中图i示出传统的基于块的时间滤波器的示例。 图2示出两级适应性时间滤波过程的示例。图3示出不规则的运动向量模式的示例以及用在适应性时间滤波过程中的影响区域单元(area of influence cell)的示例。图4示出对于不同目标像素形成不同局部邻域(local neighborhood)的不规则运动向量模式的示例，其被适应性时间滤波过程所处理。 图5示出利用适应性时间滤波器执行的预测的示例。 图6示出用于生成最小二乘分类滤波器(least squared classified filter)的方法的示例。图7示出由最小二乘分类滤波过程产生的分类图(classification map)的示例。图8示出用于预测目标图像的第一级和第二级滤波器的示例。 图9示出使用适应性时间滤波器的视频压縮编码过程的示例。 图10示出使用适应性时间滤波器的解码过程的示例。 图ll示出使用适应性时间滤波器的系统的示例。具体实施例方式在以下描述中，参考构成说明书一部分的附图，附图中以图示方式示 出可用来实施本专利技术的特定实施例。将会理解，在不脱离本专利技术的范围的 情况下，其他实施例可被利用，并且结构改变可能发生。例如，本领域技 术人员将会理解，用来描述各个实施例的术语场或帧或图像在参考视频数 据使用时可以互换。最小二乘分类时间滤波器在预测目标图像时自动适应于不规则的运动向量模式、对象特征和空间纹理。该最小二乘分类滤波器在时域中作用于 经运动补偿的信号，这不同于其他方法，其他方法试图直接对运动向量进 行滤波(例如运动向量域中的三角滤波)。例如，由于该最小二乘分类时 间滤波方法在时域中操作，因此更易修改以适应于对象和空间纹理。在一个实施例中，最小二乘分类时间滤波器执行两级过程(two stage process)。第一级使得滤波器适应于不规则的运动向量采样模式、对象形 状以及对象边界。第二级使得滤波器适应于图像的空间纹理。最小二乘分类时间滤波过程的示例如图2所示。在210，针对图像生 成不规则的运动向量采样模式。这种不规则模式的生成可以利用本领域技 术人员已知的方法以各种方式进行。不规则的运动向量模式的示例如图3 的块310所示。图像310中的白点代表运动向量。对于这种适应性采样模 式，运动向量更集中在难以根据参考图像预测的区域中(即具有更复杂运 动的图像区域，例如运动边界附近的区域)。很少的运动向量被置于简单 运动区域(例如图像背景区域)中。不规则的运动向量模式的另一示例如图4所示。阴影圆圈代表运动向 量，并且每个x代表一个要预测的像素。像素420位于密集填充并且不规 则分布的运动向量的局部邻域中，像素410位于具有准规则分布(quasi-regular distribution) 的运动向量的局部邻域中，像素430位于稀疏填充的 运动向量的局部邻域中。由于要预测的像素具有不同的运动向量局部邻 域，即每个局部邻域具有不同的运动向量分布，因此适应于该变化分布的 滤波器结构被用于预测像素。返回图2，在220，图像被分成多个单元(称之为影响区域单元 (AOI单元))，其中每个AOI单元具有一个运动向量作为其节点。例 如，图3的图像310被如块320所示划分成多个AOI单元。每个AOI单 元代表这样的区域，该区域受该单元内运动向量的影响比图像中任何其他 运动向量的影响要强。由于针对每个运动向量生成一个AOI单元，因此 AOI单元的尺寸可能与图像中的对象的特征(例如边界区域)相关。例 如，对象之间的边界区域附近的AOI单元可能小于图像背景区域中的 AOI单元。而且，AOI单元的形状可以局部修改以适应于对象边界的形状。用于生成AOI单元的方法的一个实施例是距离最近运动向量划分方 法。其他划分方法可被使用，例如块或三角方法。如下所述，在第二级最小二乘滤波器过程中，AOI单元被用作自然图像分块(segmentation)， 基于该分块限定分类图(即每个AOI单元可以使用不同的滤波器)。返回图2，在230，第一级适应性时间预测滤波器被生成，以用于利 用不规则的运动向量模式和影响区域单元来预测目标图像中的像素。滤波 器级预测滤波器在时域中作用于经运动补偿的信号。具体而言，滤波器通 过使用不同运动补偿信号的加权和来预测目标像素，其中每个运动补偿信 号是通过应用不同运动向量预测目标像素来获得的。滤波器系数和抽头结 构根据变化的运动向量模式而针对每个像素变化。而且，滤波器的支撑 (support)是局部的。这意味着用于补偿目标像素的运动向量是从该像素 的局部邻域中获得的。第一级滤波器具有以下结构。令^^表示N个运动向量的集合，并且 I(x)表示参考图像(先前解码的图像)。令S(x)表示围绕像素x的位置的 运动向量的某个集合。该目标像素x的预测可以按如下方式生成其中{6}是滤波器系数的集合，并且x+vi是当运动向量vi被应用到像素x 时经运动补偿的像素。滤波器的支撑或抽头由集合S(x)定义。抽头支撑 S(x)和滤波器系数(fO—般是像素位置x及其相邻运动向量的函数。就是 说，滤波器系数可以针对每个像素改变，这是因为运动向量分布在整幅图 像中变化。因此，滤波器局部地适应于变化的运动向量模式。在240，第一级预测滤波器被应用到目标图像以执行针对目标图像的 时间预测。该滤波器在时域中被应用，以在给定运动向量值的集合和采样 模式的情况下生成对目标图像的预测结果。滤波器使用由重叠区域的面积 限定的滤波器抽头和滤波器本文档来自技高网...

【技术保护点】
一种在电子数据处理器中执行的方法，包括：　　　　使用不规则的滤波器抽头来产生目标图像的预测；以及　　　　将规则的滤波器抽头应用到所述预测以产生增强预测。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：马里奥帕尼科尼，詹姆斯J卡里格，苗周荣，
申请(专利权)人：索尼电子有限公司，
类型：发明
国别省市：US[美国]