用于运动对象边界的适应性影响区域滤波器制造技术

一种执行适应性时间预测的方法包括：接收目标图像，其中对象在所述目标图像中的位置不同于对象在参考图像中的位置；使用所述对象的边界来生成不规则的目标图像运动向量模式；使用所述目标图像运动向量将所述目标图像划分成影响区域单元，其中每个影响区域单元包含所述目标图像运动向量中的唯一一个；以及通过将适应性影响区域滤波器应用到所述影响区域单元来生成所述目标图像的预测。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及视频压縮领域。
技术介绍
时间预测滤波器(temporal prediction filter)在视频压縮过程中被用于 从一组先前解码的参考图像(reference image)中预测出目标图像(target image)。时间预测过程在去除大量时间冗余时是有效的，其一般产生较 高的编码效率。预测过程使用一组运动向量和对运动向量进行操作的滤波 器来预测目标图像。例如，预测方法将参考图像110划分成多个固定尺寸的块120，如图 1所示。每个块具有相关的运动向量，用于描述该块相对于目标图像的运 动。运动向量由图像110中的白点示出。时间预测滤波器使用相关的运动 向量来对参考图像中的每个块执行简单的运动补偿技术，以预测该块在目 标图像中的位置。因此，目标图像中的每个块通过使用单个运动向量根据 参考图像中的块被估计出。但是，这种方法独立对待每个运动向量，并且 不适应于图像特征。传统的时间滤波器使用单个运动向量来预测相关块的位置或者依赖于 针对规则的运动向量模式(pattern)定义的滤波器，这些传统时间滤波器 需要规则分布的运动向量以执行时间预测。因此，它们无法使得预测过程 适应于不规则的运动向量模式。存在对于可以使得滤波器的抽头(tap)和 滤波器系数局部适应于不规则的运动向量模式的变化的滤波器的需求。还 存在对于具有适应于对象边界(object boundary)和空间纹理(spatial texture)的灵活性的时间滤波器的需求。
技术实现思路
执行适应性时间预测的方法包括接收目标图像，其中对象在目标图 像中的位置不同于该对象在参考图像中的位置；使用对象的边界来生成不 规则的目标图像运动向量模式；使用这些目标图像运动向量将目标图像划 分成影响区域单元，其中每个影响区域单元包含目标图像运动向量中的唯 一一个；并且通过将适应性的影响区域滤波器应用到影响区域单元来生成 目标图像的预测。附图说明本专利技术以示例方式示出，并且可以通过结合附图参考以下描述来更好 地理解，其中图1示出被划分成多个固定尺寸的块的参考图像的示例。图2A和2B示出用于运动对象边界的适应性时间滤波的示例。图3A示出从目标图像中提取出的运动对象边界的示例。图3B示出利用运动对象边界生成的不规则的运动向量模式的示例。图4A示出用于生成不规则的运动向量模式的方法的示例D图4B示出图4A的方法的中间结果的示例。图5示出计算滤波器系数的方法的示例。图6示出使滤波器适应于图像中的对象特征的方法的示例。图7示出构造对象边界周围的AOI单元的示例。图8示出用于运动对象的封闭区域(occludedregion)的示例。图9示出利用 一个参考图像来预测封闭区域附近的像素的修改示例。图10示出使用滤波器来预测目标图像中的像素的示例。图11示出重新估计运动向量值以提高滤波器精确度的方法的示例。图12示出用于利用适应性时间滤波器对视频数据图像(或帧、或场)进行编码的视频编码系统的示例。图13示出在解码视频数据的图像(或帧、或图像)时使用滤波器的示例。图14示出使用适应性影响区域滤波器的视频系统的示例。具体实施方式在以下描述中，参考构成说明书一部分的附图，附图中以图示方式示 出可用来实施本专利技术的特定实施例。将会理解，在不脱离本专利技术的范围的 情况下，其他实施例可被利用，并且结构改变可能发生。例如，本领域技 术人员将会理解，用来描述各个实施例的术语场或帧或图像在参考视频数 据使用时可以互换。适应性影响区域(adaptive area of influence, AAOI)时间滤波器在预 测目标图像时自动适应于不规则的运动向量模式、对象特征和空间纹理。 AAOI滤波器在时域中作用于经运动补偿的信号，这不同于其他方法，其 他方法试图直接对运动向量进行滤波(例如运动向量域中的三角滤波)。 例如，由于AAOI滤波方法在时域中操作，因此更易修改以适应于对象和 空间纹理。在一个实施例中，AAOI滤波器执行两级过程(two stage process)，以在像素预测期间耦合相邻的运动向量。第一级使得滤波器适 应于不规则的运动向量采样模式、对象形状以及边界。第二级使得滤波器 适应于图像的空间纹理。适应性时间滤波过程的示例如图2A所示。在203，目标图像、 一个 或多个参考图像以及目标图像中运动对象的边界被接收。在210，利用运 动对象边界，针对目标图像生成不规则的运动向量采样模式。在220，目 标图像被划分成影响区域(AOI)单元，其中每个AOI单元具有一个运动 向量作为其节点。在230，每个运动向量的初始值被估计。在240，适应 性影响区域滤波器被应用到AOI单元，以生成目标图像的预测。在250， 由滤波器产生的预测结果被用于重新估计运动向量的值，以便提高适应性 滤波器的精确度。在260，在某些实施例中，该过程返回240以减小由适 应性影响区域滤波器产生的预测误差。否则，过程在270结束。实现图2A所示方法的逻辑器件的示例如图2B所示。该逻辑器件280 包括接收目标图像和参考图像的接收器281。接收器281还接收来自目标 图像的针对运动对象的边界的数据。生成器283使用针对运动对象的边界 的数据来生成针对目标图像的不规则的运动向量采样模式。划分器285将 目标图像划分成影响区域单元，每个影响区域单元包含运动向量之一。预测器287将适应性的影响区域滤波器应用到影响区域单元以生成对目标图 像的预测。图2A的元件现在将被更详细论述。在图2A的205处从目标图像提 取出的运动对象边界的示例如图3A的块320所示。在块320中，黑色区 域对应于目标图像310的背景区域。白色区域对应于相对于背景运动的 人，并且灰色区域对应于目标图像的前景(foreground)区域，该前景区 域也相对于背景呈现出运动。在图2A的210处利用运动对象边界生成的 不规则的运动向量模式的示例如图3B的块330所示。图像330中的白点 代表运动向量。对于这种适应性采样模式，运动向量沿着运动对象边界更 集中，运动对象边界是难以从参考图像预测出的区域。较少量运动向量置 于简单运动区域(例如背景区域)中。在某些实施例中，不规则的运动向量模式是利用图4A所示方法在图 2A的210处生成的。在410，运动向量被置于运动对象的质心。在420， 利用某些参数将不规则的运动向量模式放置在对象边界周围，所述参数例 如是沿着边界的切线的两个运动向量之间的距离d;沿着处于边界法向的 路径，边界内的运动向量和边界外的运动向量之间的宽度w。内步幅 (inside stride) istr确定边界内沿着法向路径的运动向量的数目；并且外 步幅(outside stride) ostr确定边界外沿着法向路径的运动向量的数目。所述参数可以根据沿边界的运动程度和边界的清晰程度而变化。例 如，如果运动很复杂并且边界粗糙，则w和d的值减小，并且内步幅和外 步幅的值增大，以将更多运动向量放置在该区域中。或者，如果对象的运 动简单并且边界清晰，则需要的运动向量更少。因此，w和d的值增大， 并且步幅值减小。结果是沿着运动对象边界的不规则的运动向量模式。在430，运动对象被从目标图像中删除，从而保留背景区域。在 440,从背景区域生成不规则的运动向本文档来自技高网...

【技术保护点】
一种方法，包括：接收目标图像，其中对象在所述目标图像中的位置不同于所述对象在参考图像中的位置；使用所述对象的边界来生成不规则的目标图像运动向量模式；使用所述目标图像运动向量将所述目标图像划分成影响区域单元，其中每个影响区域单元包含所述目标图像运动向量中的唯一一个；以及通过将适应性影响区域滤波器应用到所述影响区域单元来生成所述目标图像的预测。

【技术特征摘要】
【国外来华专利技术】US 2005-9-16 11/228,6101.一种方法，包括接收目标图像，其中对象在所述目标图像中的位置不同于所述对象在参考图像中的位置；使用所述对象的边界来生成不规则的目标图像运动向量模式；使用所述目标图像运动向量将所述目标图像划分成影响区域单元，其中每个影响区域单元包含所述目标图像运动向量中的唯一一个；以及通过将适应性影响区域滤波器应用到所述影响区域单元来生成所述目标图像的预测。2. 如权利要求1所述的方法，其中使用所述对象的边界来生成不规则 的目标图像运动向量模式的步骤包括将运动向量放置在所述对象内；以及使用与所述边界相关联的至少一个参数来与所述边界相关地分布运动 向量。3. 如权利要求1所述的方法，其中应用所述适应性影响区域滤波器的 步骤包括-修改针对所述边界附近的影响区域单元的滤波器； 使用经修改的滤波器来估计封闭区域；以及 使用不具有所述封闭区域的参考图像来预测所述目标图像。4. 如权利要求3所述的方法，其中修改针对所述边界附近的影响区域 单元的滤波器的步骤包括将每个影响区域单元修改为包括与针对该影响区域单元的运动向量属于同一运动层的像素，从而使得<formula>formula see original document page 2</formula>其中，x是要预测的像素，x,是iV个运动向量的集合中的一个特定运动向量/的像素位置，o,是对象针对运动向量,的运动层分配，n是针对所述特 定运动向量,的影响区域单元并且集合乂eiVj力'表示所有其他运动向量。5. 如权利要求3所述的方法，其中修改针对所述边界附近的影响区域单元的滤波器的步骤包括 估计封闭区域；以及在所述封闭区域周围修改所述滤波器。6. 如权利要求5所述的方法，其中在所述封闭区域周围修改所述滤波 器的步骤包括针对所述封闭区域外部的每个运动向量，将针对该运动向量的影响区 域单元修改为包括处于所述封闭区域外部的与该运动向量属于同一运动层 的像素，从而使得= [x i ;c e O,， J/W(义，a) < ^to(义,义-,/到) 其中，x是要预测的像素，x,是7v个运动向量的集合中的一个特定运动向量/的像素位置，o,是对象针对运动向量z的运动层分配，r,是针对所述特定运动向量/的影响区域单元并且集合^7v,乂 T^表示所有其他运动向量，并且c表示所述封闭区域。7. 如权利要求5所述的方法，其中在所述封闭区域周围修改所述滤波器的步骤包括针对所述封闭区域外部的每个运动向量，将针对该运动向量的影响区 域单元修改为包括处于所述封闭区域外部的与该运动向量属于同一运动层的像素；针对所述封闭区域内的每个像素，使用滤波器权重为1的最近的运动 向量来预测所述像素；并且针对所述封闭区域外部...

【专利技术属性】
技术研发人员：马里奥帕尼科尼，詹姆斯J卡里格，苗周荣，
申请(专利权)人：索尼电子有限公司，
类型：发明
国别省市：US[美国]