视频压缩中自适应运动向量采样的多阶段连接过程制造技术

一种对图像进行滤波的方法包括接收目标图像数据并将多阶段滤波器应用到目标图像数据。滤波的每个阶段包括生成运动向量采样样式，使用目标图像数据和运动向量采样样式来生成目标图像数据的时间预测，以及使用目标图像数据的时间预测来生成目标图像数据的空时变换。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及视频压縮领域。
技术介绍
在视频编码中，压縮过程通常涉及时间预测滤波器和用于空间滤波的残差滤波器。残差滤波器可使用离散余弦变换(DCT)、小波或提升变换(lifting transform)。时间预测滤波器允许通过一组(通常为1或2幅) 参考图像来预测目标图像。时间预测滤波器使用一组运动向量和一个滤波 器，所述运动向量表示相对于参考图像在目标图像中改变位置(即移动) 的对象，所述滤波器对运动向量数据进行操作。用于时间预测的标准方法 使用规则或统一的运动向量样式来为运动向量所表示的每个块执行简单的 运动补偿。存在在目标图像中使用不规则运动向量样式的趋势。不规则运动向量 样式是由于为了改进时间预测而调整目标图像中的运动向量位置(例如， 运动对象边界处运动向量较多，背景区域中运动向量较少)引起的。但 是，生成不规则运动向量样式常常是很复杂的过程，而且通常在不考虑空 时滤波的效果的情况下对目标图像执行这一过程。因为空时滤波和不规则 运动向量采样的效果之间可能存在很大的重叠，所以这一过程不是所希望 的。例如，即使图像的某些区域可能有复杂的运动，它们也会由于空间关 联性很高而非常容易被过滤。因此，这些区域不需要不规则分布的运动向 量。因为可以使用简单、统一的运动向量样式来避免生成不规则运动向量 样式的复杂度代价。传统方法无法将不规则运动向量样式的生成与空时滤 波的结果相联系。
技术实现思路
一种对图像进行滤波的方法包括接收目标图像数据并将多阶段滤波器 应用到目标图像数据。滤波的每个阶段包括生成运动向量采样样式，使用 目标图像数据和运动向量采样样式来生成目标图像数据的时间预测，以及 使用目标图像数据的时间预测来生成目标图像数据的空时变换。附图说明本专利技术通过示例方式加以阐述，并可通过结合附图参考下面的描述而 得到更好的理解，图中图l示出连接方法的示例；图2示出由图1的方法产生的中间结果的示例；图3示出图1的方法中使用的空时变换的示例；图4示出图1的方法中使用的自适应时间滤波过程的示例；图5示出图4的方法中使用的运动向量样式的示例；图6示出使用图4的方法生成时间预测的示例；图7示出通过使用图1的方法生成时间预测所产生的中间结果的示例；图8示出生成图1的方法所使用的运动向量样式的示例； 图9示出使用图1的连接方法的系统的示例。具体实施方式在下面的描述中，参考形成本文一部分的附图，所述附图中通过图解 的方式示出了可实施本专利技术的具体实施例。应该理解，在不脱离本专利技术范 围的前提下，可以使用其他实施例，并做出结构改变。例如，技术人员将 理解，用来描述各种实施例的术语"场"或"帧"或"图像"在针对视频 数据来使用时一般可互换。类似地，技术人员将理解，在针对视频数据来 使用时，术语"规则分布的运动向量"和"均匀分布的运动向量" 一般可 互换，术语"不规则运动向量样式"和"自适应运动向量样式" 一般可互 换。一种将运动向量样式生成与空时预测相联系的方法通过多个阶段将空 时变换应用到目标图像。该变换处理来自目标图像的空间数据和来自被预 测图像的时间数据。在该方法的前几个阶段，目标图像中的空间数据高度 相关。换言之，来自图像一部分的空间数据通常提供对图像相邻部分中的 空间数据的精确预测。因此，该方法的早期阶段较之于时间预测更依赖于 空间预测。例如，在早期阶段中，所生成的运动向量样式以规则样式或近 乎规则样式分布。当运动向量以均匀的间隔在目标图像上均匀分布时，运 动向量样式是规则的。在本方法的后期阶段，由于低通滤波的作用，空间关联性减小。因此 后期阶段中所生成的运动向量样式是不规则的，以便较之于空间预测更依 赖于时间预测。通过一开始使用空间数据和规则运动向量样式来预测目标 图像，压縮版的目标图像可被使用不规则运动向量样式和时间数据进一步 压縮。结果，为具有较小尺寸的部分压縮的目标图像生成不规则运动向量 样式没有为完整的目标图像生成不规则样式复杂。多阶段连接方法的示例在图1中被示出。在110中，编码器接收输入 目标图像和一幅或多幅参考图像组。每幅参考图像包含先前解码的数据， 并且对编码器和解码器都可用。在120中，编码器生成运动向量的第一采 样样式并将其应用到目标图像。在本例中，因为目标图像上的空间关联性开始很强，所以采样样式是规则的。在130中，自适应时间预测滤波器使用目标图像、规则运动向量样式和参考图像组来生成目标图像的第一预 测。自适应时间预测滤波器的一个示例是下面讨论的自适应影响范围(AAOI)滤波器。在140中，第一阶段的空时变换被应用到目标图像和 第一预测，以产生目标图像的第一变换。在某些实施例中，第一变换包括 目标图像的第一低通数据和第一高通数据。在150中，编码器生成运动向量的第二样式并将其应用到目标图像的 第一低通数据。在本示例中，因为由于第一阶段变换的平均过程在第一低 通数据中失去了一些空间关联性，所以第二采样样式不如第一采样样式规 则。在160中，自适应时间预测滤波器使用运动向量的不规则采样样式、 目标图像的第一低通数据、参考场组和第一预测来生成目标图像的第二预测。在170中，第二阶段的空时变换被应用到目标图像的第一低通数据和 第二预测，以产生目标图像的第二变换。在某些实施例中，第二变换包括 第二低通数据和第二高通数据。在180中，给定由第二阶段变换产生的目标图像的第二低通数据，编码器生成运动向量的第三样式。在本示例中，因为更多的空间关联性由于 第二阶段变换的平均过程而失去，所以第三样式比第二样式更不规则。在190中，自适应时间预测滤波器使用运动向量的第三不规则样式、目标图 像的第二低通数据、参考图像组和第二预测来生成第三预测。在195中， 第三阶段的空时变换被应用到第三预测和第二低通数据，以生成包含第三 低通数据的目标图像的第三变换，在197中，对在本示例中作为最终残差 的第三低通数据进行熵编码，并将编码系数发送到解码器。图1示出具有 三个阶段的多阶段连接方法的示例。通常，对于任意数目的阶段，都可应 用该多阶段连接方法，且阶段的数目可以固定或者针对每个目标图像来修 改以使压縮最大化。图1的方法所产生的中间结果的示例分三个阶段显示在图2中。块 210示出编码器接收的目标图像。目标图像在被滤波之前具有高度的空间 关联性。因此，如块220所示，规则运动向量样式被应用到目标图像并被 输入到自适应时间预测滤波器以产生第一预测。第一阶段的空时变换使用 第一预测和目标图像来产生第一变换，包括第一低通数据L,和第一高通数 据Hp如块240所示。低通数据的示例是被平均或压縮的数据，高通数据 的示例是通过原始目标图像减去目标图像的预测所获得的残差数据。不规则运动向量样式被生成并被应用到目标图像的第一低通数据"， 如块250所示。然后自适应时间预测滤波器使用第一低通数据、第一预测 和不规则运动向量样式来产生第二预测。第二阶段的空时变换使用第二预 测和第一低通数据来产生第二变换，包括第二低通数据L2和第二高通数据 H2，如块260所示。相比于块210所示的初始目标图像的数据量，第二低通数据的量很 小。结果，为第二低通数据生成不规则运动向量样式没有为初始目标图像 生成不规则样式复杂。另外，第二低通数据的空间关联性远小于目标本文档来自技高网...

【技术保护点】
一种由电子数据处理器执行的方法，包括：　　　　接收目标图像数据；　　　　将多阶段滤波应用到所述目标图像数据，其中每个阶段包括一个滤波过程，所述滤波过程包括：　　　　生成运动向量采样样式；　　　　使用所述目标图像数据和所述运动向量采样样式来生成所述目标图像数据的时间预测；以及　　　　使用所述目标图像数据的时间预测来生成所述目标图像数据的空时变换。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：马里奥帕尼科尼，詹姆斯J卡里格，苗周荣，
申请(专利权)人：索尼电子有限公司，
类型：发明
国别省市：US[美国]