用受控向量统计特性进行运动估计和补偿制造技术

本发明专利技术提出的在视频图像数据内进行运动补偿的方法和系统包括：一个配置成分析视频图像数据的相继帧内的运动、按照所述运动得出一个运动向量场的运动估计器（１２），一个与运动估计器（１２）和第一存储装置（１５）连接的运动补偿器（１４）。运动补偿器（１４）配置成执行运动补偿，将视频图像数据的一个子集存储在一个第一存储装置（１５）内，对于每个向量从第一存储装置（１５）检索所需数据，在从第一存储装置（１５）得不到全部所需数据的情况下，从一个第二存储装置（１０）取得含有至少所需数据的遗漏部分的视频图像数据存入第一存储装置（１５）。运动估计器（１２）还配置成在视频运动向量场内选择满足至少一个统计特性的运动向量。（*该技术在2022年保护过期，可自由使用*）

【技术实现步骤摘要】

本申请与在视频图像数据内进行运动估计和补偿的方法和系统有关。
技术介绍
已知的进行运动估计和补偿的系统对接入片外存储器内的视频图像数据有明显的带宽要求。在有些系统中，用一个高速缓存器来降低这种带宽要求。由于在接入视频图像数据中的空间局部性(spatiallocality)，平均性能可以得到改善。然而，不能保证存在这样的空间局部性，因此最坏情况的性能得不到改善。这样就提供不了所保证的降低执行接入所需的带宽的要求。欧洲专利申请EP-A-0 294 957揭示了一种数字电视图像内运动向量处理的方法和设备。这个文件揭示了一个运动向量的滤波电路，用来提高在有些具体情况下向量的质量。这个滤波电路使运动估计器较为不易受噪声的影响，保证运动估计电路传送较可靠的零向量。G.de Haan等人在“采用3-D递推块匹配的真实运动估计”(“Truemotion estimation with 3-Drecursive block matching”，IEEE Trans.CSVT，Oct 1993，pp.368-388)和“用于经运动补偿的解交错、降噪和图像率变换的集成电路”(“IC for motion-compensated de-interlacing，noise reduction，and picture-rate conversion”，IEEE Trans.on CE，Aug.，1999，pp.617-624)中揭示了各种运动估计技术和实现方式。
技术实现思路
本专利技术旨在提供一种处理视频数据的运动估计和运动补偿的方法和系统，在应用一个很小的运动补偿数据高速缓存器的情况下，在所有可能情况下将在运动补偿期间存储器带宽的使用限制在某个最大极限。按照本专利技术，所提供的在视频图像数据内进行运动估计和运动补偿的方法包括下列步骤a)分析在视频图像数据的相继图像内的运动，按照所述运动得出一个运动向量场(motion vector field)；b)执行运动补偿，将视频图像数据的一个子集存储在一个第一存储装置内，对于每个向量从第一存储装置检索所需数据，在从第一存储装置得不到所需数据的情况下，从一个第二存储装置取得含有至少所需数据的遗漏部分的视频图像数据存入第一存储装置；其中，在步骤a)中视频运动向量场内的运动向量选择成满足至少一个统计特性。许多现有系统，如de Haan所揭示的实现方式，应用一个高速缓存器或二维缓存器存储一个图像的一个子集。运动补偿用运动向量从高速缓存器取得数据。在典型的系统中，高速缓存器或二维缓存器覆盖这些运动向量的整个搜索范围；通常它包括一些行存储器。这导致存储器比较大，例如720个像素宽和24行(关联的最大垂直向量范围为)。因此这样的高速缓存器需要缓存至少17,280个像素。本专利技术使运动补偿数据高速缓存器可以容量大大减小。它通常只存储几百个像素。如果没有专门措施，用一个小的运动补偿高速缓存器会导致在图像存储器和高速缓存器之间可能有很高的带宽要求。特别是在各个方向具有大量运动的复杂视频景象的情况下，高速缓存器的刷新速率可以引起可能超过可用带宽的过度数据通信量。结果，使刷新高速缓存器会太慢，这通常导致丢失一个输出图像。这认为是非常严重的不自然现象，应该避免。本专利技术允许使用一个小的高速缓存器，同时保证使用一个预定的最大带宽，它大大低于最坏情况下使用的带宽。很清楚，一个数据高速缓存器的效率取决于数据基准的空间局部性。这个局部性与高速缓存器的容量有关。对于一个大的数据高速缓存器，如在现有的系统中所用的，所有的数据接入将从缓存器取得数据。对于一个如在这里所提出的小的高速缓存器，一些数据请求将接入可从高速缓存器得到的数据，而其他请求将接入高速缓存器不能提供的数据。后一种情况引起数据高速缓存器的(局部)刷新，因此引起从图像存储器到高速缓存器的数据传送。由于在图像内数据接入的位置取决于运动向量，因此高速缓存器效率取决于向量场的统计信息。在采用诸如视频扫描率变换和时移录取之类的一些运动估计和补偿的应用中，在单个系统内运动估计后接着进行运动补偿。在这样的情况下，运动估计器可以控制成所计算的向量场遵从预定的向量统计信息。结果，保证在图像存储器与运动补偿高速缓存器之间的带宽使用低于某个极限。通过利用视频运动向量场的适当统计特性有可能保证在运动补偿器使用一个本机缓存器(或高速缓存器)时可以将接入片外存储器内的视频图像数据所需的带宽降低到某个所保证的范围。这将避免在一个景象内有许多复杂的运动的情况下所需的带宽可能超过可用带宽从而导致运动补偿处理的延迟。所需的统计特性可以通过优先选择改善需由运动补偿器执行的访问的空间局部性的候选运动向量获得。至少一个统计特性或限制可以取决于访问第二存储装置的第一带宽。这个第一带宽可以是第二存储装置可用的带宽，即受硬件特性的限制。或者，第一带宽也可以是运动补偿器可用的带宽。此外，至少一个统计特性可以取决于存储系统(即第一存储装置、第二存储装置和在第一和第二存储装置之间的通信装置(包括所支持的数据传送类型/协议))的至少一个体系结构特性。在另一个实施例中，根据访问第二存储装置的实际可用带宽动态地调整至少一个统计特性。通过动态地控制统计特性(例如随时确定统计特性)，可以影响由运动补偿所引起的来自第二存储装置的数据通信量。这对其他功能也访问第二存储装置的带有共享存储器的系统特别有用。在另一个实施例中，所述方法还包括使运动估计器实际使用的统计特性对另一个使用第一存储装置的系统可用的步骤。实际使用的统计特性可以与至少一个统计特性不同。而且，至少一个实际使用的统计特性可以用来确定访问第二存储装置实际使用的带宽，可以将可用带宽与实际使用的带宽之差用于另一个系统。例如，运动估计器可以向使用第二存储装置的另一个系统报告实际发现的统计信息。根据这信息，其他系统部件可以确定运动补偿的实际带宽要求。在运动补偿实际没有使用全部可用带宽的情况下，可以允许其他系统部件使用这个带宽。在另一个实施例中，步骤a)包括a1)确定图像的另一个子集的候选运动向量的一个集合；a2)按照一个先前所选的运动向量与每个候选运动向量之间的相关性计算至少一个损失值(penalty value)；a3)考虑候选运动向量的至少一个损失值和先前所选的运动向量的至少一个损失值和至少一个统计特性的统计信息从候选运动向量的集合中选择另一个运动向量。图像的这另一个子集可以与先前为了选择一个运动向量所处理的图像的子集水平邻接(左、右邻接)或垂直邻接(上、下邻接)。在相关性低于一个预定门限值时，向量是弱相关的，因此在运动补偿期间必需(部分)刷新第一数据存储装置。这将增大接入第二存储装置内的视频图像数据所用的带宽。损失计算为在运动补偿期间访问第二存储装置将需要的带宽的度量。通过考虑属于在从候选运动向量中选择一个运动向量时在当前图像内实际所选的运动向量的损失值的统计信息，包括新选的运动向量的损失在内的损失值的统计信息可以由至少一个输入运动估计器的统计特性限制。作为一个例子，所有损失值之和可以表示在运动补偿期间访问第二存储装置的一定带宽。在这里所揭示的方法中，这个和可以加以限制，从而就限制了带宽。在一些已知的运动估计方法中，选择是根据候选运动向量的匹配误差和候选运动向量的其本文档来自技高网...

【技术保护点】
一种在视频图像数据内进行运动补偿的方法，所述方法包括下列步骤：ａ）分析视频图像数据的相继图像内的运动，按照所述运动得出一个运动向量场；ｂ）执行运动补偿，将视频图像数据的一个子集存储在一个第一存储装置（１５）内，对于每个向量从 第一存储装置（１５）检索所需数据，在从第一存储装置（１５）得不到全部所需数据的情况下，从一个第二存储装置（１０）取得含有至少所需数据的遗漏部分的视频图像数据存入第一存储装置（１５）；其中，在步骤ａ）中视频运动向量场内的运动向量选择成 满足至少一个统计特性。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：RJ舒藤，AK里门斯，P范德沃尔夫，
申请(专利权)人：皇家菲利浦电子有限公司，
类型：发明
国别省市：NL[荷兰]