降低运动向量传输成本的运动估计方法技术

技术编号:2950679 阅读:198 留言:0更新日期:2012-04-11 18:40
一种包括将视频图像分段为图像块对各图像块进行运动估计以获得运动矢量场的方法。其特征在于,该方法包括通过在属于矢量场的N个主向量中选择一个运动向量,对块重新指定向量的步骤。本申请涉及例如通过图像块匹配的运动估计。(*该技术在2019年保护过期,可自由使用*)

【技术实现步骤摘要】

本专利技术涉及应用于MPEG视频编码的运动估计方法。在视频编码过程中实现的大多数运动估计算法均使用“块匹配”技术。图像被分段为N*N大小的块,称为宏块,并且估计器搜索能使当前图像块与基准图像块之间的差值最小的向量。此差值通常指对亮度像素计算的MSE(均方差值)或MAE(平均绝对差值)。由于该估计器是基于亮度的变化而不是基于此序列中的实际运动的,所以它提供不均匀运动区域。这必然会产生编码器的编码开销,并且由于编码过程通常是差分过程,所以会降低性能。本专利技术的目标就是克服上述缺陷。本专利技术的目的是提供一种运动估计方法,该方法包括将视频图像分段为图像块、对各图像块进行估计以获得运动矢量场,其特征在于,该方法包括通过从属于矢量场的N个主向量中选择一个运动向量以将向量重新指定到块的步骤。根据一个特定实施例,对于主向量,检测二级区域最大值以便在选择其它主向量时不考虑它。根据另一个实施例,在四个方向的各方向选择主向量。根据本方法的特定实施例,根据相互移动图像的差值(DFD)选择重新指定向量。本专利技术的特定特征包括,当与N个主向量有关的DFD大于与初始向量有关的DFD时采用零向量,或者当与N个主向量有关的DFD大于与初始向量有关的加权DFD时实际保持初始向量。根据本方法的另一个实施例,根据对相互图像差值块(当前块一估计块)中的活动性(空间梯度)的计算,来选择重新指定向量。如果对应于N个主向量的活动性大于对应于初始向量的活动性,则采用零向量。如果对应于N个主向量的活动性大于对应于初始向量的加权活动性,则保持初始向量。根据本方法的另一个特定实施例,对于各图像,从当前图像的矢量场与至少一个以前图像的矢量场之间选择主向量。根据本专利技术,利用“块匹配”估计器计算的运动矢量场可以被均匀化。通过以下参考附图和实例的说明,本专利技术的特征和优势将更加明显,其中附图说明图1示出运动向量的直方图;图2示出区域最大值搜索滑窗;图3示出中值滤波的实例;图4示出被考虑的以前图像向量的实例;图5示出在图像缩放期间的运动矢量场;图6示出可以检测的各种运动;利用有条件的重新指定方法,可以实现对矢量场的均质化作用。利用估计器来计算并存储与序列图像有关的向量。为了完成对此向量的处理过程,建立512*512的二维直方图,在该直方图中,坐标代表数值(dx,dy),它们是这些向量的水平分量和垂直分量。在图1的左侧部分示出包含定位了运动向量的宏块的图像,在图1的右侧示出相应的直方图。主向量的选择为了使运动区域更均匀,方法是采用特定数目的向量,用户将运动区域固定到第一位置。与不均匀运动比较,该数目较大。第一种方案包括采用N个对应于视在最高频率的向量。另一种可能性是规定算法在四个定向平面的各平面选择N/4个主向量。由于根据在此序列中对图像缩放的检测进行输出,所以作为一种选择,可以采用此方案。这是因为这种现象必然会产生矢量场在所有方向上的分布。所设想的最后一个方案对区域最大值进行检测。这是因为,第一种方案的问题是可能会有几个相接近的最大值,这样与采用更少向量的方法相比并不具有太大优势。因此扫描直方图,将出现在其它更主要主向量附近的N个主向量中的向量剔除。因此,通过查看直方图来检验两个最大值是否位于相同滑窗(例如3*3大小的滑窗)内,来识别现存二级最大值。图2示出这种用于搜索区域最大值的滑窗(参考编号1),此滑窗以出现率为n、采用(dx,dy)的主向量为中心。选择被定位到宏块MB的向量、重新指定-DFD方法一旦选取了主向量,就获得了将这些向量中的各向量重新指定到各MB的准则。由于运动估计器利用最小DFD(移动帧差值)准则来计算运动向量,所以当利用此准则发现已采用向量与待处理图像的宏块之间的最大可能相符性时,运动估计器似乎有用。以其视在频率增加的顺序将向量排序后,对各MB计算与这些各向量有关的DFD。该计算过程可以被简化为下列公式Dfd(i,j)=Σk=0N-1Σl=0N-1|MBCurrent(i+k,j+1)-MBReference(i+k+dy,j+1+dx)|]]>其中(i,j)为待处理的MB的坐标;N(=16)为MB的大小;(dx,dy)为待检测的向量的分量,位于(-128;+127.5)。在应用此公式之前,重要的是校验待检验的向量未指到基准图像外。如果没有合适的向量,则指定零向量。因此,将对应于最小DFD的向量指定到各MB。—梯度方法此方法包括对包括预定基准图像和当前图像的“差值”图像的各MB查找对应于最小梯度的向量,最小梯度给出MB的局部活动性信息(水平梯度和垂直梯度)。MB_gradient=Σ4lumablocksblock_active]]>其中block_active=MAX(MAXi,j=0i=6,j=7|x(i,j)-x(i+1,j)|MAXi,j=0i=7,j=6|x(i,j)-x(x,j+1)|)]]>重新指定的改进DFD/梯度准则为了保持小尺寸对象的某种运动,确定了下列准则应用DFD方法后,如果对MB采用的向量产生的DFD大于加权初始DFD,则保持此初始向量。同样,关于梯度方法,对相互图像差值之后获得的各MB,将通过重新指定获得的梯度与初始向量的梯度进行比较。如果加权初始梯度小于该新梯度,则保持初始向量。对运动向量的滤波过程为了使矢量场更均匀,还可以采用其它准则,即空间滤波或时间滤波。—空间滤波所采用的滤波器为二维3*3中值滤波器以下将根据图3说明此原理,图3示出滤波前的图像(参考编号2)和滤波后的图像(参考编号3)。参考编号4所表示的向量为待处理的向量。将上述MB分量的水平与垂直邻近值沿方向(dx,dy)排列,然后,取各分量的中值。接着,对于一个分量被滤波,或两个分量均被滤波,或两个分量均未被滤波的情况,对与各MB有关的各DFD进行比较。显然,由于初始DFD被加权,这样就可以选择对应于最小DFD的向量。—时间滤波在图像向量的重新指定过程中,时间相干性方法考虑到以前图像的运动区域;这是为了限制一个图像与另一个图像之间在运动过程中的不一致性实现的。首先详细说明对前向向量(延后运动向量)进行时间滤波的原理。前向向量的空间时间域直方图为了考虑各种直方图,第一步首先对向量进行定标,然后根据所处理的直方图计算所占的权重,权重是各直方图的位置函数。因此,对于图4所示的P图像,可以将3倍权重的出现率、1倍权重的第一B向量(其振幅已乘3)的出现率以及2倍权重的第二B向量(其振幅已乘3/2)的出现率附加到初始向量直方图。当出现匀速运动时,应与时间相干性有关,并且不会出现运动中止(场景改变)。对于后向向量情况(预期运动向量)有理由认为,如果存在从一个图像到下一个图像的匀速“前向”运动,则在“后向”向量与B图像有关的情况下,它们还存在。为了对后者进行滤波,请务必不要忘记后向向量是基于P和I的,P和I在现在讨论的B之后。因此,对于第一个B,可以认为其后向向量将是与第二个B有关的后向向量的二倍。在与第一个B有关的直方图中,利用系数2对后者的向量进行定标,并加入加权出现率。均匀区域的检测对诸如图像缩放的具有多个方向运动的序列重新指定N个向量的想法不切实。这是因为,在这种非常特定的情本文档来自技高网...

【技术保护点】
一种包括将图像分段为图像块、对各图像块进行运动估计以获得运动矢量场的运动估计方法,其特征在于,该方法包括通过从属于矢量场的N个主向量中选择一个运动向量将向量重新指定到块的步骤。

【技术特征摘要】
...

【专利技术属性】
技术研发人员:克里斯托夫舍旺斯皮埃尔鲁埃洛多米尼克托罗
申请(专利权)人:汤姆森多媒体公司
类型:发明
国别省市:FR[法国]

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1