测定帧图像间主运动的方法技术

为了改善测定的稳定性，用于测定两个帧图像间主运动的方法，该方法结合了一种相位相关峰测定算法（１）和一种多分辨率的稳定回归算法（３）。（*该技术在2020年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及一种测定视频序列两个相续帧图像间主运动的方法。该方法对所有类型的景物或摄像机运动图形均有效。帧图像间主运动的测定是测定或分割两个相续帧图像间的视在运动的一个重要步骤。在测定一个密集的运动区域过程中，通过在帧图像的大部分范围内提供一种接近实际视在运动的初始运动来大大提高测定速度。特别是在主运动不恒定的情况下，它就不是一种单纯的平移视在运动，而是更复杂的运动，诸如摄像机的变焦和围绕光轴的旋转运动。在一个运动分割过程中，由于它可以被施加于整个帧图像以及帧图像的局部，所以它代表了识别局部运动的一个基本步骤。通常，用于测定两个相续帧图像间主运动的主要方法是一种基于稳定回归的方法，以下称为“稳定回归整体运动测定”。该算法具有以下主要特点·它利用具有很少几个参数的整体运动模型来表示主运动。在多数情况中，选择一种能很好兼顾视在运动的实际情况和计算复杂性的仿射运动模型。它可以良好近似地描述由摄像机运动(如摄像机移动、摇镜头、俯仰、变焦距以及这些运动的任意组合运动)产生的视在运动。·利用一种稳定回归算法实现对该模型的参数的测定，它理论上允许从测定过程中除去非本体像素，即运动不同于主运动的像素。·该测定方法可以在未作预先密集运动帧测定时使用。用于整体运动测定方法的数据指原始帧图像。该方法是以通过熟知的“光通量约束”测定每个像素点的时间-空间亮度函数梯度为基础的。·为了处理大运动幅度，该方法可以在一个多分辨率的方案中实现。许多情况下，这种算法能获得满意的结果并能识别主运动。然而，该方法强烈地依赖于整体运动的初始值。通常，将该整体运动的初始值设定为零。此外，存在测定方法不能测定而提供错误整体运动的许多图形结构。如果原始帧图像的纹理差并含有大量的均匀区域，即使实际主运动幅度很大，该过程通常也向小幅运动收敛。当由摄像机跟踪的一个大前景物移到后景时，这种现象尤其明显。这个问题可容易地解释为如前所述，这种“运动”的观测基于时间-空间梯度；在均匀的或纹理差的区域，这些观测显然具有很少的信息。如果这种区域占居了帧图像的大部分，那么该算法就不能收敛成一个正确的运动值，并且认为某种小运动会很好地适于这种运动观测。本专利技术的一个目的是解决上述确定的主要限制。本专利技术涉及一种测定两个帧图像间主运动的方法。它组合了相位相关峰测定算法和多分辨率稳定回归算法以改善测定的稳定性。以下将利用实例解释本专利技术，说明其某些特征并对附图说明图1和图2进行说明。图1是主运动测定算法的流程图；图2是用于测定平移运动的不同视窗配置的视图。本专利技术实现了一种适于多数景图形和摄像机摄取的图形的类属整体运动测定方法。该算法组合了两种整体运动测定方法，即相位相关峰测定法和多分辨率稳定回归法。相位相关峰测定算法是用于测定经过两帧图像间的一个视窗的整体平移运动的一种快速有效的工具。在此后描述的方法中，它被用于向多分辨率稳定回归算法提供可能的初始值。对于每个初始值，该算法计算出一个整体运动测定值。最后一步包括选择最佳测定值。图1是根据本专利技术的类属整体运动测定方法的流程图。设定时间常数t以及两个原始帧图像It和It-1，本方法的各步骤(在图1中由数字1到5确定)说明如下第1步利用相关峰测定算法，在帧图像中测定经过几个不同视窗的平移运动。图2示出了在一个使用了5个视窗的实例中视窗的定位。例如，根据整体运动所适合的像素区域，也可以使用移动的视窗。第2步平移运动按相同类分组。P平移运动矢量由步骤1测定的N平移运动矢量定义(P≤N)。第3步利用不同的可选初始值，测定帧图像的整体运动执行多分辨率的稳定回归算法。由每个余下的平移运动向量产生的运动与在先前时间(从帧图像It-2到帧图像It-1)测定的先前最终整体运动相加，在第一次测定时，该整体运动设定为零。第4步整体运动最佳测定方法的选择。该最终主运动向量在第5步被存储为先前主运动向量，以便在第2步和第3步处理下一个原始帧图像时使用。此后给出整体运动测定方法的详细描述。视频序列中二维视在运动的仿射模型是计算复杂性(只有6个参数需要确定)和实际情况(是二维视在运动的正确反映)之间的最佳折衷方法之一。如下就是这里所使用的运动模型。利用6个运动参数θ＝(a、b、α、β、γ、δ)T，按下列等式设计帧图像内一点(x，y)处的一个二维运动向量 在第一步完成了相位相关峰测定算法。相位相关的计算包括下列相续的相位·取两个尺寸(n，m)相同的像素视窗f1和f2。·将二维快速傅立叶变换(FFT)施于每个视窗的亮度分量，获得两个复合(n，m)单元阵列F1和F2。·相位差矩阵是通过构成互功率谱F1.F2并且除以其模量而得到。·为了修正相位相关峰结果，可将n.m维的加权函数用于相位差。此过程的目标是减少对相关表面产生干扰的噪音的影响。·相位差矩阵的逆傅立叶变换给出了具有峰值对应于候选平移的相关面。最后，搜寻主向量的运算包括在识别主平移的相关面寻找最大峰。第二步执行平移运动向量组运算。对于每个由用于一帧图像内不同视窗的相关峰测定算法所提供的测定平移运动向量 ，第一个测试完成·如果先前测定的主运动θ(先前帧图像)是平移运动，即如果α＝β＝γ＝δ＝0，且·如果主运动和 之间的欧几里德距离低于一个给定的阀值，则 就从平移向量表中删除。同样地，使用欧几里德距离将余下的平移向量一起进行比较。利用相同的测试将具有同样阀值的多余向量删除。(两个具有X1、Y1和X2、Y2分量的向量间的欧几里得距离等于√(x1-x2)2+(y1-y2)2)接着第三步完成多分辨率稳定回归算法。为了避免使用对大量运动或严重非平移运动无效的高代价的密集运动帧测定，整体运动测定方法基于帧图像亮度的时间-空间梯度，它通过熟知的“光通量约束方程”与二维视在运动联系起来。dx.ΔIx+dy.ΔIy+ΔIt＝0 等式2其中dx和dy是运动向量的两个分量，ΔIx、ΔIy以及ΔIt是亮度的时间-空间梯度，即对亮度导数的测定。当dx和dy根据整体运动模型由数值代替时，得出下面的等式(α-α.x-γ.y).ΔIx+(b-β.x-δ.y).ΔIy+ΔIt＝0 等式3为了对整个帧图像测定整体运动矢量θ＝(a，b，α，β，γ，δ)T，经典回归算法通过θ的6个参数使下式最小Σx,y((a-α.x-γ.y).ΔIx(x,y)+(b-β.x-δ.y).ΔIy(x,y)+ΔIt(x,y))2]]>然而，如果在该帧图像中有几个整体运动，则该过程将受到干扰并得出错误的测定。这就是使用稳定回归算法的原因。理论上它允许消除非本体像素(即与主运动不同的像素)。该算法包括使下式最小Σx,ywc(x,y)(a-α.x-γ.y).ΔIx(x,y)+(b-β.x-δ.y).ΔIy(x,y)+ΔI(x+y))2]]>其中wc(x，y)是一个使像素适于当前整体运动测定的加权函数。有几种函数可供wc选择(如Lorent本文档来自技高网...

【技术保护点】
测定两个帧图像间主运动的方法，其特征在于，组合了一种相位相关峰值测定算法（１）和一种多分辨率稳定回归算法（３）从而提高了测定的稳定性。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：克里斯托夫舍旺斯，爱德华弗朗索瓦，多米尼克托罗，蒂埃里维耶拉尔，
申请(专利权)人：汤姆森多媒体公司，
类型：发明
国别省市：FR[法国]