一种全局运动补偿算法制造技术

本发明专利技术涉及一种全局运动补偿算法，该方法首先确定一个目标帧，然后对每相邻视频帧进行全局运动参数估计得到相邻帧运动变换，再迭代地将对象在原帧的坐标通过连续相邻帧的变换依次映射到目标帧，最后得到的目标帧即经过补偿得到的结果帧。本发明专利技术提出基于L1范数最小化的全局运动参数估计方法和基于相邻帧运动参数迭代映射的全局运动补偿方法，从视频的原始轨迹中获得出对象的真实运动轨迹。本发明专利技术提出全局运动参数估计和补偿算法能有效地把握全局运动的规律，并从中准确恢复出目标对象的真实运动轨迹。

【技术实现步骤摘要】
一种全局运动补偿算法
本专利技术涉及视频处理方法，特别涉及一种全局运动补偿算法。
技术介绍
在互联网技术、移动终端和媒体技术飞速发展的时代，以视频为主流媒介的自媒体已迅速普及，并极大地改变了信息的传播生态。在自媒体时代，普通民众可以随时随地通过个人摄录、通讯工具(如智能手机等)拍摄记录目击事件,并在互联网上分享传播。然而，这种拍摄行为具有自由开放性和非正式性，使得自媒体视频普遍存在内容杂乱、失实的现象。因此，基于对象行为分析的视频内容理解技术是目前对自媒体信息有效监管的迫切需求。基于对象行为的视频分析需要提取视频对象的运动轨迹，但事实上，自媒体视频往往是由业余拍摄者(普通民众)采用手持设备拍摄，视频普遍存在较明显地相机运动，而这种运动会掩盖对象的真实运动。例如，若视频拍摄者随着目标对象一起运动，相机的全局运动就会抵消对象的真实运动，造成对象处于静止状态的假象。此外，全局运动还普遍存在于自动驾驶的单目或双目摄像头中，对目标测距及碰撞时间计算造成影响。视频序列图像由前景和背景构成，其中背景的运动通常由相机位置变化造成，称为全局运动；而图像中的运动对象代表前景，前景运动是运动对象相对于摄像机的运动，为局部运动。全局运动估计是对视频序列的背景运动进行建模，找到背景运动的规律。但在具有复杂背景的动态视频中前景和背景往往有较多噪声，从而导致全局运动估计存在误差。多年来，对全局运动估计和补偿的研究已积累了一定基础。其中，大多数方法为采用基于参数的全局运动估计，例如，基于六参数仿射模型的全局运动估计和基于八参数透视模型的估计方法。在研究方法上，主要是应用运动参数模型预测当前帧运动，并通过最小化与经过运动补偿后参考帧的匹配误差来确定模型参数。一种实现方案是采用梯度下降方法来最小化残差的L2范数。但由于序列图像中存在前景对象的局部运动和噪声，而最小化残差平方和会尽量包含这些局外数据，因此对于背景复杂的全局运动估计，该类方法将会失效。另一种方案是利用随机采样一致性算法(RandomSampleConsensus,RANSAC)来确定模型参数。这种方法迭代地寻找只有全局运动内点，而将有局部运动的前景对象和噪声视为外点。AlibayM等人使用抢占式RANSAC算法引入了运动模型的拉格朗日混合评分的方法来计算运动参数。相较于之前的算法，抢占式RANSAC算法的速度和精度都有明显提升。但总体来说，基于RANSAC的算法得到可信模型的概率与迭代次数有关，且对内点阈值敏感，因此可能无法得到最优估计。
技术实现思路
针对现有技术存在的上述问题，本专利技术的目的是提供一种全局运动补偿算法，该算法有效地把握全局运动的规律，并从中准确恢复出目标对象的真实运动轨迹能。为实现上述目的，本专利技术采用如下技术方案：一种全局运动补偿算法，首先确定一个目标帧，然后对每相邻视频帧进行全局运动参数估计得到相邻帧运动变换，再迭代地将对象在原帧的坐标通过连续相邻帧的变换依次映射到目标帧，最后得到的目标帧即经过补偿得到的结果帧。作为改进，设视频段共有N帧图像，视频段的中间帧fM为目标帧，设全局运动参数集为τ；设第i帧图像与第i+1帧图像的全局运动参数为τi，第i帧图像为源帧图像，第i+1帧图像为目的帧图像，对于fM之前的所有帧，将对象在第i帧图像坐标依次应用全局运动参数τi变化映射到第i+1帧图像，i＝1,2,…,M-1；设第j帧图像与第j-1帧图像的全局运动参数为τj，第j帧图像为源帧图像，第j-1帧图像为目的帧图像，对于fM之后的所有帧，将对象在第j帧图像坐标依次应用全局运动参数τj变化映射到第j-1帧图像，j＝N,N-1,…,M+1。作为改进，所述相邻两帧之间的全局运动参数是求解方法是：通过当源帧图像经过全局运动参数映射变换后得到的参考帧图像与源帧图像的目的帧图像之间误差的L1范数最小化进行求解。作为改进，所述任意两个相邻帧之间的全局运动参数通过如下方法计算，具体步骤如下：1)输入源帧图像R和源帧图像的目的帧图像F；初始化仿射参数τ0、Δτ和拉格朗日乘子Y，Δτ是初始化为0的矩阵，τ0和Y的初始化值为经验值；2)根据公式(1)计算真实残差帧S，S＝F-R(1)；初始化|S′|1＝∞；3)根据公式(2)计算预测残差帧S；其中，J雅可比矩阵；4)当|S′|1>|S|1时执行5)，否则执行10)；5)计算经仿射变换的参考帧F′、参考帧F′沿着X方向的梯度图像F′x和参考帧F′沿着Y方向的梯度图像F′y；其中，τ＝τ0，Rx和Ry分别表示源帧图像R沿着X和Y方向的梯度图像；6)根据公式(4)计算当前的雅可比矩阵J；J＝[RxpxRxpyRxRypxRypyRy](4)其中，px和py分别表示源帧图像中像素的沿X和Y方向的梯度；7)根据公式(5)计算稀疏残差帧ΔF：8)求解全局运动参数估计的目标函数公式(6)将公式(6)转化为交替地求解两个分别相对于S和Δτ的子问题以及拉格朗日乘子更新的问题，具体如下：a)通过软阈值法求解相对于S的子问题，参见公式(7-1)和(7-2)：其中，为以μ-1为阈值的软阈值函数；更新预测残差帧S；b)通过最小二乘求解相对于Δτ的子问题，参见公式(8-1)和(8-2)：其中，为雅可比矩阵J的逆；更新Δτ；c)采用公式(9)计算拉格朗日乘子Y：Y←Y+μ(JΔτ+s-ΔF)(9)：其中，μ表示拉格朗日参数；更新拉格朗日乘子Y；9)令τ0←τ0+Δτ，返回4)；10)赋值τ＝τ0；输出参考帧F′；输出稀疏残差帧作为改进，利用对象检测的矩形区域对每一对象定义一个二值掩模M，M中运动对象对应位置的元素为0，其余背景像素对应位置的元素为1；于是上述全局运动参数估计的目标函数(6)转变为：相对于现有技术，本专利技术至少具有如下优点：本专利技术提出基于L1范数最小化的全局运动参数估计方法和基于相邻帧运动参数迭代映射的全局运动补偿方法，从视频的原始轨迹中获得出对象的真实运动轨迹。实验结果表明本专利技术提出全局运动参数估计和补偿算法能有效地把握全局运动的规律，并从中准确恢复出目标对象的真实运动轨迹。附图说明图1为示例视频中目标对象的原始轨迹和真实轨迹示意图。(a)中白色曲线是通过直接应用跟踪算法得到的两目标对象的原始运动轨迹；(b)中白色曲线是经过全局运动补偿后目标对象的真实轨迹。图2为图1视频段基于相邻帧运动参数迭代映射的全局运动补偿方法原理图。图3为全局运动补偿实验数据集示例。图4为视频段原序列帧。图5为对应图4示例视频段的对象利用基于不同运动补偿方法纠正后的运动轨迹。图中，第二排左侧第一帧为图5视频段的中间帧，(a)中白色曲线为运动跟踪后运动对象的原始轨迹，(b)中白色曲线为利用本专利技术方法补偿后的运动对象轨迹，(c)中白色曲线为利用基于RANSAC的全局运动补偿后的运动轨迹。图6为图4全局运动纠正结果对比；(a)对象1基于本专利技术运动补偿算法的轨迹纠正，(b)对象1基于RANSAC的轨迹纠正，(c)对象2基于本专利技术运动补偿算法的轨迹纠正，(d)对象2基于RANSAC的轨迹纠正。图4中穿深色裤子的人为对象1，图4中穿浅色裤子的人为对象2。图7为部分实验结果。图中的每一帧都是来自不同视频段的中间帧，展示了全局运动纠正的结果；(a)中左侧第一张图中的白色线条为运动跟踪本文档来自技高网...

【技术保护点】
1.一种全局运动补偿算法，其特征在于：首先确定一个目标帧，然后对每相邻视频帧进行全局运动参数估计得到相邻帧运动变换，再迭代地将对象在原帧的坐标通过连续相邻帧的变换依次映射到目标帧，最后得到的目标帧即经过补偿得到的结果帧。

【技术特征摘要】
1.一种全局运动补偿算法，其特征在于：首先确定一个目标帧，然后对每相邻视频帧进行全局运动参数估计得到相邻帧运动变换，再迭代地将对象在原帧的坐标通过连续相邻帧的变换依次映射到目标帧，最后得到的目标帧即经过补偿得到的结果帧。2.如权利要求1所述的全局运动补偿算法，其特征在于：设视频段共有N帧图像，视频段的中间帧fM为目标帧，设全局运动参数集为τ；设第i帧图像与第i+1帧图像的全局运动参数为τi，第i帧图像为源帧图像，第i+1帧图像为目的帧图像，对于fM之前的所有帧，将对象在第i帧图像坐标依次应用全局运动参数τi变化映射到第i+1帧图像，i＝1,2,…,M-1；设第j帧图像与第j-1帧图像的全局运动参数为τj，第j帧图像为源帧图像，第j-1帧图像为目的帧图像，对于fM之后的所有帧，将对象在第j帧图像坐标依次应用全局运动参数τj变化映射到第j-1帧图像，j＝N,N-1,…,M+1。3.如权利要求2所述的全局运动补偿算法，其特征在于：所述相邻两帧之间的全局运动参数是求解方法是：通过当源帧图像经过全局运动参数映射变换后得到的参考帧图像与源帧图像的目的帧图像之间误差的L1范数最小化进行求解。4.如权利要求3所述的全局运动补偿算法，其特征在于：所述任意两个相邻帧之间的全局运动参数通过如下方法计算，具体步骤如下：1)输入源帧图像R和源帧图像的目的帧图像F；初始化仿射参数τ0、Δτ和拉格朗日乘子Y，Δτ是初始化为0的矩阵，τ0和Y的初始化值为经验值；2)根据公式(1)计算真实残差帧S，S＝F-R(1)；...

【专利技术属性】
技术研发人员：冯欣，蒋友妮，杨武，张杰，石美凤，高瑗蔚，张洁，殷一皓，刘曦月，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：重庆,50