一种基于运动轨迹优化的视频稳定方法技术

本发明专利技术公开了一种基于运动轨迹优化的视频稳定方法。首先对输入的视频做全局相机运动轨迹的视频稳定，利用特征点匹配估计出原始相机运动轨迹，通过最优化运动轨迹的能量函数平滑相机运动轨迹。然后对稳定后的视频进行局部的稳定调整，将视频图像划分为一个个网格，分别估计每个网格内的相机运动并对相机运动进行平滑处理。最后对视频的全局运动进行再稳定调整，进一步提高视频的稳定性。本发明专利技术是一种使视频稳定性能好、鲁棒性高的视频稳定方法，能够对由相机抖动、拍摄设备不完善以及拍摄环境不佳所导致的拍摄视频的抖动进行修正，可提高观看视频的舒适度。

A video stabilization method based on trajectory optimization

The invention discloses a video stabilization method based on trajectory optimization. Firstly, the input video is stabilized by global camera trajectory. The original camera trajectory is estimated by feature point matching, and the camera trajectory is smoothed by optimizing the energy function of the trajectory. Then the stabilized video is adjusted locally, and the video image is divided into grids. The camera motion in each grid is estimated and smoothed. Finally, the video's global motion is further stabilized to further improve the stability of the video. The invention is a video stabilization method with good video stabilization performance and high robustness, which can correct the video jitter caused by camera jitter, imperfect shooting equipment and poor shooting environment, and can improve the comfort of watching video.

【技术实现步骤摘要】
一种基于运动轨迹优化的视频稳定方法
本专利技术涉及一种视频稳定方法，尤其涉及一种基于运动轨迹优化的视频稳定方法，属于电子稳像

技术介绍
近年来，随着便携式拍摄仪器的高速发展，业余的摄影影像的数量呈指数级增长。然而，业余摄影爱好者在采集视频的过程中，由于拍摄条件和采集设备的限制，往往在相机拍摄过程中无法保持设备长时间的稳定，导致拍摄的视频中存在抖动等不稳定现象。这些不稳定现象严重影响了拍摄视频的质量以及用户观看的舒适度。利用机械平台稳像方法，比如将相机固定在云台等拍摄平台上，可以减少视频的不稳定，但这种方法的缺点是设备重、价格昂贵等，同时由于工艺加工的原因，稳定精度有限。另一方面，采用基于图像处理的视频稳定技术具有成本低、稳定效果好等优势。近年来，视频稳定技术在视频监控、视频跟踪、车载移动拍摄和机器人导航等方面得到了广泛的应用。视频稳定技术是指：去除视频中非刻意的相机抖动，保留刻意的相机运动的过程。其问题的关键主要分为相机的运动估计和相机的运动平滑两部分。相机的运动估计是通过视频相邻帧之间的特征匹配估计图像之间的运动模型。运动平滑则是通过平滑处理减少视频相邻帧之间的剧烈抖动变化，使帧间运动轨迹更加平滑。SheneTN,SridharanK,SudhaN.Real-TimeSURF-BasedVideoStabilizationSystemforanFPGA-DrivenMobileRobot[J]//EEETransactionsonIndustrialElectronics,2016.公开了一种基于SURF(SpeededUpRobustFeatures)特征点匹配的实时视频稳定系统，该方法通过相邻帧的特征匹配估计相机全局运动，然后对视频帧应用低通滤波来去除抖动分量。LiL,MaX,ZhaoZ.Real-timevideostabilizationbasedonfastblockmatchingandimprovedKalmanfilter[C]//FifthInternationalConferenceonIntelligentControlandInformationProcessing.IEEE,2014.公开了一种基于块匹配的视频稳定方法，该方法通过块匹配方法估计相机全局运动模型，然后应用改进的卡尔曼滤波对运动轨迹进行补偿。YuH,ZhangW.MovingcameravideostabilizationbasedonKalmanfilterandleastsquaresfitting[C]//IntelligentControlandAutomation.IEEE,2015.公开了一种视频稳定方法，该方法分别采用卡尔曼滤波和最小二乘拟合方法对抖动视频进行运动补偿，并得到结论：最小二乘拟合在运动补偿方面比卡尔曼滤波性能更好，但卡尔曼滤波处理速度更快，更适合实时处理的场景。这三种方法都属于2D(2-dimensional)视频稳定方法，通过相邻帧的特征匹配或块匹配方法估计相机的全局运动模型，然后采用滤波的方法去除相机的抖动，从而提高视频的质量和观看的舒适度。近年来，由于2D视频稳定方法中估计的相机运动模型无法处理场景中的较大视差，研究者采用3D的方法来克服该问题。LiuS,WangY,YuanL,etal.Videostabilizationwithadepthcamera[C]//ComputerVisionandPatternRecognition(CVPR),2012IEEEConferenceon.IEEE,2012.公开了一种3D视频稳定方法。该方法结合彩色图像和Kinect拍摄的深度图像获取特征点的三维信息，并在世界坐标系下得到相邻帧之间的运动模型，然后应用曲线拟合方法对运动轨迹进行平滑。传统的基于SFM(structureformmotion)的3D视频稳定方法具有计算量大和受应用场景的限制等缺陷，该方法避免了这些弊端，提高了稳定方法的鲁棒性。但由于Kinect深度传感器获取的深度信息范围有限，只适用于室内场景，因此该方法对室外场景的稳定效果不佳。ZhouZ,JinH,MaY.Plane-BasedContentPreservingWarpsforVideoStabilization[C]//ComputerVisionandPatternRecognition.IEEE,2013.公开了一种基于平面的视频稳定方法，该方法将视频图像划分为一个个平面，对每个平面分别建立基于平面的三维模型，然后分别进行平滑处理。该方法降低了计算复杂度，提高了SFM重建的鲁棒性，但该方法依然受到SFM算法的约束和限制。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出了一种稳定性能更好、鲁棒性更高的基于运动轨迹优化的视频稳定方法，降低了由于视频不稳定导致的视频质量低和观赏的不舒适。为达到上述目的，本专利技术的构思是：首先对输入的视频做全局相机运动轨迹的视频稳定，利用特征点匹配估计出原始相机运动轨迹，然后对稳定后的视频进行局部的稳定调整，最后对视频的全局运动进行再稳定调整，进一步提高视频的稳定性。根据上述构思，本专利技术的技术方案是：一种基于运动轨迹优化的视频稳定方法，包括以下步骤：步骤1，视频初始稳定：首先提取视频的连续图像的特征点，进行特征点匹配，并对匹配特征点进行特征点筛选，剔除错误的特征点匹配，得到精准的特征点匹配，再根据精准的特征点匹配估计视频的原始相机运动轨迹；然后建立基于原始相机运动轨迹的能量函数，通过最优化能量函数得到最优的平滑运动轨迹；步骤2，视频图像合成：对经过上述步骤1处理后的视频进行图像合成，将视频的每帧图像划分为若干个网格，根据匹配特征点对应网格的四个顶点建立具有数据项和平滑项的能量函数，通过最优能量函数求得网格的最优变换矩阵，将变换矩阵分别应用在对应的网格，最终得到合成的图像；步骤3，视频稳定调整：对上述步骤2得到的视频应用光流法估计前后相邻帧之间的运动变换Torigna，该变换主要有三个参数组成：水平平移参数dx、垂直平移参数dy、旋转参数da；累计dx、dy、da得到视频的运动轨迹∑dx、∑dy、∑da；采用局部平滑方法计算出平滑运动轨迹参数∑dxavg、∑dyavg、∑daavg，结合上述参数得到新的变换参数dxsmoot、dysmoot、dasmoot为：dxsmooth＝dx+(dxavg-∑dx)dysmooth＝dy+(dyavg-∑dy)dasmooth＝da+(daavg-∑da)最终得到平滑后的运动模型Tsmoot；具体模型为：将Tsmooth应用于步骤2输出的视频上得到最终的视频稳定结果。所述步骤1的具体步骤为：步骤1.1，精准的特征点提取、匹配和筛选：对输入视频的前后视频帧提取特征点，并进行特征点匹配，为了提高匹配的准确性，首先采用欧氏距离比值判定的方法，验证匹配的准确性：其中d1是第t帧图像的特征点p和在第t+1帧图像中离它最近的特征点q之间的距离，d2是第t帧图像的特征点p和在第t+1帧图像中离它次近的特征点q′之间的距离；当d1和d2的比值超过预先设定的阈值时，则认为该特征点匹配不准确，剔除该匹配，否则保留该特征点匹配；其次应用双向验本文档来自技高网...

【技术保护点】
1.一种基于运动轨迹优化的视频稳定方法，其特征在于，包括以下步骤：步骤1，视频初始稳定：首先提取视频的连续图像的特征点，进行特征点匹配，并对匹配特征点进行特征点筛选，剔除错误的特征点匹配，得到精准的特征点匹配，再根据精准的特征点匹配估计视频的原始相机运动轨迹；然后建立基于原始相机运动轨迹的能量函数，通过最优化能量函数得到最优的平滑运动轨迹；步骤2，视频图像合成：对经过上述步骤1处理后的视频进行图像合成，将视频的每帧图像划分为若干个网格，根据匹配特征点对应网格的四个顶点建立具有数据项和平滑项的能量函数，通过最优能量函数求得网格的最优变换矩阵，将变换矩阵分别应用在对应的网格，最终得到合成的图像；步骤3，视频稳定调整：对上述步骤2得到的视频应用光流法估计前后相邻帧之间的运动变换Torignal，该变换主要有三个参数组成：水平平移参数dx、垂直平移参数dy、旋转参数da；

【技术特征摘要】
1.一种基于运动轨迹优化的视频稳定方法，其特征在于，包括以下步骤：步骤1，视频初始稳定：首先提取视频的连续图像的特征点，进行特征点匹配，并对匹配特征点进行特征点筛选，剔除错误的特征点匹配，得到精准的特征点匹配，再根据精准的特征点匹配估计视频的原始相机运动轨迹；然后建立基于原始相机运动轨迹的能量函数，通过最优化能量函数得到最优的平滑运动轨迹；步骤2，视频图像合成：对经过上述步骤1处理后的视频进行图像合成，将视频的每帧图像划分为若干个网格，根据匹配特征点对应网格的四个顶点建立具有数据项和平滑项的能量函数，通过最优能量函数求得网格的最优变换矩阵，将变换矩阵分别应用在对应的网格，最终得到合成的图像；步骤3，视频稳定调整：对上述步骤2得到的视频应用光流法估计前后相邻帧之间的运动变换Torignal，该变换主要有三个参数组成：水平平移参数dx、垂直平移参数dy、旋转参数da；累计dx、dy、da得到视频的运动轨迹∑dx、∑dy、∑da；采用局部平滑方法计算出平滑运动轨迹参数∑dxavg、∑dyavg、∑daavg，结合上述参数得到新的变换参数dxsmooth、dysmooth、dasmooth为：dxsmooth＝dx+(dxavg-∑dx)dysmooth＝dy+(dyavg-∑dy)dasmooth＝da+(daavg-∑da)最终得到平滑后的运动模型Tsmoot；h具体模型为：将Tsmooth应用于步骤2输出的视频上得到最终的视频稳定结果。2.根据权利要求1所述的基于运动轨迹优化的视频稳定方法，其特征在于，所述步骤1的具体步骤为：步骤1.1，精准的特征点提取、匹配和筛选：对输入视频的前后视频帧提取特征点，并进行特征点匹配，为了提高匹配的准确性，首先采用欧氏距离比值判定的方法，验证匹配的准确性：其中d1是第t帧图像的特征点p和在第t+1帧图像中离它最近的特征点q之间的距离，d2是第t帧图像的特征点p和在第t+1帧图像中离它次近的特征点q′之间的距离；当d1和d2的比值超过预先设定的阈值时，则认为该特征点匹配不准确，剔除该匹配，否则保留该特征点匹配；其次应用双向验证的方法进一步提高匹配的鲁棒性，即查询图像的特征描述子和模板图像的特征描述子进行双向的匹配验证；最后应用RANSAC方法进一步剔除错误特征点匹配，该方法通过迭代的方式寻找一个最优的变换矩阵H，使得满足变换矩阵的匹配特征点数量最多，即内点数量最多；经过特征点匹配筛选后，得到可靠、准确的特征点匹配；步骤1.2...

【专利技术属性】
技术研发人员：安平，周杰，尤志翔，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31