一种时空一致性与特征中心EMD自适应视频稳定的联合优化方法技术

本发明专利技术提供一种时空一致性与特征中心EMD自适应视频稳定的联合优化方法，在利用EMD方法分解噪声信号的基础上，以视频防抖为目标，针对抖动视频运用基于空间结构一致性矩阵估算的显著性保护，视察消除，自适应平滑，裁剪面积减小，视频补全等技术，改进了视频增强处理的稳定性，通用性，准确性以及自适应性，提高了视频的完整性。

A joint optimization method for spatio-temporal consistency and feature center EMD adaptive video stabilization

The invention provides a joint optimization method of spatiotemporal consistency and EMD adaptive video stabilization of feature center. On the basis of decomposing noise signal by EMD method, aiming at video anti-jitter, the saliency protection based on spatial structure consistency matrix estimation is applied to jitter video, inspection elimination, adaptive smoothing and tailoring. The technology of reducing the cut area and video completion improves the stability, versatility, accuracy and adaptability of video enhancement processing, and improves the integrity of video.

【技术实现步骤摘要】
一种时空一致性与特征中心EMD自适应视频稳定的联合优化方法
本专利技术涉及一种时空一致性与特征中心EMD(经验模态分解，全称为EmpiricalModeDecomposition)自适应视频稳定的联合优化方法，属于计算机视觉增强

技术介绍
业余爱好者所用的手持设备，如手机、便携式摄像机、平板电脑和常用的相机，已经成为时尚，但是，因为设备的稳定化装置过于简单，这些手持设备捕获的视频往往是摇摆不定，让人视觉上很不舒服。视频稳定技术旨在去除抖动视频中可见的帧间的抖动和震动。它是计算机视觉领域最活跃的研究课题之一，并能应用于许多高层次的视频增强应用，如人工观测、视频识别、视频检测、视频跟踪、视频压缩等。给定多个手持设备(如手机或便携式摄像机)捕获的视频，大部分最先进的视频稳定方法，如F.Liuetal.，A.Goldsteinetal.和C.Morimotoetal.，通过估算和平滑连续帧的线性(仿射或者单应)变换学习二维线性运动模型，其他很多最先进的视频稳定方法，如C.Buehleretal.,F.Liuetal.和S.Liuetal.，通过处理视差采用三维镜头曲线运动来生成强稳本文档来自技高网...

【技术保护点】
1.一种时空一致性与特征中心EMD自适应视频稳定的联合优化方法，其特征在于，包括以下步骤：步骤(1)、通过SIFT方法提取图像尺度不变性(SIFT)特征点，进行图像尺度不变性(SIFT)特征匹配，在图像上部署均匀网格，获取多个网格的显著性向量，以均匀网格为基准，在保护图像网格的显著性向量的基础上，进行空间结构一致性变形，得到形变的图像帧序列；步骤(2)、从视点位置出发，将步骤(1)形变得到的每一个图像帧，重新获取SIFT特征集合，构建基于SIFT的空间结构矩阵，提取空间结构矩阵的旋转、平移、缩放运动信息，构建原始的镜头运动信号，通过EMD分解算法，分解并生成本征模函数，根据自适应本征模函数优化...

【技术特征摘要】
1.一种时空一致性与特征中心EMD自适应视频稳定的联合优化方法，其特征在于，包括以下步骤：步骤(1)、通过SIFT方法提取图像尺度不变性(SIFT)特征点，进行图像尺度不变性(SIFT)特征匹配，在图像上部署均匀网格，获取多个网格的显著性向量，以均匀网格为基准，在保护图像网格的显著性向量的基础上，进行空间结构一致性变形，得到形变的图像帧序列；步骤(2)、从视点位置出发，将步骤(1)形变得到的每一个图像帧，重新获取SIFT特征集合，构建基于SIFT的空间结构矩阵，提取空间结构矩阵的旋转、平移、缩放运动信息，构建原始的镜头运动信号，通过EMD分解算法，分解并生成本征模函数，根据自适应本征模函数优化算法自适应的生成所有本征模函数的向异性系数，通过本征模函数及其向异性系数的加权求和算法，获取新的镜头自适应运动信号；步骤(3)、以步骤(2)中计算得到的镜头自适应运动信号作为新的输入信号，依据特征中心算法，加权求取新的特征中心运动信号，在进一步抑制抖动分量的同时，采用基于高斯函数的加权算法保护镜头的原始信号运动趋势；步骤(4)、基于步骤(3)中计算得到的特征中心运动信号，进一步生成新的稳定视频即图像帧序列，为补全因视频的帧平移、旋转、拉伸形成的空白，再基于自适应时域算法执行缺失区域的外插，基于三次样条插值算法执行重叠区域的内插。2.根据权利要求1所述的时空一致性与特征中心EMD自适应视频稳定的联合优化方法，其特征在于：步骤(1)中所述的基于图像显著性保护的空间结构一致性方法实现如下：(11)尺度空间极值检测：首先构建尺度空间，搜索所有尺度上的图像位置，通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点；(12)关键点定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度；关键点的选择依据于它们的稳定程度；(13)方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向，所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性；(14)关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度，再将梯度被变换成一种表示，所述表示允许局部形状的变形和光照变化，此时得到的关键点即为尺度不变特征点；(15)通过相邻帧中尺度不变特征点的欧氏距离的度量，进行尺...

【专利技术属性】
技术研发人员：郝爱民，李晓，李帅，秦洪，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11