一种基于关键帧的实时摄像机跟踪方法技术

本发明专利技术公开了一种基于关键帧的实时摄像机跟踪方法。包括如下步骤：１）捕获索引图像序列，利用从运动推断结构方法，恢复场景的稀疏三维特征点结构；２）给定索引图像序列和稀疏三维特征点结构，通过优化与关键帧相关的能量函数，自动选择关键帧；３）在实时摄像机跟踪过程中，对于每一帧实时输入图像，先利用图像识别的特征词汇树方法，快速从关键帧集合中定位与实时输入图像相似的候选关键帧；４）实时输入图像上提取的特征点与候选关键帧上的特征点匹配，得到图像上特征点对应的三维坐标，求得摄像机的方位参数。本发明专利技术计算效率高，求解结果稳定，由该方法得到的摄像机跟踪结果可直接用于增强现实，虚拟交互等应用。

【技术实现步骤摘要】

本专利技术涉及摄像机跟踪方法，尤其涉及。
技术介绍
实时摄像机跟踪技术指在自然场景中根据摄像机的视频图像输入，实时恢复摄像机的方位。该技术可分为基于硬件或者基于视觉的摄像机跟踪，在增强现实，视频编辑，机器导航中都是最关键的组成部分。硬件设备包括陀螺仪，GPS导航设备，深度扫描仪等。硬件设备的优点是误差范围稳定，通用性强；但是误差比较大，经济成本也比较高。基于视觉的方法主要利用计算机视觉算法从图像感应器中提取特征，分析特征，并恢复摄像机在空间中的方位。 现有的摄像机全局定位技术主要可参考Iryna Skrypnyk and David G.Lowe.Scene modeling，recognition and tracking with invariant image features.InISMAR’04Proceedings of the 3rd IEEE/ACM International Symposium on Mixedand Augmented Reality，pages 110-119。他们采用的方法是用从运动推断结构方法恢复出场景的稀疏三维SIFT特征点结构(可参考Guofeng Zhang，Xueying Qin，Wei Hua，Tien-Tsin Wong，Pheng-Ann Heng，and Hujun Bao.Robust MetricReconstruction from Challenging Video Sequences.IEEE Conference on ComputerVision and Pattern Recognition(CVPR)，2007.)，然后将输入图像上的二维SIFT特征点与场景的三维SIFT特征点匹配，得到二维SIFT特征点的三维信息，然后求解摄像机方位。该方法的缺点是当场景变大，特征点变多，SIFT描述量的匹配性能下降，跟踪变得不稳定；而且匹配时间上升，不能满足实时跟踪的要求。 为了改进是摄像机跟踪的性能，一些研究者提出关键帧技术(主要可参考Luca Vacchetti，Vincent Lepetit，Pascal Fua，Stable Real-Time 3D Tracking UsingOnline and Offline Information，IEEE Transactions on Pattern Analysis and MachineIntelligence，Volume 26，Issue 10，Pages1385-1391，2004)，从索引图像序列中选取一定数目的关键帧，而在实时摄像机跟踪过程中，输入图像的上特征点之和最接近的关键帧上的特征点匹配。他们的关键帧是用户手工选取的，相对来说是一个不稳定的，且耗时间的过程。 另一方面，图像识别技术也被用来做快速位置识别，可参考Irschara Arnold，Christopher Zach，Jan-Michael Frahm，Bischof Horst，From Structure-from-MotionPoint Clouds to Fast Location Recognition，in IEEE Computer Society Conference onComputer Vision and Pattern Recognition(CVPR 2009)，2009.他们利用从运动推断结构技术恢复出场景的稀疏三维SIFT特征点结构，并自动选择关键帧代表场景中需要识别的位置，然后利用特征词汇树(可参考David Nistér，Henrik Stewénius，Scalable Recognition with a Vocabulary Tree，IEEE Computer Society Conference onComputer Vision and Pattern Recognition，Vol.2(2006)，pp.2161-2168.)快速识别摄像机所在的位置。
技术实现思路
本专利技术的目的在于针对现有摄像机全局定位技术的不足，提出。 基于关键帧的实时摄像机跟踪方法包括如下步骤 1)捕获索引图像序列，利用从运动推断结构方法，恢复场景的稀疏三维特征点结构； 2)给定索引图像序列和稀疏三维特征点结构，通过优化与关键帧相关的能量函数，自动选择关键帧； 3)在实时摄像机跟踪过程中，对于每一帧实时输入图像，先利用图像识别的特征词汇树方法，快速从关键帧集合中定位与实时输入图像相似的候选关键帧； 4)实时输入图像上提取的特征点与候选关键帧上的特征点匹配，得到图像上特征点对应的三维坐标，求得摄像机的方位参数。 所述的捕获索引图像序列，利用从运动推断结构方法，恢复场景的稀疏三维特征点结构步骤为 1)从每一帧索引图像中提取特征点； 2)每一帧索引图像中的特征点与前一帧索引图像的特征点匹配，得到同一个特征点在多幅索引图像上的位置信息； 3)根据特征点在多幅索引图像上观察到的位置信息，恢复出特征点的三维坐标。 所述的给定索引图像序列和稀疏三维特征点结构，通过优化与关键帧相关的能量函数，自动选择关键帧步骤为 与关键帧相关的能量函数定义为 其中F是索引图像集合， 是关键帧集合，Ec(F)是完备项，Er(F)是冗余项，λ是权重。完备项Ec(F)定义如下 其中V(F)是关键帧包含的三维特征点， 是索引图像序列包含的三维特征点，即所有特征点，χ表示一个特征点。 特征明锐项s(χ)＝D(χ)·min(|f(χ)|，T)，D(χ)是特征点特征反应值绝对值大小，|f(χ)|是可观察到这个特征点的索引图像的数目，称为特征匹配长度，T控制最大的特征匹配长度，min(，)是取两个变量的较小值函数。 特征密度项d(χ)定义如下 d(xi)是χ在第i帧索引图像上对应的特征点xi的特征密度，是在图像上的一个局部窗口内的特征点的个数。 冗余项Er(F)定义如下 其中 是归一化；|f(χ)∩F|是χ在关键帧集合F中出现的次数。 基于上述的能量函数定义，利用贪婪法优化能量，自动选取使能量值最小的关键帧集合；关键帧集合初始化为空集合，贪婪法优化的每一次迭代，将最大减少能量函数的索引图像加入关键帧集合，直到能量函数不能下降为止。 所述的在实时摄像机跟踪过程中，对于每一帧实时输入图像，先利用图像识别的特征词汇树方法，快速从关键帧集合中定位与实时输入图像相似的候选关键帧步骤为 1)将关键帧中所包含的所有特征点组织成特征词汇树的搜索结构，特征词汇树的每一个节点对于判断关键帧相似值的重要性由节点的权值决定，权值定义为该节点所包含的特征点覆盖的关键帧数目的倒数； 2)对于每一帧实时输入图像，所有关键帧与输入图像的相似值初始为0；对于实时输入图像上的每一个特征点，在特征词汇树中搜索与之最接近的节点，包含在这个节点中的每一个关键帧与输入图像的相似值加上该节点的权值；所有特征点搜索完成后，相似值最大的关键帧被选为输入图像的候选关键帧。 所述的实时输入图像上提取的特征点与候选关键帧上的特征点匹配，得到图像上特征本文档来自技高网...

【技术保护点】
一种基于关键帧的实时摄像机跟踪方法，其特征在于包括如下步骤：１）捕获索引图像序列，利用从运动推断结构方法，恢复场景的稀疏三维特征点结构；２）给定索引图像序列和稀疏三维特征点结构，通过优化与关键帧相关的能量函数，自动选择关键帧；３）在实时摄像机跟踪过程中，对于每一帧实时输入图像，先利用图像识别的特征词汇树方法，快速从关键帧集合中定位与实时输入图像相似的候选关键帧；４）实时输入图像上提取的特征点与候选关键帧上的特征点匹配，得到图像上特征点对应的三维坐标，求得摄像机的方位参数。

【技术特征摘要】

【专利技术属性】
技术研发人员：章国锋，鲍虎军，董子龙，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]