一种针对多视频序列的运动推断结构方法技术

本发明专利技术公开了一种针对多视频序列的运动推断结构方法。它的步骤如下：1）基于SIFT特征描述量，使用连续特征跟踪算法和非连续特征匹配算法，匹配分布于不同图像上对应于相同场景点的SIFT特征点；2）基于匹配分布于不同图像上对应于相同场景点的SIFT特征点，使用运动推断结构算法，恢复各视频序列相应的子图，并将各视频序列相应的子图注册到统一的坐标系下；3）使用基于分段的渐进式优化算法，迭代地将各视频序列相应的子图中存在的误差扩散并消除。本发明专利技术能够高效匹配分布于非相邻子序列中的特征轨迹，改善各子图的求解质量；针对大尺度场景，突破传统求解方法的内存和效率瓶颈，在有限内存环境下对整个场景三维结构和摄像机变量进行全局高效的优化。

【技术实现步骤摘要】

本专利技术涉及运动推断结构，尤其涉及。
技术介绍
运动推断结构技术，指的是由图像集合或视频序列中，自动估计场景中特征点的三维位置及每张图像对应的相机运动参数。找到特征点在图像中的对应位置，对于运动推断结构的求解质量来说至关重要。相比图像集合，视频序列包含了更丰富的几何信息和场景的结构信息。针对视频序列，常用的方法是在每相邻两帧之间使用特征点跟踪算法，如 Lucas, B. D. , Kanade, T. An iterative image registration technique withan application to stereo vision. In IJCAI, pp.674-679(1981) ；Shi, J. , Tomasi,C. Good features to track. In CVPR, pp.593-600(1994) ；Georgescu, B. , Meer, P.Point matching under large image deformations and illumination changes. IEEETrans. Pattern Anal. Mach. Intell. 26,674-688 (2004) ；Lowe, D. G. !Distinctive image features from scale-invariant keypoints.International Journal of ComputerVision 60,91-110(2004)等。然而，这些连续的特征跟踪不能处理特征点分布在非连续帧中的情况。比如，随着相机运动，某物体离开画面若干帧后又重新进入画面，那么该物体将包含在两段不相连的子序列中。即使该物体上的每个特征点在这两个子序列中均能被稳定跟踪上，连续的特征跟踪将导致特征点在两个子序列中分别产生一条特征轨迹。将这样的两条特征轨迹匹配上，可以缓解运动推断结构中的漂移现象，从而提高三维重建的质量。另夕卜，在针对多视频序列的运动推断结构中，必须将分布在不同视频序列中对应于相同场景的特征轨迹匹配起来，才能将多个视频序列注册到同一场景中。为将非相邻帧中的特征轨迹匹配起来，一个简单的方法是对每对非相邻的两帧都匹配一次。通常，大部分非相邻帧对之间不存在相同的特征点，无需匹配。此外，同一对特征轨迹将被反复地匹配多次。因此，这样的策略中绝大多数匹配所消耗的时间是毫无意义的，对于长序列的情况，更是不可行的。本专利技术针对这一问题，提出了一种高效的非连续帧的特征匹配算法。除特征匹配外，运动推断结构面临的另一个难题是如何为大规模的视频序列进行精确的运动和结构估计。Zhang G, Dong Z, Jia J, Wong TT, Bao H(2010)Efficientnon-consecutive feature tracking for structure-from-motion. In ECCV (5), pp422-435提出针对小规模的视频序列的运动推断结构方法，使用集束调整(Triggs B，McLauchlan PF, Hartley RI, Fitzgibbon Aff(1999)Bundle adjustment-a modernsynthesis. In fforkshop on Vision Algorithms, pp 298-372),同时优化每巾贞的运动参数及特征点的三维坐标。对于大规模视频序列，Ni K, Steedly D, Dellaert F(2007)0ut-of-core bundle adjustment for large-scale 3d reconstruction. In ICCV,pp 1-8将场景分为若干子图，对每一子图分别进行局部集束调整，并使用核外集束调整进行全局优化。Snavely N, Seitz SM, Szeliski R(2008) Skeletal sets for efficient structurefrom motion. In Computer Vision and Pattern Recognition(CVPR)从所有图像集合中提取一个骨架集合，仅优化骨架集合中相应的相机参数，并用位置估计算法求解其他相机。Crandall DJ, Owens A, Snavely N, Huttenlocher D(2011)Discrete-continuousoptimization for large-scale structure from motion. In CVPR, pp 3001-3008 结合GPS信息，使用离散置信度传播法对变量进行离散优化，并以此为初值进行连续的迭代优化。然而，由于存在大量的大量优化变量，优化效率和内存需求仍是运动推断结构的两大瓶颈。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提供。 针对多视频序列的运动推断结构方法的步骤如下I)基于SIFT特征描述量，使用连续特征跟踪算法和非连续特征匹配算法，匹配分布于不同图像上对应于相同场景点的SIFT特征点；2)基于匹配分布于不同图像上对应于相同场景点的SIFT特征点，使用运动推断结构算法，恢复各视频序列相应的子图，并将各视频序列相应的子图注册到统一的坐标系下；3)使用基于分段的渐进式优化算法，迭代地将各视频序列相应的子图中存在的误差扩散并消除。所述的步骤I)为(I)使用 Lowe, D. G. !Distinctive image features from scale-invariantkeypoints. International Journal of Computer Vision 60,91-110 (2004)中提出的SIFT算法，为每个视频序列的每帧图像提取SIFT特征点，并为每个SIFT特征点x计算一个SIFT描述量,标记为p(x)；(2)使用 Zhang G, Dong Z, Jia J, Wong TT, Bao H (2010) Efficientnon-consecutive feature tracking for structure-from-motion. In ECCV (5), pp422-435中提出的连续帧特征跟踪算法为每个视频序列分别进行特征跟踪得到一系列特征跟踪轨迹，每条特征跟踪轨迹X定义为对应某场景点的SIFT特征点的集合，X ={xt|t G f(x)}其中xt为第t帧图像中对应于该场景点的SIFT特征点位置，f (X)为X跨越的连续帧集合；(3)使用基于匹配矩阵的特征轨迹匹配算法为每个视频序列匹配分布于非相邻子序列上的特征跟踪轨迹，并将所有视频序列首尾相邻形成一段虚拟序列，再次使用基于匹配矩阵的特征轨迹匹配算法为虚拟序列匹配分布于非相邻子序列上的特征跟踪轨迹。步骤(3)中所述的基于匹配矩阵的特征轨迹匹配算法为①使用Zhang G, Dong Z, Jia J, Wong TT, Bao H (2010) Efficientnon-consecutive feature tracking for structure-from-motion. In EC本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：章国锋，鲍虎军，刘浩敏，
申请(专利权)人：浙江大学，
类型：发明
国别省市：