用于在部分已知环境中定位相机和3D重建的方法技术

本发明专利技术涉及一种用于定位相机和用于所述相机所处的静态环境的3D重建的方法，所述环境包括3D模型是已知的感兴趣对象，所述方法包括以下步骤：a）计算初始重建和所述环境中的所述相机的初始姿态；b）通过将所述环境的3D图元与每个新图像的2D图元相匹配并通过三角测量重建环境的3D图元，来针对每个新图像计算所述相机的姿态；以及c）通过使多个图像上的重投影误差最小化，同时优化所述相机的姿态和所述3D图元。该3D模型是所述感兴趣对象的几何描述，所述重投影误差仅包括两种项，即，与受所述3D模型约束的图元相关联的第一种项和与除所述对象之外的环境的图元相关联的第二种项，且优化步骤包括将图元与环境或与3D模型相关联的子步骤。

【技术实现步骤摘要】
【国外来华专利技术】用于在部分已知环境中定位相机和3D重建的方法
本专利
是部分已知环境的3D重建以及在相机移动所在的环境中通过观测定位相机；“部分已知环境”这一表述应理解成意味包括已知3D几何模型的感兴趣对象的环境，对象以外的环境是未知的。
技术介绍
估算相机轨迹被尤其应用于增强现实应用，其合并在真实场景的数字图像中的虚拟对象。使用单个相机的增强现实系统的主要困难在于如何尽可能准确地估算真实场景（或者真实环境）与3D虚拟信息之间的3D配准，以获得逼真的合并。该3D配准在任何情况下都需要确定相机的姿态，也就是说相对于场景的固定参考系的其位置和其取向。相对于3D场景的相机姿态估算是一热点研究课题。大多数现有方法，尤其是跟踪3D对象，只考虑场景的已知部分，在这种情况下是感兴趣对象的3D建模部分。在这些方法中，可以区分那些基于模型或“基于模型跟踪”的方法和那些基于学习的方法。基于模型的方法包括：通过对于由相机拍摄的每个图像，将投影的3D模型边缘和图像中所检测到的边缘之间的距离最小化，来计算相机的6个姿态参数。由VincentLepetit和PascalFua发表在FTCGV，2005上的公开出版物“Monocularmodel-based3dtrackingofrigidobjects:Asurvey”描述了这种方法的一个范例。这些方法的主要限制是他们只在当对象在图像序列中一直可见时有效。为了获得精确的姿态，感兴趣对象还必需占据图像的好部分，或者换言之，让他们“靠近”相机。此外，相机的移动必须小到能够确保3D跟踪。基于学习的方法需要一个所谓的初步学习阶段，其包括学习对象的光度方面（即外观）。该阶段包括通过从图像中提取的纹理描述符来丰富对象的3D模型。两种学习类型是可行的：-将已知位置的编码标记放置在对象周围，以便从几个角度估算相机姿态。编码标记（又称编码目标）是已知大小的光学标记，其在图像中很容易被检测到并且通过其编码被识别。对于这些角度中的每一个，从图像中提取感兴趣点并且以周围的纹理为特征，并然后直接与3D点相关联，3D点通过来自相机视角的单一投影对应于对象上的感兴趣点，3D点借助编码目标点而对于这些角度中的每一个而言是已知的。由JuriPlatonov、HaukeHeibel、PeterMeier和BertGrollmann发表在ISMAR，2006上的公开出版物“AmobilemarkerlessARsystemformaintenanceandrepair”提出了一个范例。-通过对视频序列的2D点进行匹配以及使用SfM重建技术来估算大量3D点，缩写SfM代表“StructurefromMotion”。然后，在对象的3D模型上对该大量3D点进行离线半自动重新对准，以获得属于该模型的3D点，通过从该图像中提取的描述符来丰富该大量3D点。可以引用P.Lothe、S.Bourgeois、F.Dekeyser、E.Royer和M.Dhome，他们发表在CVPR，2009上的公开出版物“Towardsgeographicalreferencingofmonocularslamreconstructionusing3dcitymodels:Applicationtoreal-timeaccuratevision-basedlocalization”描述了该方法的一个范例。一旦进行该学习阶段，通过使用描述符的似然准则将从当前图像中提取的2D点与对象的3D点相关联，来执行在线姿态的计算。这些方法中的两个主要限制在于，一方面，他们需要初步学习阶段，而另一方面，他们对在学习阶段与姿态计算阶段之间（磨损对象，照明条件的变化）的对象的光度外观的改变非常敏感。此外，这些方法只对有强纹理对象有效。总体上说，这些只考虑对象已知部分的方法的主要限制在于他们只在对象在图像序列中一直可见时有效。如果对象被完全遮蔽或者从相机视场中消失，这些方法就无法再计算相机的姿态。这些方法还受到“抖动”（由从一个图像到下一个中所计算姿态的不稳定性而引起的在增强现实中的颤动），并且为了获得精确的姿态估算，感兴趣对象必需占据图像大量的空间。在实践中，估算相机姿态时不考虑有关环境的信息。其它方法考虑在完全未知的环境中移动的相机。SfM类型或者SLAM“SimultaneousLocalizationAndMapping”类型的方法在不具有任何所观测场景的几何结构的先验知识的情况下，估算相机的移动。已经提出了离线然后在线的方法。他们是非常稳定的，因为他们使用所在位置的整个所观测到的场景，他们包括逐渐估算相机轨迹和场景的几何结构。为此，这些算法利用了多视图关系（视图即图像）以估计相机的移动，可具有场景的3D重建（以3D图元的稀疏云的形式：点、直线段等）。一般会执行附加的优化步骤，其包括同时细化相机姿态和重建的3D场景。后一步骤被称为光束法平差（bundleadjustment）。SLAM型算法的主要缺点是它们受到误差累积，并因此受到轨迹随时间漂移的影响。因此不能在其原始形态中考虑它们在始终需要大的3D配准精度的应用（范例：增强现实）中的使用。而且，在单目情况下，在任意比例尺上进行重建；可以仅通过增加关于场景度量的附加信息来知道实际比例尺；还在不与场景对象相联系的任意参考系中进行重建。最后，最近以来，一些方法试图依次组合这两种方法。已经提出了依次使用基于模型的方法然后使用SfM技术的方法，以估计移动相机在部分已知环境中的姿态。Bleser等人在ISMAR，2006中的文章“Onlinecameraposeestimationinpartiallyknownanddynamicscenes”中利用模型的几何约束对参考系和SLAM算法的重建的比例尺进行初始化。然后通过不再考虑3D模型的SLAM类型的“常规”方法来计算相机的位置。不能保证初始化期间的精确度，因为这是在单个视图上完成的，此外，该方法仍然受到数字误差累积和比例尺因子漂移的影响。如前所述，基于SLAM或SfM类型的方法的位置不允许中期和长期的精确定位：漂移问题等。V.Gay-Bellile,P.Lothe,S.Bourgeois,E.Royer和S.Naudet-Collette在ISMAR，2010年中的文章“AugmentedRealityinLargeEnvironments：ApplicationtoAidedNavigationinUrbanContext”组合了SLAM技术和使用预先学习的重新定位技术。因此能够利用SLAM在对象不再可见时计算相机的姿态并利用重新定位避免漂移。然而，这种方法需要基于学习的方法类型的初步学习阶段。后两种方法依次使用该模型的约束，然后使用环境的那些约束。类似地，Lothe等人在CVPR，2010的文章“Real-TimeVehicleGlobalLocalisationwithaSingleCamerainDenseUrbanAreas：ExploitationofCoarse3DCityModels”中提出了依次使用环境约束，然后使用模型约束的方法。在这种情况下，进行环境的第一次重建，然后，在第二阶段中，使用基于刚性迭代最近点（ICP）类型的方法的处理来在模型上对重建本文档来自技高网...

【技术保护点】
一种用于定位相机和用于静态环境的3D重建的方法，所述相机在所述静态环境中移动，并且所述相机形成所述静态环境的图像，该环境包括3D模型是已知的感兴趣对象，所述方法包括以下步骤：?a/计算初始重建和所述环境中所述相机的初始姿态，?b/通过将所述环境的3D图元与每个新图像的2D图元相匹配并通过三角测量重建所述环境的3D图元，来针对每个新图像计算所述相机的姿态，?c/通过使多个图像上的重投影误差最小化，同时优化所述相机的姿态和所述3D图元，其特征在于，所述3D模型是所述感兴趣对象的几何描述，所述重投影误差仅包括两种项，即与受所述3D模型约束的图元相关的第一种项和与除所述对象之外的环境的图元相关的第二种项，且优化步骤包括将图元与环境或与所述3D模型相关联的子步骤。

【技术特征摘要】
【国外来华专利技术】2011.05.30 FR 11547021.一种用于定位相机和用于静态环境的3D重建的方法，所述相机在所述静态环境中移动，并且所述相机形成所述静态环境的图像，该环境包括3D模型是已知的感兴趣对象，并且所述对象以外的环境是未知的，所述方法包括以下步骤：a)计算初始重建和所述环境中所述相机的初始姿态，b)通过将所述环境的3D图元与每个新图像的2D图元相匹配并通过三角测量重建所述环境的3D图元，来针对每个新图像计算所述相机的姿态，c)通过使多个图像上的重投影误差最小化，同时优化所述相机的姿态和所述3D图元，其特征在于，所述3D模型是所述感兴趣对象的几何描述，所述重投影误差仅包括两种项，即与受所述3D模型约束的图元相关的第一种项和与除所述对象之外的环境的图元相关的第二种项，且优化步骤包括将图元与环境或与所述3D模型相关联的子步骤，并且其特征在于，利用呈现拒绝阈值的鲁棒性估计器，通过根据所述拒绝阈值自适应控制每种项的影响，来执行所述优化步骤。2.根据权利要求1所述的用于定位相机和用于静态环境的3D重建的方法，其特征在于，重投影误差的每种项都关联于与所述鲁棒性估计器的所述拒绝阈值相关的拒绝阈值，两个拒绝阈值(c1，c2)等于基于所述3D模型对残余估计的所述估计器的拒绝阈值。3.根据权利要求1-2之一所述的用于定位相机和用于静态环境的3D重建的方法，其特征在于，利用大小已知并相对于所述对象的参考系的平面之一...

【专利技术属性】
技术研发人员：M·塔玛祖斯蒂，S·布儒瓦，M·多姆，V·盖伊贝利勒，S·诺代，
申请(专利权)人：原子能和辅助替代能源委员会，
类型：
国别省市：