确定为确定照相机的姿态和/或为确定至少一个真实对象的三维结构而设计的参数集的方法技术

一种用于确定参数集的方法，所述参数集被设计为用于确定照相机相对于至少一个真实对象的姿态和/或用于确定所述至少一个真实对象的三维结构，所述方法包括如下步骤：提供包括所述至少一个真实对象的至少一部分的参考图像，拍摄包括所述至少一个真实对象的至少一部分的至少一幅当前图像，提供参数集的最初估计，所述参数集至少包括：拍摄所述参考图像时的所述照相机的所述姿态与拍摄所述当前图像时的所述照相机的所述姿态之间在共同的坐标系中的三维变换，以及在所述共同的坐标系中的至少一个真实对象的至少第一点的深度，并且，借助迭代最小化过程确定所述参数集的估计的更新，其中，在迭代最小化过程中，将所述参考图像中的第一组像素与所述当前图像中计算出的一组像素进行比较，并且用于所述比较的所述当前图像中计算出的一组像素在每次迭代时发生变化。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种确定参数集(parameter set)的方法,所述参数集被设计为用于确定照相机相对于由照相机拍摄的至少一个真实对象的姿态和/或用于确定所述至少一个真实对象的三维结构。
技术介绍
在计算机视觉领域中的许多应用需要以亚像素精度对准两幅图像，例如 在 Irani, M.&Anandan,P 的 Vision Algorithms’ 99，Al I about directmethods, Springer-Verlag Berlin Heidelberg, 2000, 267-277 ([I])中描述的，例如图像拼接和超分辨率，它自然也可以用作增强现实应用的基础。虽然存在关于动作的平面模板跟踪以及连续结构的完整的文献资料，但是只存在公知的诸如在Silveira，G.&Malis，E在Unified direct visual tracking of rigid and deformable surfaces under genericillumination changes in grayscale and color images IJCV, 2010, 89, 84-105([2])中描述的一种方法，其也同步地恢复在参考图像中所描绘的对象的形状以估计相对的照相机动作。这将在下文中进行更详细的描述。在单眼可变形模板跟踪领域中，存在各种方法。具有直接和间接方法，前者专门在强度上对工作进行分类，而后者还使用诸如特征点或线之类的抽象概念。特征点具有如下优点:它们在存在相对大的基线的情况下也可以建立对应关系，尽管假定没有(脱机)训练阶段，计算这些对应关系的计算成本很高。然而，直接方法依赖于相对小的基线，但是由于使用了所有可用的信息因而是非常精确的。J.Pilet, V.Lepetit 和 P.Fua 在 Fast non-rigid surfacedetection,registration and realistic augmentation.1JCV, 76(2):109-112, 2007([7])使用粗糙的基于点的检测方法来获得近似配准(registration)。在这之后它们通过使图像空间中的三角形网格变形来精炼。它们的方法对于大量的异常值是鲁棒的。然而，它被设计为只工作在诸如一张纸之类的单一初始的平面对象上，也专门地在图像空间中执行优化。视觉SLAM在视觉SLAM (同步定位和地图构建)区域中，诸如Davison, A.J., Reid 1.D.,Molton,N.D,Stasse, 0.MonoSLAM:Real-Time Single Camera SLAMPAMI, 2007, 26, 1052-1067 ([3])or Klein, G.Murray, D.!Parallel Tracking and Mappingfor Small AR Workspaces ISMAR, 2007 ([4])之类的方法将环境建模为基于凸起特征点的点云。此外，在[3]和[4]中描述的方法两者都使用两步法，以建立在模型和图像之间的匹配；将模型的点投影到图像中；然后，在投影的特定邻域中搜索最高类似度的测量值，并且接受其作为逐点匹配。从这些匹配中计算照相机的姿态。虽然产生密集的环境模型，但是Newcombe, R.&Davision, A.Live densereconstruction with a single moving camera CVPR, 2010([5])也内在地依赖于特征点，因为它们采用如[4]中描述的方法作为跟踪和重建的基础。可变形表面的统一的直接视觉跟踪:在Silveira and Malis[2]的可变形跟踪算法中，基于最初的估计,他们迭代地计算参数的更新，所述参数对照相机的动作以及参考图像中描绘的对象的结构进行编码。然而，他们提出的优化单纯地工作在2D中，即在图像空间中。这意味着在优化期间(对于参考模板的移动)使用该单应矩阵作为黑匣子，即没有至3D真实世界实体的直接连接。对于表面的变形，他们使用中心的概念，即在模板图像上所选择的2d点，其中，投影的深度是估计的。他们建议了两种不同的用于将中心的位置外插为全网格的策略，双三次外插或径向基函数(RBF)。尽管结果很好，但是Silveira和Malis[2]以参数的优化为基础，这仅仅在图像空间具有直接意义。使用照相机的校准，能够在最小化内部使用更少的参数，并且能够基于物理约束设计正则化(regularization)函数。所以，提供一种确定参数集的方法是有益的，所述参数集设计为用于确定照相机的姿态和/或用于确定至少一个真实对象的三维结构，所述方法适合于实时应用并能够工作在仅具有较少特征信息的对象上，并且所述方法能够同步地估计照相机的姿态并重建在照相机视角中的对象。
技术实现思路
公开了一种确定参数集的方法，所述参数集被设计用于确定照相机相对于至少一个真实对象的姿态和/或用于确定所述至少一个真实对象的三维结构，所述方法包括如下步骤:提供包括所述至少一个真实对象的至少一部分的参考图像；拍摄包括所述至少一个真实对象的至少一部分的至少一幅当前图像；提供参数集的最初估计，所述参数集至少包括:拍摄所述参考图像时所述照相机的姿态与拍摄所述当前图像时所述照相机的姿态之间在共同的坐标系中的三维变换，以及在所述共同的坐标系中所述至少一个真实对象的至少第一点的深度，以及借助迭代最小化过程来确定所述参数集的估计的更新，其中，在所述迭代最小化过程中，将所述参考图像中的第一组像素与所述当前图像中计算出的一组像素进行比较，并且所述当前图像中计算出的一组像素在每次迭代时发生变化。具体而言，这里计算出的一组像素根据至少一个真实的对象的至少第一点的深度发生变化。所述迭代可以继续直至达到特定次数的迭代，或者直至所述更新的大小下降至定义的阈值以下。因此，根据本专利技术的方面，提出使用新颖的参数化和正则化以同步地估计照相机的姿态并重建照相机的视角中的对象。代替像视觉SLAM那样依赖于区别特征点，所述方法具体使用迭代最小化过程，其中，在迭代最小化过程中，将参考图像中的第一组像素与当前图像中计算出的一组像素进行比较，并且所述当前图像中计算出的一组像素在每次迭代时变化。例如,可以应用像[2]的所谓的密集跟踪方法或者像Lucas, B.，Kanade, T.:Aniterative image registration technique with an application to stereovision.1n Proceedings of the International Joint Conference on ArtificialIntelligence, 1981的基于强度的图像配准方法。与现有密集跟踪方法相比，它不引入结构上的人工平滑，并且通过使用真实3d世界实体作为参数(代替使用像素)，允许使用物理上合理的正则化的可能性。与所描述的SLAM方法相反，所提出的方法不采用用于预处理重建和定点部分的凸起(saliency),由此它也能够工作在没有体现足够量的凸起特征的对象上。与在[3]和[4]中描述的方法相反，所提出的方法本文档来自技高网...

【技术保护点】
一种用于确定参数集的方法，所述参数集被设计用于确定照相机相对于至少一个真实对象的姿态和/或用于确定所述至少一个真实对象的三维结构，所述方法包括如下步骤：?提供包括所述至少一个真实对象的至少一部分的参考图像，?拍摄包括所述至少一个真实对象的至少一部分的至少一幅当前图像，?提供参数集的最初估计，所述参数集至少包括：?拍摄所述参考图像时所述照相机的姿态与拍摄所述当前图像时所述照相机的姿态之间的在共同的坐标系中的三维变换，以及?在所述共同的坐标系中所述至少一个真实对象的至少第一点的深度，以及?借助迭代最小化过程来确定所述参数集的估计的更新，?其中，在所述迭代最小化过程中，将所述参考图像中的第一组像素与所述当前图像中的计算出的一组像素进行比较，并且用于比较的所述当前图像中的所述计算出的一组像素在每次迭代时发生变化。

【技术特征摘要】
【国外来华专利技术】1.一种用于确定参数集的方法，所述参数集被设计用于确定照相机相对于至少一个真实对象的姿态和/或用于确定所述至少一个真实对象的三维结构，所述方法包括如下步骤: -提供包括所述至少一个真实对象的至少一部分的参考图像， -拍摄包括所述至少一个真实对象的至少一部分的至少一幅当前图像， -提供参数集的最初估计，所述参数集至少包括: -拍摄所述参考图像时所述照相机的姿态与拍摄所述当前图像时所述照相机的姿态之间的在共同的坐标系中的三维变换，以及 -在所述共同的坐标系中所述至少一个真实对象的至少第一点的深度，以及 -借助迭代最小化过程来确定所述参数集的估计的更新， -其中，在所述迭代最小化过程中，将所述参考图像中的第一组像素与所述当前图像中的计算出的一组像素进行比较，并且用于比较的所述当前图像中的所述计算出的一组像素在每次迭代时发生变化。2.根据权利要求1所述的方法，其中，所述参数集进一步包括拍摄所述参考图像时所述照相机的姿态与拍摄所述当前图像时所述照相机的姿态之间的在共同的坐标系中的三维旋转。3.根据权利要求1或2所述的方法，其中，所述参数集进一步包括所述照相机的竖直焦距和水平焦距4.根据权利要求1-3中任一项所述的方法，其中，所述参数集进一步包括所述照相机的主点的坐标。5.根据权利要求1-4中任一项所述的方法，其中，对所述至少一个真实对象的所述三维结构以分段平面结构的形式进行参数化。6.根据权利要求5所述的方法，其中，根据所述参考图像内感兴趣的区域的纹理来自适应性地选择所述分段平面结构的密度。7.根据权利要求1-6中任一项所述的方法，其中，使用构造光、光学特征跟踪、惯性传感器信息和/或立体视觉来获得拍摄所述参考图像时所述照相机的所述姿态。8.根据权利要求1-7中任一项所述的方法，其中，所述迭代最小化过程包括如下步骤: 确定所述参数集的所述估计的所述更新，直至已经达到特定次数的迭代或者直至所述更新的大小下降至定义的阈值以下。9.根据权利要求1-8中任一项所述的方法，其中，...

【专利技术属性】
技术研发人员：S·本希马宁，S·利伯克内希特，
申请(专利权)人：METAIO有限公司，
类型：
国别省市：