用于估计摄像机运动以及用于确定实境三维模型的方法技术

一种用于估计摄像机运动以及用于确定环境的三维模型的方法，包括以下步骤：a.提供摄像机的固有参数；b.提供一组由摄像机以第一摄像机位姿拾取的参考二维成像点，以及与该组参考二维成像点关联的参考深度样本；c.使用参考深度样本和固有参数确定环境的三维模型；d.提供一组由摄像机以第二摄像机位姿拾取的当前二维成像点，以及与该组当前二维成像点关联的当前深度样本，并使用当前深度样本和固有参数确定当前三维模型；e.利用图像配准方法估计第一摄像机位姿与第二摄像机位姿之间的摄像机运动；f.基于所述估计的摄像机运动确定所述三维模型和所述当前三维模型之间的相似性度量，并且如果确定该相似性度量满足第一条件，用该当前三维模型的至少一个点更新环境的三维模型，并将该组当前二维成像点加入到该组参考二维成像点。

【技术实现步骤摘要】
【国外来华专利技术】本专利技术涉及一种用于估计摄像机运动以及用于确定环境的三维模型的方法。关于已知或未知的场景的可视化的实时跟踪是基于视觉的增强现实(AR)应用的必要的和无疑的组成部分。使用终端用户硬件确定摄像机关于未知环境的相对运动成为可能得益于参考文件[I]的方法的启发。这种方法是执行从拾取图像提取视觉特征的实时跟足示O特征是图像中的显著元素，其可为一点(通常被称为关键点或兴趣点)、一直线、一曲线、一连接区域或任何一组像素。特征通常在尺度空间中提取，即以不同的尺度。因此，除了在图像中的其二维位置之外，每个特征具有一可重复的尺度。此外，可重复的方向(旋转)通常从在围绕该特征的区域中像素的强度计算，例如作为强度梯度的主导方向。最后，为了使特征的比较和匹配成为可能，需要一特征描述符。常见的方法使用一特征的计算的尺度和方向来转换描述符的坐标，其为旋转和尺度提供了不变性。最终，该描述符是一 η维的向量，这通常是通过连接局部图像强度的函数的直方图构建，如在参考文献[13]中公开的梯度。特征需要在许多图像中可见，为此摄像机已经执行了为估计深度和以此重建特征的3D坐标系足够充分的一运动。这通常基于结构来自运动原理。为了获得重建点的正确缩放的3D坐标系并因此获得正确缩放的摄像机运动，这些方法通常需要环境的某些部分的一明确的手工测量或需要用已知的物体配备它。另一种引起尺度的可能性是要求用户执行一有约束的摄像机运动-通常摄像机需要在两个已知帧之间移动以至于它的光学中心位置随一米制的已知缩放平移(metrically known scaled translation)而变化。然而，这种类型的方法有一些限制。在重建一点并将其添加到特征图之前，该点需要在具有一估计的摄像机位姿的多个帧之上被跟踪。这延迟了在完整的摄像机运动的估计中新的可视物理点的参与。此外，要么环境需要被部分地测量或预先配备，要么用户需要具有关于系统的一些经验以便正确地执行允许正确尺度估计的有约束的摄像机运动。最后，由于现有的方法主要是基于视觉特征(通常从某些纹理梯度可得到处提取)，即使在后期处理和网合(meshing)之后，为遮蔽处理或诸如可能需要环境的网状版本的类似AR任务，从现有的方法中获得的在线特征图通常是稀疏的且无法使用。参考文献[2]的作者表明，利用一单一标准手持式摄像机被连接到一功能强大的PC的一更高的计算能力，并利用图形处理单元(GPU)的计算能力，当使用参考文献[3]的PTAM方法执行跟踪时，有可能获得一桌面尺度环境的一密集表示和高纹理场景(highlytextured scene)。在线创建的图的密度随立体稠密匹配和基于GPU的实现而增加。存在现有方法处理组合的范围强度数据。除了强度图像，他们利用与该强度图像相关的包含密集深度信息的一范围图。像素的深度指的是拾取装置的主点和在该像素上成像的物理3D表面之间的距离。图8显不了包含两组玩偶SI和S2(每组包含一高和一矮玩偶)的一场景，以及一拾取装置⑶。SI组的一物理点PPl用该拾取装置在像素IPl上成像。这个像素的深度为D1，拾取装置光学中心OC和物理点PPl之间的距离，该光学中心OC定义了摄像机坐标系的原点。类似地，S2组的一第二物理点PP2在IP2上成像并具有深度D2。注意，摄像机固有参数(特别是焦距)的估计允许在给定其深度Dl及其在图像平面IPl上像素位置的一点PPl的笛卡尔坐标(Cartesian coordinates)中计算3D位置。参考文献[4]的作者们用一组合:一飞行时间(204x204)分辨率摄像机和一(640x480) RGB摄像机和改进的度量模型和被参考文献[I]的MonoSLAM使用的扩展卡尔曼滤波器的创新公式，代替通常使用的标准手持式视频摄像机，以改善跟踪结果。由于这种方法是基于扩展卡尔曼滤波器，相较于基于关键帧的方法它提供了较低的精确度。如在参考文献[5]中精彩讨论的，在现代的应用和系统中，基于关键帧的方法给予每单位计算时间以最佳精度。微软的终端用户设备的XbOX360Kinect是一低成本和相对高的分辨率的RGB-D摄像机，包含由红外结构光投影仪结合一红外摄像机组成的一立体音响系统，其允许像素深度计算，并且用于提供强度图像的一摄像机被记录到其中。这个设备已由参考文献[6]直接地用于室内环境的基于面元(surfel)的建模。然而，该所提出的系统不实时运行且处理已记录的视频；它不执行任何实时或帧间跟踪。因此，提供同时估计一摄像机运动以及为确定考虑到上述各方面的一真实环境的一三维模型的一跟踪方法将是有必要的。本专利技术的说明根据本专利技术的一方面，公开了用于估计摄像机运动以及用于确定环境的三维模型的方法，包括以下步骤:a)提供摄像机的固有参数；b)提供一组由摄像机以第一摄像机位姿拾取的参考二维成像点，以及与该组参考二维成像点关联的参考深度样本；c)使用参考深度样本和固有参数确定环境的三维模型；d)提供一组由摄像机以第二摄像机位姿拾取的当前二维成像点，以及与该组当前二维成像点关联的当前深度样本，并使用当前深度样本和固有参数确定当前三维模型；e)利用图像配准方法估计第一摄像机位姿与第二摄像机位姿之间的摄像机运动；f)基于所述估计的摄像机运动确定所述三维模型和所述当前三维模型之间的相似性度量，并且如果确定该相似性度量满足第一条件，用该当前三维模型的至少一个点更新环境的三维模型,并将该组当前二维成像点加入到该组参考二维成像点。特别地，利用图像配准方法可估计第一摄像机位姿和第二摄像机位姿之间的相对摄像机运动。例如，可使用所述估计的摄像机运动在通用坐标系中进行三维模型和当前三维模型之间的一相似性度量的确定。在本专利技术的另一方面，采用三维模型和由步骤d)至f)的一前一次迭代产生的该组参考二维成像点，为每一新组当前二维成像点和与那组当前二维成像点关联的当前深度样本重复步骤d)至f)。在本专利技术的上下文中，其中，一组二维点可相当于诸如一色彩图像或一灰度图像的强度图像的至少一部分，例如，在一强度图像中的一感兴趣区域，源于一强度图像或来源于在一强度图像上执行一分割算法及类似行为的一簇二维点或特征点。贯穿本公开，当我们谈到强度图像时，我们指的是图像表示从环境反射的不同数量的光，主要取决于环境的材质和光亮情况。强度图像可将强度按照不同的位分辨率(例如8位或高动态范围)编码入一个(例如灰度级)或多于一个的通道(例如RGB-红-绿-蓝)。因此，本专利技术提出利用一组参考二维成像点及相关联的深度样本。例如，该方法可使用包括至少一个由摄像机以第一摄像机位姿拾取的参考强度图像的一组参考强度图像，以及与该至少一个参考强度图像关联的深度样本。此外，提出利用一相似性度量来确定该当前组二维成像点和该当前摄像机位姿是否被添加到一组用于跟踪的参考二维成像点中，以及该当前组二维成像点和与该当前组二维成像点关联的当前深度样本是否被用于创建和/或更新三维模型。换句话说，对于跟踪，因为假设来自环境的附加信息的贡献并不足够高，当一当前组二维成像点或与该当前组二维成像点关联的当前深度样本并不有助于三维模型时，诸如一当前强度图像的一当前组二维成像点可不被用作诸如一参考图像的一组参考二维成像点之内。因此，本专利技术关闭跟踪过程和重构过程之间的循环，使得能够同时估本文档来自技高网...

【技术保护点】
一种用于估计摄像机运动以及用于确定环境的三维模型的方法，包括以下步骤：a.提供摄像机的固有参数；b.提供一组由摄像机以第一摄像机位姿拾取的参考二维成像点，以及与该组参考二维成像点关联的参考深度样本；c.使用参考深度样本和固有参数确定环境的三维模型；d.提供一组由摄像机以第二摄像机位姿拾取的当前二维成像点，以及与该组当前二维成像点关联的当前深度样本，并使用当前深度样本和固有参数确定当前三维模型；e.利用图像配准方法估计第一摄像机位姿与第二摄像机位姿之间的摄像机运动；f.基于所述估计的摄像机运动确定所述三维模型和所述当前三维模型之间的相似性度量，并且如果确定该相似性度量满足第一条件，用该当前三维模型的至少一个点更新环境的三维模型，并将该组当前二维成像点加入到该组参考二维成像点。

【技术特征摘要】
【国外来华专利技术】1.一种用于估计摄像机运动以及用于确定环境的三维模型的方法，包括以下步骤: a.提供摄像机的固有参数； b.提供一组由摄像机以第一摄像机位姿拾取的参考二维成像点，以及与该组参考二维成像点关联的参考深度样本； c.使用参考深度样本和固有参数确定环境的三维模型； d.提供一组由摄像机以第二摄像机位姿拾取的当前二维成像点，以及与该组当前二维成像点关联的当前深度样本，并使用当前深度样本和固有参数确定当前三维模型； e.利用图像配准方法估计第一摄像机位姿与第二摄像机位姿之间的摄像机运动； f.基于所述估计的摄像机运动确定所述三维模型和所述当前三维模型之间的相似性度量，并且 如果确定该相似性度量满足第一条件，用该当前三维模型的至少一个点更新环境的三维模型，并将该组当前二维成像点加入到该组参考二维成像点。2.根据权利要求1所述的方法，进一步包括使用所述三维模型和由步骤d)至f)的前一次迭代产生的该组参考二维成像点，重复步骤d)至f)。3.根据权利要求2所述的方法，进一步包括记录该相似性度量和/或该相似性度量的随时间的变化，如果确定该相似性度量和/或在一定义的时间帧中的该相似性度量的变化满足第二条件，则不再更新所述三维模型，并且不再将该当前组二维成像点加入到该参考组二维成像点。4.根据权利要求2所述的方法，进一步包括确定满足该第一条件的该相似性度量的频率，如果确定该更新的频率下降到低于一定义的阈值，则不再更新该三维模型，并且不再将该当前组二维成像点加入到该参考组二维成像点。5.根据前述权利要求中的一项所述的方法，其特征在于，步骤f)进一步包括:将该三维模型渲染到所述当前三维模型的坐标系中，并确定该三维模型和所述当前三维模型之间的相似性量度。6.根据前述权利要求中的一项所述的方法，其特征在于，所述相似性度量表示该三维模型和所述当前三维模型之间的重叠。7.根据前述权利要求中的一项所述的方法，其特征在于，对于所述当前三维模型中的至少一个点，确定在该三维模型中是否存在一相关联的三维点。8.根据权利要求7所述的方法，其特征在于，确定所述当前三维模型中该点的深度和该三维模型中所述确定的相关联的三维点的深度的点的深度之间的差值是否高于一定义的阈值。9.根据权利要求7至8中的一项所述的方法，其特征在于，所述相似性度量被定义，没有为所述当前三维模型确定该三维模型中相关联的三维点，这样所述当前三维模型中点的数量必须超过一定阈值。10.根据权利要求7至9中的一项所述的方法，其特征在于，没有为所述当前三维模型确定该三维模型中相关联的三维点，只有所述当前三维模型中的点被用于更新该三维模型。11.根据前述权利要求中的一项所述的方法，进一步包括:基于所述估计的摄像机运动确定该三维模型中一三维点...

【专利技术属性】
技术研发人员：S·本希马宁，希巴斯汀·利贝克内希特，安德里亚·休伯，
申请(专利权)人：METAIO有限公司，
类型：发明
国别省市：德国;DE