用于3D重构的相机姿态估计制造技术

描述了用于3D重构的相机姿态估计，例如使在环境中移动的深度相机的位置和定向能够被跟踪以用于机器人技术、游戏和其他应用。在各种实施例中，来自移动深度相机的深度观测将与环境的3D模型的表面进行对准，以找出促进该对准的移动深度相机的经更新位置和定向。例如，移动深度相机在环境中四处移动以构建可能被存储为3D模型的对该环境中各表面的3D重构。在各示例中，对移动深度相机的姿态的初始估计被获得且随后通过使用并行优化过程被实时更新。

【技术实现步骤摘要】
【国外来华专利技术】背景对于许多应用，能够当相机在环境中移动时跟踪该相机的定向和位置是有价值的。相机的定向和位置被认为是相机姿态。例如，在机器人技术、车辆导航、计算机游戏应用、医学应用及其他问题领域。以前的方法已涉及使用由移动相机所捕捉的彩色图像，标识那些图像中的诸如线和边缘等特征，以及在相机所捕捉的彩色图像序列中跟踪该信息以尝试并估计相对相机位置。现有方法在精确度、稳健性和速度上受到限制。然而，对于许多应用，需要实时地进行精确的相机跟踪，例如以使得机器人可以成功地在其环境中四处移动。以下描述的各实施例不限于解决已知相机姿态估计过程的缺点中的任一个或全部的实现。概述下面呈现了本专利技术的简要概述，以便向读者提供基本理解。本概述不是本公开的穷尽概览，并且不标识本专利技术的关键/重要元素或描述本说明书的范围。其唯一的目的是以简化形式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。描述了用于3D重构的相机姿态估计，例如使在环境中移动的深度相机的位置和定向能够被跟踪以用于机器人技术、游戏和其他应用。在各种实施例中，来自移动深度相机的深度观测与环境中3D模型的表面进行对准，以找出促进该对准的移动深度相机的经更新位置和定向。例如，移动深度相机在环境中四处移动以构建可能被存储为3D模型的对该环境中各表面的3D重构。在各示例中，对移动深度相机的姿态的初始估计被获得且随后通过使用并行优化过程被实时更新。通过结合附图参考以下详细描述，可易于领会并更好地理解许多附带特征。附图简述根据附图阅读以下具体实施方式，将更好地理解本专利技术，在附图中：图1是房间中的持有移动深度相机的人的示意图，该移动深度相机被用于实时相机跟踪并且可任选地还产生该房间的3D模型或图；图2是正由持有移动深度相机的人探测的建筑物某层的平面视图；图3是连接到实时相机跟踪系统、密集3D模型形成系统以及游戏系统的移动深度相机的示意图；图4是示例相机姿态引擎的示意图；图5是相机姿态引擎处的方法的流程图。图6是图5中方法的一部分的流程图；图7示出可以作为图6中方法的一部分使用的诸方法；图8是作为图6中的过程的一部分计算与残余有关的量的方法的流程图；图9是示出检查是否达到收敛以供在图5的方法中使用的各方式的示意图；图10是示出获得对相机姿态配准参数的初始估计的各方式的示意图；图11示出可在其中实现实时相机姿态估计系统的各实施例的示例性基于计算的设备。在各个附图中使用相同的附图标记来指代相同的部件。具体实施方式下面结合附图提供的详细描述旨在作为本专利技术示例的描述，并不旨在表示可以构建或使用本专利技术示例的唯一形式。本描述阐述了本专利技术示例的功能，以及用于构建和操作本专利技术示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。尽管在本文中本示例被描述并示出为使用从发出和捕捉红外光的移动深度相机获得的深度图像在实时相机姿态估计系统中实现，然而所描述的系统是作为示例而不是限制被提供的。本领域的技术人员将会理解，本示例适于在各种不同类型的实时相机跟踪系统中应用，包括但不限于使用从立体相机获得的深度信息的系统和使用通过发出和捕捉其他类型的电磁辐射所获得的深度信息的系统。术语“图像元素”在本文中用于指代像素、像素组、体素、体素组或图像的其他更高级别的组成部分。术语“密集3D模型”在本文中用于指示包括物体和表面的三维场景的表示，其中该表示包括与该场景的图像元素有关的细节。相反，非密集3D模型可包括物体的基于多边形或基于点的表示。在一示例中，来自传入深度图的全部或许多点可用于描述环境中的表面(在一些示例中使用有符号距离函数等值面表示)，且该描述形成密集3D模型。稀疏模型会仅取这些点的子集来使计算加速并减少存储器覆盖区域。图1是站在一房间中并持有移动深度相机102的人100的示意图，在本示例中移动深度相机102还包括有投影仪，该投影仪将猫108的图像投影到该房间中。该房间包含各种物体106，如椅子、门、窗、植物、灯和另一个人104。这些物体106中的许多物体是静态的，但这些物体中的一些物体(诸如人104)可以移动。当人在该房间内四处移动时，该移动深度相机捕捉图像，实时相机跟踪系统112使用所述图像来监视该相机在该房间中的位置和定向。实时相机跟踪系统112可以与移动深度相机102集成，或可以处于另一位置，只要它能够(直接或间接)接收来自移动深度相机102的通信。例如，实时相机跟踪系统112可在房间中的个人计算机、专用计算机游戏装置或其他计算设备处提供并与移动深度相机102无线通信。在其他示例中，实时相机跟踪系统112可以处于建筑物中的别处或处于使用任何合适类型的通信网络与移动深度相机102进行通信的另一远程位置。移动深度相机102还与该环境的密集3D模型110(在此情况下是该房间的3D模型)或该环境的另一类型的图进行通信。例如，当人在房间中四处移动时，移动深度相机102捕捉到的图像被用来形成和构建环境的密集3D模型。实时相机跟踪系统112可跟踪相机相对于环境的3D模型或图110的位置。实时相机跟踪系统112的输出和密集3D模型或图110可由游戏系统或其他应用来使用，但这不是必要的。例如，移动深度相机102处的投影仪可被安排成取决于实时相机跟踪系统112的输出和3D模型110来投影图像。图2是建筑物的层200的平面图。持有移动深度相机204的人202正如虚线箭头208所示在该层四处移动。此人沿走廊206走过各个房间和家具210。实时相机跟踪系统112能够在移动深度相机204移动时跟踪它的位置，并且该层的3D模型或图被形成。人202携带移动深度相机204是不必要的。在其他示例中，移动深度相机204安装在机器人或车辆上。这也适用于图1的示例。图3是与实时相机跟踪器316、密集模型形成系统324和可任选的游戏系统332一起使用的移动环境传感器300的示意图。移动环境传感器300包括被安排成捕捉场景的深度图像序列的深度相机302。每个深度图像或深度图帧314包括二维图像，在该二维图像中每一图像元素包括诸如从相机到所捕捉的场景中的造成了该图像元素的物体的长度或距离等的深度值。该深度值可以是以指定测量单位(诸如米或厘米)提供的绝对值，或者可以是相对深度值。在某些情况下，深度值可以是诸如在其中立体深度信息为可用的情形中的差别值。在每一捕捉本文档来自技高网...

【技术保护点】
一种实时相机跟踪的方法，包括：从正在移动的移动深度相机接收深度图帧的序列，每一深度图帧包括每一图像元素处的深度值，所述深度值与从所述移动深度相机到由所述移动深度相机所捕捉的环境中的表面的距离有关；访问所述环境中表面的3D模型；通过根据所述深度图帧的图像元素与所述环境的3D模型中所描绘的表面的对准，为多个深度图帧中的每一个深度图帧计算所述移动深度相机的经更新的位置和定向，来跟踪所述移动深度相机的位置和定向。

【技术特征摘要】
【国外来华专利技术】2013.01.24 US 13/749,4971.一种实时相机跟踪的方法，包括：
从正在移动的移动深度相机接收深度图帧的序列，每一深度图帧包括每一
图像元素处的深度值，所述深度值与从所述移动深度相机到由所述移动深度相
机所捕捉的环境中的表面的距离有关；
访问所述环境中表面的3D模型；
通过根据所述深度图帧的图像元素与所述环境的3D模型中所描绘的表面
的对准，为多个深度图帧中的每一个深度图帧计算所述移动深度相机的经更新
的位置和定向，来跟踪所述移动深度相机的位置和定向。
2.如权利要求1所述的方法，其特征在于，包括通过计算将所述深度图帧
中的两帧对准的相机姿态来根据所述两帧计算所述移动深度相机的位置和定
向的初始估计。
3.如权利要求1或2所述的方法，其特征在于，访问所述表面的3D模型
包括访问表示所述环境中的表面的有符号距离函数。
4.如前述任意权利要求所述的方法，其特征在于，包括将图像元素的深度
值从深度图帧映射到相对于所述3D模型的模型位置.
5.如权利要求4所述的方法，其特征在于，包括计算来自所述3D模型的
模型位置的深度值。
6.如权利要求5所述的方法，其特征在于，包括通过将所述模型位置...

【专利技术属性】
技术研发人员：T·夏普，A·W·费茨吉本，S·伊扎迪，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US