本发明专利技术公开了一种在真实环境中跟踪包括至少一个相机的移动设备的方法，该方法包括以下步骤：接收与由至少一个相机所捕获的至少一个图像相关联的图像信息；基于由车辆的至少一个传感器在采集过程中所采集的环境数据或车辆状态数据来生成真实环境的至少一部分的第一几何模型，该车辆不同于移动设备；以及基于与至少一个图像相关联的图像信息并且至少部分地根据第一几何模型来执行跟踪过程，其中该跟踪过程确定移动设备相对于真实环境的姿态的至少一个参数。本发明专利技术还涉及一种使用来自移动设备的至少一个相机的图像信息来生成真实环境的至少一部分的几何模型的方法。
【技术实现步骤摘要】
【国外来华专利技术】【专利摘要】本专利技术公开了一种在真实环境中跟踪包括至少一个相机的移动设备的方法，该方法包括以下步骤：接收与由至少一个相机所捕获的至少一个图像相关联的图像信息；基于由车辆的至少一个传感器在采集过程中所采集的环境数据或车辆状态数据来生成真实环境的至少一部分的第一几何模型，该车辆不同于移动设备；以及基于与至少一个图像相关联的图像信息并且至少部分地根据第一几何模型来执行跟踪过程，其中该跟踪过程确定移动设备相对于真实环境的姿态的至少一个参数。本专利技术还涉及一种使用来自移动设备的至少一个相机的图像信息来生成真实环境的至少一部分的几何模型的方法。【专利说明】移动设备上的同步定位与映射
技术介绍
本公开涉及一种在真实环境中跟踪包括至少一个相机的移动设备的方法，并且涉及一种使用来自移动设备的至少一个相机的图像信息来生成真实环境的至少一部分的几何模型的方法，该方法包括接收与由至少一个相机所捕获的至少一个图像相关联的图像信息。真实环境的相机姿态估计和/或数字重组是许多应用或领域诸如机器人导航、3D对象重建、增强现实可视化等中常见的富有挑战性的任务。例如，已知系统和应用诸如增强现实(AR)系统和应用可通过提供将计算机生成的虚拟信息与真实环境的视图叠加的可视化来增强真实环境的信息。虚拟信息可以是任何类型的视觉感知数据，诸如对象、文本、图片、视频或它们的组合。真实环境的视图可作为视觉印象由用户的眼睛感知和/或作为由用户所持的相机捕获或在用户所持的设备上附接的一个或多个图像来采集。相机姿态估计的任务在于计算相机和参考对象(或环境)之间的空间关系或变换。相机运动估计在于计算相机在一个位置与相机在另一位置之间的空间关系或变换。相机运动也被称为相机姿态，该相机姿态描述相机在一个位置相对于同一相机在另一位置的姿态。相机姿态或运动估计也被称为跟踪相机。空间关系或变换描述3D空间中的平移、旋转或它们的组合。基于视觉的方法被称为用于计算相机姿态或运动的稳健且受欢迎的方法。基于视觉的方法基于由相机所捕获的环境的一个或多个图像来计算相机相对于环境的姿态(或运动)。此类基于视觉的方法依赖于所捕获的图像并且需要图像中的可检测到的视觉特征。基于计算机视觉(CV)的同步定位与映射(SLAM)(如参考文献所述的)是用于在无需环境的任何预备知识的情况下确定相机相对于真实环境的姿态和/或取向并创建真实环境的几何模型的熟知的技术。真实环境的几何模型的创建也被称为环境的重建。基于视觉的SLAM可促成许多应用，诸如机器人系统或车辆的导航。具体地，支持未知真实环境中的移动增强现实(AR)将是很有前途的技术。许多SLAM系统必须初始化，以便获得环境模型的初始部分。初始化必须利用相机在采集真实环境的两个图像之间的不同移动来完成。不同移动需要从两个不同相机位置捕获两个图像，该两个不同相机位置相比于到环境的距离具有足够的位移。需注意，仅旋转的相机运动产生不良结果(见参考文献)。使用AR中的特别是手持式或移动AR中的SLAM设备的主要限制中的一个主要限制在于其绝不容易使用而需要用户以某种方式移动设备以使系统工作。如Gaugl i tz等人在参考文献中所指出的，仅旋转的相机移动是用户在真实环境中环顾四周的自然运动并且通常发生在许多AR应用中。然而，仅旋转的相机运动对于单目SLAM可产生不良结果。此外，单个相机并不测量度量尺度。使用AR中的单目SLAM系统的另一限制在于取决于作为待定因数的尺度的复原的相机姿态和环境的几何模型(见参考文献)。待定缩放因数对将虚拟视觉信息准确地叠加到相机图像中的真实环境提出了挑战。当前，许多城市或建筑物的几何模型是从3D重建或由它们的蓝图获得的。然而，由于城市建设的频繁发展或变化，大多数这些模型并非是最新的。具体地，由于停放车辆随时间变化，因此停车场通常没有几何模型或最新模型。图4A中示出了示例性场景。用户4a05将他的车辆4a03停放在停车场。在停放车辆之后，用户可使用其配备有相机的移动设备4a04根据基于视觉的跟踪例如SLAM来运行导航或增强现实应用。相机的搜索范围/映射空间由区域4a06(源于用户手中的移动设备)可视化地示出。用户需要在不同移动中手动地移动相机(S卩，移动设备4a04)，以采集至少两个图像以便初始化SLAM(S卩，根据所采集的两个图像来创建几何模型)。另外，尺度和精确配准对于初始化可能存在问题。针对AR应用并且尤其针对移动手持式AR应用，已开发出各种基于单目视觉的SLAM系统。它们的使用中常见的挑战和局限性包括SLAM系统的初始化和度量缩放因数的确定。SLAM系统的初始化需要相机的不同移动以采集真实环境的两个图像，使得从两个不同的相机位置捕获两个图像，该两个不同的相机位置相比于到环境的距离具有足够的位移。相机姿态估计和任何所生成几何模型的质量明确地取决于初始化。实现相机的不同移动以得到合格的SLAM初始化在手持式AR应用中富有挑战性，其中手持相机的用户可能对相机移动的重要性并无意识甚至难于实现不同的移动，如图4A的场景中可能就是这种情况。因此，希望使启动简化或乃至使其对用户不可见。此外，单个相机并不测量度量尺度。相机姿态和来自基于单目视觉的SLAM的所重建的环境模型取决于待定缩放因数。合适的缩放因数限定真实的相机姿态和重建环境模型在真实世界中的尺寸。第一熟知的基于单目视觉的SLAM系统是由Davison等人(参考文献)开发的。他们需要相机在采集针对区域环境的每个新近观察到的部分的图像之间具有足够的位移。为了确定合适的度量缩放因数，他们引入具有已知几何尺寸的附加标定对象。Lemaire等人在参考文献中提出使用立体相机系统来解决要求相机移动和确定缩放因数的问题。然而，使用立体相机仅为部分解决方案，因为两个相机之间的位移相对于到环境的距离必须很显著，以便可靠地计算出环境的深度。因此，手持式立体系统将无法完全解决问题，并且需要用户提供附加的不同移动仍为不可或缺的。Lieberknecht等人在参考文献中通过采用提供与图像像素相关的深度信息的RGB-D相机来将深度信息结合到基于单目视觉的SLAM中，以允许准确缩放的相机姿态估计。可根据已知深度信息来确定缩放因数。然而，相比于正常RGB相机，RGB-D相机设备在手持式设备例如移动电话或PDA中并不常用。另外，应作为集成到手持式设备中的候选者的常见的低成本RGB-D相机通常基于红外投影，诸如来自Microsoft的Kinect系统或来自Asus的Xt1n Pro。这些系统为现成的商品廉价消费型设备。US 8 150 142 B2和US 7 433 024 B2描述了RGB-D传感器的详细的可能的实现方式。然而，在日间于户外使用时，由于日光的存在，这些系统存在问题。Gauglitz等人在参考文献中开发了可用于一般相机运动和仅旋转的相机运动的相机姿态估计和环境模型生成系统。对于仅旋转的运动，他们的方法创建了真实环境的全景地图，而不是真实环境的3D几何模型。
技术实现思路
本公开的一个目的在于提供一种在真实环境中跟踪包括至少一个相机的移动设备的方法，以及一种使用来自移动设备的至少一个相机的图像信息来生成真实环境的至少一部分的几何模型的方法，其中使用SLAM方法的挑战和局限性(诸如初始化)减小并且本文档来自技高网...
【技术保护点】
一种在真实环境中跟踪包括至少一个相机的移动设备的方法，包括：‑接收与由所述至少一个相机所捕获的至少一个图像相关联的图像信息，‑基于由车辆的至少一个传感器在采集过程中所采集的环境数据或车辆状态数据来生成所述真实环境的至少一部分的第一几何模型，所述车辆不同于所述移动设备，‑基于与所述至少一个图像相关联的所述图像信息并且至少部分地根据所述第一几何模型来执行跟踪过程，其中所述跟踪过程确定所述移动设备相对于所述真实环境的姿态的至少一个参数。
【技术特征摘要】
【国外来华专利技术】
【专利技术属性】
技术研发人员：P·迈耶，S·利伯克内希特，
申请(专利权)人：METAIO有限公司，
类型：发明
国别省市：德国;DE
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。