移动装置上的传感器辅助广域定位制造方法及图纸

一种移动装置例如在广域环境中共同使用视觉及定向传感器数据来用于六自由度定位。图像或视频流在接收地理定向数据的同时被捕捉，且可用以产生环境的全景柱面图。基于所述地理定向数据来存取存储在数据库中的模型特征的区间。所述模型特征是来自由来自所述环境的多个图像的所提取特征而产生的所述环境的预产生重建。将所述重建注册到全局定向，且基于类似的地理定向来将所述模型特征存储在区间中。将来自所述全景柱面图的特征匹配到所述区间中的模型特征以产生对应特征的集合，所述特征用以确定摄像机的位置及定向。

【技术实现步骤摘要】
【国外来华专利技术】未决临时申请案的交叉参考本申请案主张2012年12月18日申请的且名为“移动装置上的传感器辅助广域定位(Sensor-Aided Wide-Area Localization On Mobile Devices)”的第13/719,012号美国申请案的优先权，所述申请案继而根据35USC 119来主张2012年7月12日申请的且名为“移动装置上的传感器辅助广域定位(Sensor-Aided Wide-Area Localization On Mobile Devices)”的第61/670,990号美国临时申请案的优先权，所述两案均受让给其受让人且通过引用的方式并入本文中。
本文所述的标的物的实施例大体上涉及定位与跟踪，且更具体来说涉及基于视觉的移动装置的跟踪。
技术介绍
相对于用户的环境的高度准确的6自由度(DOF)自定位对于扩增实境(AR)中的正确的且视觉愉快的结果为必然需要的。用以执行自定位的有效方式为使用所述环境的稀疏的3D点云重建及执行摄像机实况图像与所述重建之间的特征匹配。根据特征匹配，可估计位置及定向，即姿势。在移动AR(例如，在例如蜂窝式电话或智能电话等移动装置上执行的AR)中面临的挑战在于经常在广域环境(例如，户外)中产生的姿势估计。由于AR应用程序的交互性质，定位时间对AR应用程序的用户体验具有直接的影响，因为其确定用户在与所述应用程序的交互可开始之前必须等待多长时间。因此，希望用移动装置中的有限的处理功率来在(例如)几秒内快速地定位移动装置，同时针对所要应用程序维持姿势(位置及定向)的必要准确性，例如用于位置的亚米级准确性及用于定向的小于5°角度误差。在计算机视觉(CV)领域中，已使用在计算上要求高的算法主要在粗尺度上解决了定位问题。此外，通常使用高达几米的准确性来解决定位任务。另外，典型的定位解决方案仅用两自由度(2DOF)或三自由度(3DOF)来确定位置，而非全六自由度(6DOF)姿势。因此，常规的定位方法并不直接适于移动AR应用程序或其它类似地要求高的应用程序。
技术实现思路
一种移动装置例如在广域环境中共同使用视觉、定向及任选地位置传感器数据来用于六自由度定位。图像或视频流在接收地理定向数据的同时被捕捉，且可用以产生环境的全景柱面图。基于所述地理定向数据来存取存储在数据库中的模型特征的区间。举例来说，可基于所述移动装置的粗略位置来从数据库获得包含模型特征的多个区间的数据集块，且基于地理定向数据来从数据库存取适当的区间。所述模型特征是来自由来自环境的多个图像的所提取特征而产生的所述环境的预产生重建。将所述重建注册到全局定向，且基于类似的地理定向来将所述模型特征存储在区间中。将来自所述全景柱面图的特征匹配到所述区间中的模型特征以产生对应特征的集合，所述特征用以确定摄像机的位置及定向。在一个实施方案中，一种方法包含：捕捉环境的图像；接收与图像相关联的地理定向数据；基于地理定向数据来从数据库存取模型特征的区间，其中所述模型特征是来自环境的预产生三维模型且基于所述模型特征的地理定向而在所述数据库中分区；从所述图像提取特征；比较从图像提取的特征与模型特征的区间中的模型特征以产生对应特征的集合；及使用对应特征的集合来确定摄像机的位置及定向。在一个实施方案中，一种设备包含：摄像机，其能够捕捉环境的图像；定向传感器，其能够提供地理定向数据；及处理器，其耦合到所述摄像机及所述定向传感器，所述处理器经配置以：从图像提取特征，确定每一特征的地理定向；基于每一特征的地理定向来存取数据库的模型特征的区间，其中所述模型特征是来自所述环境的预产生三维模型且基于所述模型特征的地理定向而在所述数据库中分区；比较从所述图像提取的特征与模型特征的区间以产生对应特征的集合；及使用对应特征的集合来确定摄像机的位置及定向。在一个实施方案中，一种设备包含：用于捕捉环境的图像的装置；用于接收与图像相关联的地理定向数据的装置；用于基于地理定向数据来从数据库存取模型特征的区间的装置，其中所述模型特征是来自环境的预产生三维模型且基于所述模型特征的地理定向而在所述数据库中分区；用于从所述图像提取特征的装置；用于比较从图像提取的特征与模型特征的区间中的模型特征以产生对应特征的集合的装置；及用于使用对应特征的集合来确定摄像机的位置及定向的装置。在一个实施方案中，一种包含存储在其上的程序代码的非暂时性计算机可读媒体包含：用以接收与环境的图像相关联的地理定向数据的程序代码；用以基于地理定向数据来从数据库存取模型特征的区间的程序代码，其中所述模型特征是来自环境的预产生三维模型且基于所述模型特征的地理定向而在所述数据库中分区；用以从所述图像提取特征的程序代码；用以比较从图像提取的特征与模型特征的区间中的模型特征以产生对应特征的集合的程序代码；及用以使用对应特征的集合来确定摄像机的位置及定向的程序代码。在一个实施方案中，一种方法包含：获得环境的多个图像；从所述多个图像提取特征；使用所述特征产生所述环境的重建；将所述环境的重建注册到全局定向；使地理定向与每一特征相关联；及存储所述环境的重建，其中所述特征一起分区为多个区间，其中每一区间与地理定向的不同预定范围相关联。在一个实施方案中，一种设备包含：数据库；处理器，其耦合到所述数据库，所述处理器经配置以使用从环境的多个图像提取的特征来产生所述环境的重建，将所述环境的所述重建注册到全局定向，使地理定向与每一特征相关联；及将所述环境的所述重建存储在所述数据库中，其中所述特征一起分区为多个区间，其中每一区间与地理定向的不同预定范围相关联。在一个实施方案中，一种设备包含：用于获得环境的多个图像的装置；用于从所述多个图像提取特征的装置；用于使用所述特征产生所述环境的重建的装置；用于将所述环境的重建注册到全局定向的装置；用于使地理定向与每一特征相关联的装置；及用于存储所述环境的重建的装置，其中所述特征一起分区为多个区间，其中每区间与地理定向的不同预定范围相关联。在一个实施方案中，一种包含存储在其上的程序代码的非暂时性计算机可读媒体包含：用以从环境的多个图像提取特征的程序代码；用以使用所述特征产生所述环境的重建的程序代码；用以将所述环境的重建注册到全局定向的程序代码；用以使地理定向与每一特征相关联的程序代码；及用以存储所述环境的重建的程序代码，其中所述特征一起分区为多个区间，其中每一区间与地理定向的不同预定范围相关联。附图说明图1说明展示包含移动装置及数据库的系本文档来自技高网...

【技术保护点】
一种方法，其包括：用摄像机捕捉环境的图像；接收与所述图像相关联的地理定向数据；基于所述地理定向数据而从数据库存取模型特征的区间，其中所述模型特征是来自所述环境的预产生三维模型且基于所述模型特征的地理定向而在所述数据库中分区；从所述图像提取特征；比较从所述图像提取的所述特征与模型特征的所述区间中的模型特征以产生对应特征的集合；及使用对应特征的所述集合来确定所述摄像机的位置及定向。

【技术特征摘要】
【国外来华专利技术】2012.07.12 US 61/670,990;2012.12.18 US 13/719,0121.一种方法，其包括：
用摄像机捕捉环境的图像；
接收与所述图像相关联的地理定向数据；
基于所述地理定向数据而从数据库存取模型特征的区间，其中所述模型特征是来
自所述环境的预产生三维模型且基于所述模型特征的地理定向而在所述数据库中
分区；
从所述图像提取特征；
比较从所述图像提取的所述特征与模型特征的所述区间中的模型特征以产生对
应特征的集合；及
使用对应特征的所述集合来确定所述摄像机的位置及定向。
2.根据权利要求1所述的方法，其进一步包括：
使用从所述图像提取的所述特征来产生所述环境的全景柱面图的至少一部分；
其中比较从所述图像提取的所述特征与模型特征的所述区间中的所述模型特征
使用来自所述全景柱面图的所述部分的特征。
3.根据权利要求1所述的方法，其中所述环境的所述图像是来自视频流的帧。
4.根据权利要求1所述的方法，其进一步包括：
接收与所述图像相关联的位置数据；且
其中基于所述地理定向数据而从所述数据库存取模型特征的所述区间包括：基于
所述位置数据来从所述数据库存取模型特征的数据集块，其中模型特征的所述数据
集块包括模型特征的多个区间；及使用所述地理定向数据来在所述数据集块中存取
来自模型特征的所述多个区间的模型特征的所述区间。
5.根据权利要求1所述的方法，其进一步包括：
确定每一特征的法线向量；及
使所述地理定向数据与每一特征的所述法线向量相关联；
其中基于所述地理定向数据来从所述数据库存取模型特征的所述区间包括使用

\t与每一特征的所述法线向量相关联的所述地理定向数据来从具有法线向量的模型
特征的对应区间检索模型特征，其中所述法线向量在包含与所述法线向量相关联的
所述地理定向数据的地理定向的范围中。
6.根据权利要求5所述的方法，其进一步包括：
确定每一特征的重力向量；及
当比较从所述图像提取的所述特征与模型特征的所述区间中的所述模型特征以
产生对应特征的所述集合时使用所述重力向量，其中每一模型特征具有相关联的重
力向量。
7.一种设备，其包括：
摄像机，其能够捕捉环境的图像；
定向传感器，其能够提供地理定向数据；及
处理器，其耦合到所述摄像机及所述定向传感器，所述处理器经配置以：从图像
提取特征，确定每一特征的地理定向；基于每一特征的所述地理定向来存取数据库
的模型特征的区间，其中所述模型特征是来自所述环境的预产生三维模型且基于所
述模型特征的所述地理定向而在所述数据库中分区；比较从所述图像提取的所述特
征与模型特征的所述区间以产生对应特征的集合；及使用对应特征的所述集合来确
定所述摄像机的位置及定向。
8.根据权利要求7所述的设备，其中所述处理器经进一步经配置以：
使用从所述图像提取的所述特征来产生所述环境的全景柱面图的至少一部分；
其中所述处理器经配置以通过经配置以使用来自所述全景柱面图的所述部分的
特征来比较从所述图像提取的所述特征与模型特征的所述区间中的所述模型特征。
9.根据权利要求7所述的设备，其进一步包括：
位置传感器，其能够确定所述设备的粗略位置；
其中所述处理器耦合到所述位置传感器且经进一步配置以基于所述粗略位置而
从所述数据库存取模型特征的数据集块，其中模型特征的所述数据集块包括模型特
征的多个区间，及所述处理器经配置以使用所述地理定向数据来在所述数据集块中
存取来自模型特征的所述多个区间的模型特征的所述区间。
10.根据权利要求7所述的设备，其中所述处理器经进一步配置以确定每一特征的法线
向量；及使所述地理定向数据与每一特征的所述法线向量相关联；其中所述处理器
经配置以通过经配置以使用与每一特征的所述法线向量相关联的所述地理定向数
据而基于所述地理定向数据来从所述数据库存取模型特征的所述区间，从而从具有
法线向量的模型特征的对应区间检索模型特征，其中所述法线向量在包含与所述法
线向量相关联的所述地理定向数据的地理定向的范围中。
11.根据权利要求10所述的设备，其进一步包括：
加速度计，其用以确定重力的方向；
其中所述处理器耦合到所述加速度计且经进一步配置以确定每一特征的重力向
量，且在比较从所述图像提取的所述特征与模型特征的所述区间中的所述模型特征
以产生对应特征的所述集合时使用所述重力向量，其中每一模型特征具有相关联的
重力向量。
12.根据权利要求7所述的设备，其进一步包括：
无线接口，其能够与耦合到所述数据库的远程服务器通信，其中所述处理器经配
置以经由所述无线接口从所述数据库存取模型特征的所述区间。
13.一种设备，其包括：
用于捕捉环境的图像的装置；
用于接收与所述图像相关联的地理定向数据的装置；
用于基于所述地理定向数据而从数据库存取模型特征的区间的装置，其中所述模
型特征是来自所述环境的预产生三维模型且基于所述模型特征的地理定向而在所
述数据库中分区；
用于从所述图像提取特征的装置；
用于比较从所述图像提取的所述特征与模型特征的所述区间中的模型特征以产
生对应特征的集合的装置；及
用于使用对应特征的所述集合来确定所述设备的位置及定向的装置。
14.根据权利要求13所述的设备，其进一步包括用于使用从所述图像提取的所述特征

\t来产生所述环境的全景柱面图的至少一部分的装置，其中所述用于比较从所述图像
提取的所述特征与模型特征的所述区间中的所述模型特征的装置使用来自所述全
景柱面图的所述部分的特征。
15.根据权利要求13所述的设备，其进一步包括：
用于接收位置数据的装置；且
其中所述用于基于所述地理定向数据而从所述数据库存取模型特征的所述区间
的装置基于所述位置数据而从所述数据库存取模型特征的数据集块，其中模型特征
的所述数据集块包括模型特征的多个区间；及使用所述地理定向数据来在所述数据
集块中存取来自模型特征的所述多个区间的模型特征的所述区间。
16.根据权利要求13所述的设备，其进一步包括：
用于确定每一特征的法线向量的装置；及
用于使所述地理定向数据与每一特征的所述法线向量相关联的装置；
其中所述用于基于所述地理定向数据来从所述数据库存取模型特征的所述区间
的装置使用与每一特征的所述法线向量相关联的所述地理定向数据来从具有法线
向量的模型特征的对应区间检索模型特征，其中所述法线向量在包含与所述法线向
量相关联的所述地理定向数据的地理定向的范围中。
17.根据权利要求16所述的设备，其进一步包括：
用于确定每一特征的重力向量的装置；及
用于在比较从所述图像提取的所述特征与模型特征的所述区间中的所述模型特...

【专利技术属性】
技术研发人员：克莱门斯·阿斯，亚历山德罗·穆洛尼，格哈德·赖特迈尔，迪特尔·施马尔施蒂格，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US