重新定位系统和方法技术方案

一种确定图像捕获设备的姿态的方法包括使用图像捕获设备捕获图像。所述方法还包括生成与所捕获的图像对应的数据结构。所述方法进一步包括将所述数据结构与多个已知数据结构进行比较以识别最相似的已知数据结构。此外，所述方法包括读取与所述最相似的已知数据结构对应的元数据以确定所述图像捕获设备的姿态。

【技术实现步骤摘要】
【国外来华专利技术】重新定位系统和方法相关申请的交叉引用本申请要求2015年12月4日提交的序列号为62/263,529、名称为“RELOCALIZATIONSYSTEMSANDMETHODS(重新定位系统和方法)”、代理案卷号为9512-30061.00US的美国临时申请的优先权。本申请包括与2016年5月9日提交的序列号为15/150,042、名称为“DEVICES,METHODSANDSYSTEMSFORBIOMETRICUSERRECOGNITIONUTILIZINGNEURALNETWORKS(用于利用神经网络的生物用户识别的设备、方法和系统)”、代理案卷号为ML.20028.00的美国技术专利申请中描述的主题类似的主题。上述专利申请的全部内容通过引用特此明确地全部并入此文，就像完整阐述一样。本文中的主题可以与诸如由诸如佛罗里达州劳德代尔堡的奇跃公司等的组织设计的那些可穿戴计算系统及其部件的各种系统一起应用和/或使用。以下文献的全部内容通过引用特此明确地全部并入此文，就像完整阐述一样：序列号为14/641,376的美国专利申请；序列号为14/555,585的美国专利申请；序列号为14/205,126的美国专利申请；序列号为14/212,961的美国专利申请；序列号为14/690,401的美国专利申请；序列号为13/663,466的美国专利申请；以及序列号为13/684,489的美国专利申请。
本公开涉及用于定位姿态敏感系统的设备、方法和系统。特别地，本公开涉及用于重新定位已经或丢失和/或尚未建立系统姿态的姿态敏感系统的设备、方法和系统。
技术介绍
越来越多的系统需要姿态信息以使系统最优运行。为了最优性能而需要姿态信息的系统的示例包括但不限于机器人技术和混合现实(MR)系统(即，虚拟现实(VR)和/或增强现实(AR)系统)。这样的系统可以被统称为“姿态敏感”系统。姿态信息的一个示例是在三维空间中对姿态敏感系统进行定位和定向的沿六个自由度的空间信息。姿态敏感系统可能在各种事件后“丢失”(即，失去对系统姿态的追踪)。这些事件中的一些包括：1.快速相机运动(例如，在运动参与者穿戴的AR系统中)；2.遮挡(例如，被走入视场的人遮挡)；3.运动模糊(例如，在AR系统用户快速转动头部的情况下)；4.照明不良(例如，闪烁的灯)；5.偶发系统故障(例如，电源故障)；以及6.无特征的环境(例如，具有素色墙的房间)。这些事件中和许多其他事件中的任一事件可以极大地影响基于特征的追踪，例如当前具有鲁棒追踪前端的同时定位和建图(“SLAM”)系统所采用的追踪，从而导致这些系统丢失。因此，重新定位(即，当系统在已经建图的空间中“丢失”时在图中找到系统的姿态)是实时视觉追踪的有挑战性的关键方面。追踪故障是SLAM系统中的重要问题，且系统恢复(或者重新定位)的能力依赖于系统精确地识别其先前已经访问过的位置的能力。机器人技术中基于图像的定位问题通常被称为丢失机器人问题(或者绑架机器人问题)。丢失机器人问题还与唤醒机器人问题和循环闭合检测两者都有关。唤醒机器人问题涉及首次开启系统。循环闭合检测涉及重新访问先前访问过的位置的成功追踪的系统。在循环闭合检测中，图像定位系统必须识别出之前系统已经访问过该位置。这样的循环闭合检测有助于防止定位漂移，且在构建大型环境的3D地图时是重要的。因此，姿态敏感系统定位在除丢失系统场景以外的情况下是有用的。MR系统(例如AR系统)具有比典型机器人系统更高的定位要求。本文描述的和要求保护的用于定位姿态敏感系统的设备、方法和系统可以有助于全部姿态敏感系统的最优运行。
技术实现思路
在涉及一种确定图像捕获设备的姿态的方法的一个实施例中，所述方法包括使用图像捕获设备捕获图像。所述方法还包括生成与所捕获的图像对应的数据结构。所述方法进一步包括将所述数据结构与多个已知数据结构进行比较以识别最相似的已知数据结构。此外，所述方法包括读取与所述最相似的已知数据结构对应的元数据以确定所述图像捕获设备的姿态。在一个或多个实施例中，所述数据结构是所捕获的图像的紧凑表示。所述数据结构可以是N维矢量。所述数据结构可以是128维矢量。在一个或多个实施例中，生成与所捕获的图像对应的数据结构包括使用神经网络将所捕获的图像映射为所述N维矢量。所述神经网络可以是卷积神经网络。在一个或多个实施例中，所述多个已知数据结构中的每个是N维空间中的相应的已知N维矢量。所述多个已知数据结构中的每个可以是128维空间中的相应的已知128维矢量。所述数据结构可以是N维矢量。将所述数据结构与所述多个已知数据结构进行比较以识别最相似的已知数据结构可以包括确定所述N维矢量与每个相应的已知N维矢量之间的相应的欧几里德距离。将所述数据结构与所述多个已知数据结构进行比较以识别最相似的已知数据结构还可以包括将与所述N维矢量具有最小距离的已知N维矢量识别为所述最相似的已知数据结构。在一个或多个实施例中，所述方法还包括通过将多个已知图像映射为所述多个已知数据结构来训练神经网络。所述神经网络可以是卷积神经网络。训练所述神经网络可以包括基于对所述多个已知图像中的已知图像的对进行的比较来修改所述神经网络。在一个或多个实施例中，训练所述神经网络包括基于对所述多个已知图像中的三元组(triplet)进行的比较来修改所述神经网络。所述多个已知图像中的每个已知图像可以具有包括姿态数据的相应元数据。训练所述神经网络可以包括访问用所述相应元数据注释的所述已知图像的数据库。所述姿态数据可以对与已知图像对应的相机的平移和旋转进行编码。在一个或多个实施例中，所述多个已知数据结构中的每个已知数据结构是N维空间中的相应的已知N维矢量。所述三元组中的第一已知图像可以是所述三元组中的第二已知图像的匹配图像。所述三元组中的第三已知图像可以是所述三元组中的所述第一已知图像的不匹配图像。在与匹配的第一已知图像和第二已知图像对应的相应的第一和第二姿态数据之间的第一欧几里德距离可以小于预定阈值。在与不匹配的第一已知图像和第三已知图像对应的相应的第一姿态数据和第三姿态数据之间的第二欧几里德距离可以大于所述预定阈值。在一个或多个实施例中，训练所述神经网络包括减小在N维空间中与匹配的第一已知图像和第二已知图像分别对应的第一已知N维矢量和第二已知N维矢量之间的第一欧几里德距离。训练所述神经网络还可以包括增大在所述N维空间中与不匹配的第一已知图像和第三已知图像分别对应的第一已知N维矢量和第三已知N维矢量之间的第二欧几里德距离。在一个或多个实施例中，所述方法还包括将所述数据结构与所述多个已知数据结构进行比较以实时识别所述最相似的已知数据结构。与所述最相似的已知数据结构对应的元数据可以包括与所述最相似的已知数据结构对应的姿态数据。所述方法还包括根据所述最相似的已知数据结构的元数据中的姿态数据确定所述图像捕获设备的姿态。附图说明附图示出了本专利技术的各种实施例的设计和使用。应当注意，附图未按比例绘制，并且在所有附图中，相似的结构或功能的元件由相同的参考标记表示。为了更好地理解如何获得本专利技术的各种实施例的上述和其它优点和目的，将通过参考在附图中示出的具体实施例来对上面简要描述的本专利技术进行更详细的描述。应当理解，这些附图仅描绘了本专利技术的典型本文档来自技高网...

【技术保护点】
1.一种确定图像捕获设备的姿态的方法，包括：使用图像捕获设备捕获图像；生成与所捕获的图像对应的数据结构；将所述数据结构与多个已知数据结构进行比较以识别最相似的已知数据结构；读取与所述最相似的已知数据结构对应的元数据以确定所述图像捕获设备的姿态。

【技术特征摘要】
【国外来华专利技术】2015.12.04 US 62/263,5291.一种确定图像捕获设备的姿态的方法，包括：使用图像捕获设备捕获图像；生成与所捕获的图像对应的数据结构；将所述数据结构与多个已知数据结构进行比较以识别最相似的已知数据结构；读取与所述最相似的已知数据结构对应的元数据以确定所述图像捕获设备的姿态。2.根据权利要求1所述的方法，其中，所述数据结构是所捕获的图像的紧凑表示。3.根据权利要求2所述的方法，其中，所述数据结构是N维矢量。4.根据权利要求3所述的方法，其中，生成与所捕获的图像对应的所述数据结构包括使用神经网络将所捕获的图像映射为所述N维矢量。5.根据权利要求4所述的方法，其中，所述神经网络是卷积神经网络。6.根据权利要求3所述的方法，其中，所述数据结构是128维矢量。7.根据权利要求1所述的方法，其中，所述多个已知数据结构中的每个是N维空间中的相应的已知N维矢量。8.根据权利要求7所述的方法，其中，所述数据结构是N维矢量，并且其中，将所述数据结构与所述多个已知数据结构进行比较以识别所述最相似的已知数据结构包括：确定所述N维矢量与每个相应的已知N维矢量之间的相应的欧几里德距离，以及将与所述N维矢量具有最小距离的已知N维矢量识别为所述最相似的已知数据结构。9.根据权利要求7所述的方法，其中，所述多个已知数据结构中的每个是128维空间中的相应的已知128维矢量。10.根据权利要求1所述的方法，进一步包括通过将多个已知图像映射为所述多个已知数据结构来训练神经网络。11.根据权利要求10所述的方法，其中，所述神经网络是卷积神经网络。12.根据权利要求10所述的方法，其中，训练所述神经网络包括基于对所述多个已知图像中的已知图像的对进行的比较来修改所述神经网络。13.根据权利要求10所述的方法，其中，训练所述神经网络包括基于对所...

【专利技术属性】
技术研发人员：B·施罗德，T·J·马利耶维奇，A·拉比诺维奇，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国,US