基于影像的电子设备定位制造技术

公开了基于影像的电子设备定位。一种电子设备包括一个或多个成像相机。在设备的重置或其他指定事件之后，电子设备基于诸如全球定位系统。一个或多个成像相机可以用于捕捉电子设备的本地环境的影像，且该影像被用于改善估计的姿态以识别电子设备的改善的姿态。改善的姿态可被用于识别附加的影像信息，诸如环境特征，其可以被用来增强电子设备的基于位置的功能。

Image-based Electronic Device Location

【技术实现步骤摘要】
基于影像的电子设备定位本申请是分案申请，原案的申请号是201580019564.2，申请日是2015年4月24日，专利技术名称是“基于影像的电子设备定位”。
本公开一般涉及影像捕捉和处理，更具体涉及使用捕捉的影像的机器视觉。
技术介绍
机器视觉技术，诸如同时定位和映射(SLAM)、增强现实(AR)以及虚拟现实(VR)，通常依赖于通过对设备所捕捉的本地环境的影像的分析而进行的对设备本地环境内的对象的识别。这样的技术的效率可以通过识别设备的位置而得到增强。但是，用于定位设备的传统技术通常不具有足够的分辨率来增强对象识别。进一步，用来识别设备的位置的时间量限制了位置信息的效用。附图说明通过参考附图，本领域技术人员可以更好地理解本公开并使得许多特征和优点变得显然。不同图中相同附图标记的使用指示相似或相同的项目。图1是根据本公开的至少一个实施例的图示说明被配置用于通过使用非图像传感器数据来估计姿态并使用图像传感器数据来改善姿态而确定电子设备在本地环境中的相对姿态的电子设备的图。图2是根据本公开的至少一个实施例的图示说明在自由参照架构中基于对图1的电子设备的姿态跟踪来进行改善姿态的调整的图。图3是根据本公开的至少一个实施例的图示说明用于识别图1的电子设备的姿态的系统的图。图4是根据本公开的至少一个实施例的图示说明用于从捕捉的本地环境的影像来确定空间特征数据的电子设备的处理系统的框图。图5是根据本公开的至少一个实施例的图示说明基于图像传感器数据和非图像传感器数据来确定电子设备在本地环境中的姿态的电子设备的操作的流程图。图6是根据本公开的至少一个实施例的图示说明平衡在图1的电子设备处的定位和运动估计的资源指派的图。图7是根据本公开的至少一个实施例的图示说明平衡用于在图1的电子设备处的定位和运动估计的资源指派的方法的流程图。图8是根据本公开的至少一个实施例的图示说明具有隐私设定信息以限制对该特征描述符的访问的特征描述符的框图。图9是根据本公开的至少一个实施例的图示说明基于隐私设定而限制对特征描述符的访问的方法的流程图。具体实施方式下面的描述旨在通过提供涉及基于电子设备的本地环境中的对象的基于图像的识别来进行电子设备的相对方位或相对取向的确定的多个具体实施例以及细节来传递对本公开的透彻的理解。但是，要理解的是，本公开不限于这些仅仅为示例的具体实施例和细节，本公开的范围因此旨在仅由所附权利要求书及其等价物来限定。进一步要理解的是，普通技术人员根据已知系统和方法将认识到本公开的使用，在任意数量的实施例中用于其想要的目的和利益，取决于具体设计及其他需求。图1-9图示说明了各种技术用于确定电子设备在本地环境内的姿态，由此支持基于位置的功能，诸如增强现实(AR)功能、视觉测程或其他同时定位和映射(SLAM)功能等。术语“姿态”这里用来指代方位(也被称为位置)和取向(也被称为视点)之一或二者。在一些实施例中，电子设备包括一个或多个成像相机。在设备处的重置事件之后，电子设备基于诸如全球定位系统(GPS)数据、蜂窝塔三角测量信息、无线网络地址位置数据等的非视觉位置数据(也就是，以非视觉的方式指示位置的数据)来识别设备的姿态的估计。如这里所使用的，重置事件是在设备处使得设备放置或返回到指定初始起动状态的事件，且可以包括设备的启动、设备的硬重置、设备的软重置等。电子设备的一个或多个成像相机可以被用于捕捉电子设备的本地环境的影像，且该影像被用于改善估计的姿态以识别电子设备的改善的姿态。因为改善的姿态是基于非视觉和视觉位置数据来识别的，改善的姿态可以相对快速地被识别。进一步，改善的姿态可以被用于识别附加的影像信息，诸如环境特征，其可以被用于增强电子设备的基于位置的功能。例如，改善的姿态可以被用于识别电子设备的所在位置的已知特征，电子设备所使用的这些已知特征可被用于生成模拟已知特征的视觉网。视觉网可以被用于创建对电子设备的本地环境的模拟，允许用户与模拟的本地环境交互。在至少一个实施例中，为了改善估计的姿态，电子设备可以使用捕捉的影像来识别表示本地环境中的对象以及它们与电子设备的距离的空间特征。电子设备生成特征描述符集合来描述空间特征，且将所生成的集合与识别已知(例如，之前识别的)空间特征及其对应位置的所存储的特征描述符的子集进行比较。响应于将所生成的特征描述符的集合与一个或多个所存储的特征描述符相匹配，电子设备基于在相匹配的所存储的描述符中识别的位置信息来改善其估计的位置。在至少一个实施例中，所存储的描述符的子集基于估计的位置而被识别，由此加速匹配过程。与匹配所生成的描述符的集合同时，电子设备可以在任意或“自由”参照架构(有时这里被称为“自由空间”)中跟踪其姿态的变化(例如，其位置、视点或二者的变化)。一旦电子设备已经基于生成的描述符的集合而识别出改善的姿态，其可以基于自由参照架构中的姿态变化而调整改善的方位以便识别电子设备的当前的改善姿态。电子设备由此本地化其参照架构，允许增强的基于位置的功能，诸如基于电子设备的姿态，电子设备所捕捉的影像的显示中的附加信息的图形覆盖。图1根据本公开的至少一个实施例图示说明了电子设备100，被配置用于使用图像和非图像传感器数据来支持基于位置的功能，诸如SLAM或AR。电子设备100可以包括用户便携移动设备，诸如平板计算机、具有计算能力的蜂窝电话(例如，“智能电话”)、笔记本计算机、个人数字助理(PDA)、游戏系统遥控器、电视遥控器等。在其他实施例中，电子设备100可以包括另一类型的移动设备，诸如汽车、遥控无人机、或其他空运设备等。为了易于说明，电子设备100通常在此以移动设备的示例场境来描述，诸如平板计算机或智能电话；但是，电子设备100不限于这些示例实施方式。在描绘的示例中，电子设备100包括壳体102，壳体102具有表面104，与另一表面106相对。在示例的所描绘的薄矩形方块形状因数中，表面104和106大致平行且壳体102进一步包括在表面104和表面106之间的四个侧表面(顶、底、左、和右)。壳体102可以用许多其他形状因数来实现，且表面104和106可以具有非平行的取向。对于图示的平板实施方式，电子设备100包括设置在表面106处的显示器108，用于呈现可视信息给用户110。因此，为了易于参考，表面106在此被称为“面向前”表面，而表面104在此被称为“面向用户”表面，作为电子设备100相对于用户110的这个示例取向的反射，尽管这些表面的取向不受这些相对名称的限制。电子设备100包括多个传感器以获得关于电子设备100的本地环境112的信息。电子设备100经由设置在面向前的表面106的成像相机114和116和深度传感器120以及设置在面向用户表面104的成像相机118获得用于本地环境112的视觉信息(影像)。在一个实施例中，成像相机114被实现为具有鱼眼镜头或其他广角镜头的广角成像相机以提供面向表面106的本地环境112的更宽视角。成像相机116被实现为具有典型视角镜头的窄角成像相机以提供面向表面106的本地环境112的更窄视角。因此，成像相机114和成像相机116在此也被分别称为“广角成像相机114”和“窄角成像相机116”。如下面更详细所述，广角成像相机114和窄角成像相机116可以在面向本文档来自技高网...

【技术保护点】
1.一种方法，包括：响应于电子设备处的重置事件，在所述电子设备处识别第一参照架构的原点；识别所述电子设备在与地理参照架构相对应的第二参照架构中的第一姿态；与识别所述第一姿态同时，识别所述电子设备在所述第一参照架构中相对于所述原点的方位变化；以及基于在所述第一参照架构中的所述方位变化，将所述电子设备的所述第一姿态转化为在所述第二参照架构中的第二姿态。

【技术特征摘要】
2014.04.25 US 61/984,4251.一种方法，包括：响应于电子设备处的重置事件，在所述电子设备处识别第一参照架构的原点；识别所述电子设备在与地理参照架构相对应的第二参照架构中的第一姿态；与识别所述第一姿态同时，识别所述电子设备在所述第一参照架构中相对于所述原点的方位变化；以及基于在所述第一参照架构中的所述方位变化，将所述电子设备的所述第一姿态转化为在所述第二参照架构中的第二姿态。2.如权利要求1所述的方法，其中，识别所述第一姿态包括：基于由所述电子设备处的成像相机所捕捉的第一图像来识别所述第一姿态。3.如权利要求2所述的方法，其中，识别所述第一姿态包括：基于非视觉位置数据来识别所述电子设备的估计姿态；以及基于由所述成像相机所捕捉的图像来改善所述电子设备的所述估计姿态，以识别所述第一姿态。4.如权利要求3所述的方法，进一步包括：在所述电子设备的初始姿态和所改善的姿势之间转化所述电子设备的多个中间姿态。5.如权利要求3所述的方法，其中，所述非视觉位置数据包括在所述电子设备处捕捉的全球定位系统数据。6.如权利要求3所述的方法，其中，所述非视觉位置数据包括所述电子设备的无线塔三角测量信息。7.如权利要求3所述的方法，其中，识别所述第一姿态包括：识别所述第一图像的特征；将所述特征与特征描述符的数据库的第一特征描述符相匹配；以及基于与所述第一特征描述符相关联的姿态来识别所述第一姿态。8.如权利要求7所述的方法，其中，改善所述估计姿态包括：基于所述估计姿态来识别多个特征描述符；以及为所述第一特征描述符而搜索所识别的多个特征描述符。9.如权利要求7所述的方法，进一步包括：基于在所述电子设备处识别的所述第一图像的重力方向，来识别所述第一特征描述符。10.如权利要求1所述的方法，进一步包括：基于所述第二姿态来识别第二特征描述符；以及向在所述电子设备处执行的应用提供基于所述第二特征描述符的信息。11.一种电子设备，包括：成像相机，所述成像相机用来捕捉第一影像；处理器，所述处理器用于：响...

【专利技术属性】
技术研发人员：乔尔·黑施，伊莎·内鲁卡，帕特里克·米利希，
申请(专利权)人：谷歌技术控股有限责任公司，
类型：发明
国别省市：美国,US