基于图像数据调节航向传感器输出制造技术

本公开涉及基于图像数据调节航向传感器输出。本文公开了一种实现用于估计设备取向的系统的设备，所述设备包括至少一个处理器，所述至少一个处理器被配置为获取对设备的航向的第一估计，所述第一估计基于来自所述设备的磁力计的输出。至少一个处理器被进一步配置为使用设备的图像传感器捕获图像数据，并且基于将图像数据与标测数据相关来确定对航向的至少一个第二估计。所述至少一个处理器被进一步配置为基于所述第一估计和所述至少一个第二估计来确定与所述磁力计的输出相关联的偏差，并且基于所确定的偏差来调节所述磁力计的输出。

【技术实现步骤摘要】
基于图像数据调节航向传感器输出
本说明书整体涉及估计设备的位置和/或取向，包括在估计和/或校正设备位置和/或取向中使用设备的图像传感器。
技术介绍
电子设备诸如膝上型计算机、平板电脑、智能电话或可穿戴设备可包括可彼此结合使用以估计电子设备的位置和/或取向的全球导航卫星系统(GNSS)接收器和一个或多个传感器(例如，加速度计、陀螺仪诸如速率陀螺仪)。附图说明本主题技术的一些特征在所附权利要求书中被示出。然而，出于解释的目的，在以下附图中阐述了本主题技术的若干实施方案。图1示出了示例性环境，其中一个或多个电子设备可实现根据一个或多个具体实施的用于估计设备位置和/或取向的主题系统。图2示出了可实现根据一个或多个具体实施的用于估计设备位置和/或取向的主题系统的示例性电子设备。图3示出了可由电子设备实施以用于根据一个或多个具体实施估计设备位置和/或取向的示例性架构。图4示出了可由电子设备实施以用于根据一个或多个具体实施调节磁力计输出的示例性架构。图5示出了可由电子设备实施以用于根据一个或多个具体实施执行视觉惯性测程的稳定化的示例性架构。图6示出了根据一个或多个具体实施的用于调节磁力计输出的示例性过程的流程图。图7示出了根据一个或多个具体实施的用于估计设备位置和/或取向的示例性过程的流程图。图8示出了根据一个或多个具体实施的可用以实现主题技术的各个方面的示例性电子系统。具体实施方式相关申请的交叉引用本申请要求2019年5月3日提交的名称为“AdjustingHeadingSensorOutputBasedonImageData”的美国临时专利申请序列号62/843,264的权益，该专利申请据此全文以引用方式并入本文以用于所有目的。下面示出的具体实施方式旨在作为本主题技术的各种配置的描述并且不旨在表示本主题技术可被实践的唯一配置。附图被并入本文并且构成具体实施方式的一部分。具体实施方式包括具体的细节旨在提供对本主题技术的透彻理解。然而，本主题技术不限于本文阐述的具体细节，而是可以采用一个或多个其他具体实施来实践。在一个或多个具体实施中，以框图形式示出了结构和部件，以便避免使本主题技术的概念模糊。电子设备可包括可彼此结合使用以估计电子设备的位置和/或取向的GNSS接收器和一个或多个传感器(例如，加速度计、陀螺仪诸如速率陀螺仪)。电子设备还可包括可用于估计设备位置和/或取向的一个或多个图像传感器。设备取向可包括一个或多个参数，包括航向(例如，相对于磁北的角度)、俯仰(例如，围绕横向轴线的运动)和翻滚(例如，围绕纵向轴线的运动)。此外，电子设备可包括被配置为提供设备位置和/或行进方向的GNSS接收器、以及被配置为指示航向信息的磁力计(例如，作为数字罗盘的一部分)。例如，增强现实应用可使用针对设备位置和/或取向(例如，航向)的估计中的一者或多者，以便将数字内容(例如，视觉、听觉和/或触觉)集成到(例如，由图像传感器捕获并实时显示的)用户真实世界环境的图像中。主题系统提供使用电子设备的多个传感器以便估计设备位置和/或取向。例如，电子设备可基于来自磁力计的输出来获取针对设备航向的第一估计。电子设备还可利用图像传感器捕获图像数据，并且基于将图像数据与标测数据(例如，具有已知地点的道路)相关来确定航向的第二估计。例如，图像数据可描绘道路，并且电子设备可标识道路上的没影点(例如，平行线看似会聚的点)。电子设备可基于(例如，由GNSS接收器提供的)设备地点将图像中的道路与标测数据中的道路对齐。电子设备可基于第一估计和第二估计来确定与磁力计的输出相关联的偏差(例如，可归因于磁力计的偏差)，并且基于所确定的偏差来调节磁力计的输出。因此，可以调整磁力计输出以用于实现对设备航向的经改善的估计。又如，电子设备的GNSS接收器可在第一时间接收设备的第一估计位置。电子设备的图像传感器可在由第一时间和第二时间限定的时间段期间捕获图像(例如，其中第一时间和第二时间对应于GNSS接收器的采样间隔)。电子设备可基于所述图像确定设备的第二估计位置，第二估计位置相对于第一估计位置(例如，其中第一位置对应于基准点，并且第二位置是所测量的相对于基准点的变化量)。此外，GNSS接收器可在第二时间接收设备的第三估计位置，并且基于第二估计位置和第三估计位置来估计设备的地点。因此，可以用结合图像传感器提供的相对定位估计来补充GNSS位置估计，用于实现经改善的设备地点估计。图1示出了示例性环境100，其中一个或多个电子设备可实现根据一个或多个具体实施的用于估计设备位置和/或取向的主题系统。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。环境100包括电子设备102和GNSS卫星104a、104b、104c和104d(下文称为“GNSS卫星104a-104d”)。出于解释的目的，环境100在图1中被例示成包括一个电子设备102和四个GNSS卫星104a-104d；然而，环境100可包括任何数量的电子设备和任何数量的GNSS卫星。电子设备102可以是例如便携式计算设备，诸如膝上型计算机、智能电话、嵌入在车辆中、安装在车辆中和/或耦接到车辆的设备、外围设备(例如，数字相机、耳机)、平板设备、可穿戴设备诸如智能手表、带等，或者包括例如一个或多个无线接口的任何其他适当设备，诸如GNSS无线电设备、WLAN无线电设备、蜂窝无线电设备、蓝牙无线电设备、Zigbee无线电设备、近场通信(NFC)无线电设备和/或其他无线的无线电设备。在图1中，通过举例的方式，电子设备102被描绘成智能电话。电子设备102可为和/或可包括下文相对于图2所论述的电子设备和/或下文相对于图8所论述的电子系统的全部或部分。在图1的示例中，电子设备102由用户握持或以其他方式耦接到用户(例如，经由口袋或带)。然而，电子设备102可耦接到车辆和/或容纳在车辆内。在图1的示例中，用户正在徒步行进(例如，步行)。然而，用户可以正在车辆(例如，陆地车辆诸如汽车、摩托车、自行车、或船舶或飞行车辆)内、在自行车上、通过水(例如，游泳)和/或通过其他方式行进。在环境100中，电子设备102可基于从GNSS卫星104a-104d接收的信号来确定其地点。例如，GNSS卫星104a-104d可与全球定位系统(GPS)、全球导航卫星系统(GLONASS)、伽利略定位系统和/或一般而言任何定位系统中的一者或多者兼容。例如，电子设备102可利用从GNSS卫星104a-104d接收的信号来确定其相应位置(例如，经度、纬度和海拔/高度)。可独立于或结合GNSS(例如，GNSS卫星104a-104d)使用其他定位技术(未示出)来确定设备地点。例如，可基于从可以具有已知地点(例如，在建筑物或商店内，安装本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n获取对设备的航向的第一估计，所述第一估计基于来自所述设备的第一传感器的输出；/n使用所述设备的第二传感器捕获图像数据，所述第二传感器是图像传感器；/n基于将所述图像数据与预定义的地点数据相关来确定对所述航向的至少一个第二估计；/n基于所述第一估计和所述至少一个第二估计确定与所述第一传感器的输出相关联的偏差；以及/n基于所确定的偏差来调节所述第一传感器的输出。/n

【技术特征摘要】
20190503 US 62/843,264;20190925 US 16/583,1951.一种方法，包括：
获取对设备的航向的第一估计，所述第一估计基于来自所述设备的第一传感器的输出；
使用所述设备的第二传感器捕获图像数据，所述第二传感器是图像传感器；
基于将所述图像数据与预定义的地点数据相关来确定对所述航向的至少一个第二估计；
基于所述第一估计和所述至少一个第二估计确定与所述第一传感器的输出相关联的偏差；以及
基于所确定的偏差来调节所述第一传感器的输出。


2.根据权利要求1所述的方法，其中所述第一传感器是磁力计，并且其中所述预定义的地点数据是标测数据。


3.根据权利要求2所述的方法，其中所述至少一个第二估计源自所述图像数据中的与由所述标测数据指示的道路相关的没影点。


4.根据权利要求3所述的方法，其中确定所述偏差是基于粒子滤波器的，所述粒子滤波器被配置为接收对所述设备的所述航向的多个候选估计，所述多个候选估计源自所述没影点。


5.根据权利要求2所述的方法，还包括：
基于所述图像数据来确定对相对于与所述设备相关联的基准点的设备取向或设备位置中的至少一者的第三估计，
其中确定所述偏差进一步基于所述第三估计。


6.根据权利要求2所述的方法，还包括：
使用所述设备的全球导航卫星系统(GNSS)传感器来确定对所述设备的运动方向的第三估计，
其中确定所述偏差进一步基于所述第三估计。


7.根据权利要求2所述的方法，其中捕获所述图像数据与在所述设备上运行的增强现实应用相关联地执行，并且其中所述增强现实应用被配置为基于所述磁力计的所调节的输出来提供实时反馈。


8.一种设备，包括：
至少一个处理器；和
存储器，所述存储器包括指令，所述指令当由所述至少一个处理器执行时，使得所述至少一个处理器：
获取对所述设备的航向的第一估计，所述第一估计基于来自所述设备的磁力计的输出；
使用所述设备的图像传感器捕获图像数据；
基于所述图像数据确定对所述航向的至少一个第二估计；
基于所述第一估计和所述至少一个第二估计确定与所述磁力计的输出相关联的偏差；以及
基于所确定的偏差来调节所述磁力计的输出。


9.根据权利要求8所述的设备，其中确定对所述航向的所述至少一个第二估计基于将所述图像数据与标测数据相关。


10.根据权利要求9所述的设备，其中所述至少一个第二估计源自所...

【专利技术属性】
技术研发人员：S·哥达，裵晓埈，I·T·米勒，R·W·梅厄，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US