用于电磁跟踪的传感器融合制造技术

头戴式增强现实(AR)设备可以跟踪穿戴者头部的姿势或手持用户输入设备的姿势，以使能穿戴者在三维AR环境中的交互。用户输入设备中的姿势传感器(例如，惯性测量单元)可以提供有关用户输入设备的姿势(例如，位置或取向)的数据。电磁(EM)跟踪系统也可以提供姿势数据。例如，手持用户输入设备可以包括生成EM场的EM发射器，而头戴式AR设备可以包括感测EM场的EM传感器。AR设备可以组合姿势传感器和EM跟踪系统的输出，以减少用户输入设备的估计姿势中的漂移或将姿势转换为由AR设备使用的世界坐标系。AR设备可以利用卡尔曼滤波器来组合姿势传感器和EM跟踪系统的输出。器和EM跟踪系统的输出。器和EM跟踪系统的输出。

【技术实现步骤摘要】
【国外来华专利技术】用于电磁跟踪的传感器融合
[0001]本申请主张于2019年4月15日提交的美国临时专利申请No.62/834,081的优先权益，该申请在此通过引用并入。


[0002]本公开一般地涉及确定对象的位置或取向的系统和方法，更具体地，涉及具有其他传感器输入的融合电磁跟踪技术。

技术介绍

[0003]现代计算和显示技术促进了用于所谓“虚拟现实”或“增强现实”体验的系统的开发，其中，数字再现的图像或其一部分以看起来真实或被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及呈现数字或虚拟图像信息，而无需对其他实际的真实世界视觉输入透明；增强现实或“AR”场景通常涉及呈现数字或虚拟图像信息作为对用户周围实际世界的可视化的增强。

技术实现思路

[0004]头戴式增强现实(AR)设备可以跟踪穿戴者头部(或其他身体部位)的姿势，从而能够在穿戴者环境中提供对象的三维虚拟表示。电磁(EM)跟踪系统的实施例可用于跟踪头部姿势或身体姿势。例如，手持用户输入设备可以包括EM发射器，而头戴式增强现实设备可以包括EM传感器。在一些实施方式中，EM发射器生成可以被EM传感器感测到的EM场。可以分析来自传感器的EM信息以确定传感器的位置和/或取向，从而穿戴者在AR设备参考系中的头部姿势。该姿势可以是包括AR设备的参考系中的三个空间坐标和三个角坐标的六自由度(6DOF)姿势。AR设备的参考系可以是全局(或世界)坐标系，代表穿戴者真实世界环境中的固定对象。
[0005]AR设备可以包括其他提供姿势信息的传感器，例如，加速度计、陀螺仪、磁力计、光学传感器、或相机等。例如，加速度计数据可以被积分两次以提供估计位置。然而，传感器信号中的误差会导致估计位置相对于实际位置发生漂移。此外，从传感器推断出的位置或取向可以在与传感器相关联的参考系中，而不是在AR设备的参考系中(例如，世界坐标系)。
[0006]此处描述了用于融合来自电磁跟踪系统和另一种传感器模式(例如，加速度计、陀螺仪、磁力计)的输出以减少姿势误差或将姿势转换为AR设备的参考系的技术的示例。可以使用卡尔曼滤波器或其他类型的数据融合技术来融合输出。
[0007]传感器融合技术不限于AR或VR应用，在其他实施方式中，可以应用于使用不同模式(例如，加速度计和EM跟踪设备)的传感器确定任何对象的姿势。例如，传感器融合技术可用于跟踪手术室中的医疗设备和仪器。
[0008]本说明书中描述的主题的一个或多个实施方式的细节在附图和下面的描述中进行阐述。根据描述、附图、和权利要求，其他特征、方面、和优点将变得显而易见。本
技术实现思路
和以下具体实施方式均不旨在定义或限制本专利技术主题的范围。
附图说明
[0009]图1示出了具有由人观看的某些虚拟现实对象和某些物理对象的增强现实场景的图示。
[0010]图2A
‑
图2D示意性地示出了可穿戴系统的示例。
[0011]图3示意性地示出了云计算资产与本地处理资产之间的协调。
[0012]图4示意性地示出了电磁(EM)跟踪系统的示例系统图。
[0013]图5是描述EM跟踪系统的实施例的示例功能的流程图。
[0014]图6示意性地示出了与AR系统结合的EM跟踪系统的示例。
[0015]图7是描述AR设备情景中EM跟踪系统的示例的功能的流程图。
[0016]图8示意性地示出了AR系统的实施例的组件的示例。
[0017]图9A和图9B示意性地示出了耦合到头戴式显示器的EM感测线圈的示例。
[0018]图9C和图9D示意性地示出了具有多个EM传感器的示例头戴式装置。
[0019]图9E和图9F示意性地示出了具有多个EM发射器的示例控制器。
[0020]图10和图11是示出通过头戴式AR系统中的EM跟踪系统进行姿势跟踪的示例的流程图。
[0021]图12是示意性地示出了惯性导航系统(INS)的示例的框图，该惯性导航系统可以接受来自在手持用户输入设备上的IMU的输入，并在与AR系统相关联的世界参考系中提供设备的姿势(例如，位置或取向)。
[0022]图13A
‑
图13C是示意性地示出了可与增强现实显示系统一起使用的传感器融合系统的示例的框图。
[0023]图14是示出了用于计算可穿戴系统的手持用户输入设备的姿势的方法的示例的流程图。
[0024]贯穿附图，可以重复使用参考标号来指示所参考元素之间的对应关系。提供附图是为了说明本文描述的示例实施例，并非旨在限制本公开的范围。
具体实施方式
[0025]AR、VR、和定位系统的概述
[0026]在图1中，描绘了增强现实场景(4)，其中AR技术的用户看到以人、树木、背景中的建筑物、和混凝土平台(1120)为特征的真实世界公园状设置(6)。除了这些项目之外，AR技术的用户还感知到他“看到”了一个站在真实世界平台(1120)上的机器人雕像(1110)，以及一个从旁边飞过的卡通化身角色(2)，看起来是人形大黄蜂，即使这些元素(2、1110)在真实世界中并不存在。事实证明，人类视觉感知系统是非常复杂的，并且开发一种促进虚拟图像元素在其他虚拟或真实世界影像元素当中舒适、自然感知、丰富地呈现的VR或AR技术具有挑战性。
[0027]例如，头戴式AR显示器(或头盔显示器，或智能眼镜)通常至少与用户的头部松散耦合，因此也会在用户头部的移动时而移动。如果由显示系统检测到用户的头部运动，则可以更新正显示的数据以将头部姿势的变化考虑在内。
[0028]例如，如果穿戴头戴式显示器的用户观看在显示器上的三维(3D)对象的虚拟表示并在3D对象出现的区域周围走动，则可以针对每个视点重新渲染该3D对象，让用户感觉他
或她正在绕着一个占据真实空间的对象走动。如果头戴式显示器用于在虚拟空间(例如，丰富的虚拟世界)内呈现多个对象，则可以使用头部姿势的测量(例如，用户头部的位置和取向)来重新渲染场景以匹配用户动态变化的头部位置和取向，并提供增强的虚拟空间沉浸感。
[0029]在AR系统中，头部姿势的检测或计算可以促进显示系统渲染虚拟对象，使它们看起来以使用户感知的方式占据真实世界中的空间。此外，检测真实对象，例如手持设备(也可以称为“图腾”)、触觉设备、或其他真实物理对象，相对于用户的头部或AR系统的位置和/或取向还可以促进显示系统向用户呈现显示信息，以使用户能够有效地与AR系统的某些方面进行交互。当用户的头部在真实世界中四处移动时，虚拟对象可以根据头部姿势被重新渲染，使得虚拟对象看起来相对于真实世界保持稳定。至少对于AR应用，虚拟对象在空间上相对于物理对象的放置(例如，呈现为空间上接近二维或三维物理对象)是一个有意义的问题。例如，头部运动可能会使虚拟对象在周围环境视图中的放置显著复杂化。无论视图被捕获为周围环境的图像然后投影或显示给终端用户，还是终端用户直接感知周围环境的视图，都是如此。例如，头部运动可能会导致终端用户的视野发生变化，这可能需要本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种可穿戴系统，包括：头戴式显示器；手持用户输入设备，其包括惯性测量单元(IMU)；电磁(EM)跟踪系统，其包括：EM发射器，其被设置在所述手持用户输入设备中或所述手持用户输入设备上，所述EM发射器被配置为生成EM场；以及EM传感器，其被设置在所述头戴式显示器中或所述头戴式显示器上，所述EM传感器被配置为感测所述EM场，其中，所述EM跟踪系统被配置为输出EM场矩阵，所述EM场矩阵与所述EM传感器相对于所述EM发射器的估计姿势相关联；以及硬件处理器，其被编程为：从所述IMU访问IMU数据，所述IMU数据表示所述手持用户输入设备在与所述手持用户输入设备相关联的参考系中的估计姿势；从所述EM跟踪系统访问所述EM场矩阵；计算预测的EM场矩阵，所述预测的EM场矩阵表示所述手持用户输入设备在与所述可穿戴系统的环境相关联的世界参考系中的预测姿势；至少部分地基于所述EM场矩阵和所述预测的EM场矩阵来生成错误状态，所述错误状态表示以下至少一项：所述IMU中的偏置或噪声，或所述手持用户输入设备的所述参考系与所述世界参考系之间的偏差；基于所述错误状态，对所述IMU数据应用卡尔曼滤波器；以及使用所述卡尔曼滤波器来确定所述手持用户输入设备在所述世界参考系中的姿势。2.根据权利要求1所述的可穿戴系统，其中，所述IMU包括加速度计或陀螺仪中的至少一个。3.根据权利要求1或权利要求2所述的可穿戴系统，其中，为了计算所述预测的EM场矩阵，所述硬件处理器被编程为：计算针对在所述世界参考系中的所述EM发射器姿势的估计；以及计算针对在所述世界参考系中的所述EM传感器姿势的估计；以及计算在所述世界参考系中的所述EM发射器姿势与在所述世界参考系中的所述EM传感器姿势之间的相对姿势。4.根据权利要求3所述的可穿戴系统，其中，为了计算针对在所述世界参考系中的所述EM发射器姿势的所述估计，所述硬件处理器被编程为：访问在所述世界参考系中的所述手持用户输入设备的姿势；以及应用被配置为相对于所述手持用户输入设备的基准位置来调整所述EM发射器的位置的EM发射器外在因素。5.根据权利要求4所述的可穿戴系统，其中，所述EM发射器外在因素包括所述EM发射器的所述位置与所述手持用户输入设备的所述基准位置之间的位移。6.根据权利要求3至5中任一项所述的可穿戴系统，其中，为了计算针对在所述世界参考系中的所述EM传感器的所述估计，所述硬件处理器被编程为：访问针对所述头戴式显示器的姿势的估计；以及
应用被配置为相对于所述头戴式显示器的基准位置来调整所述EM传感器的位置的EM接收器外在因素。7.根据权利要求6所述的可穿戴系统，其中，所述EM接收器外在因素包括所述EM传感器的所述位置与所述头戴式显示器的所述基准位置之间的位移。8.根据权利要求1至7中任一项所述的可穿戴系统，其中，所述硬件处理器还被编程为执行包括以下一项或多项的初始化程序：基于从所述EM跟踪系统确定的姿势，计算所述手持用户输入设备的所述预测姿势；或者解决所述手持用户输入设备的取向歧义。9.根据权利要求8所述的可穿戴系统，其中，为了解决所述手持用户输入设备的所述取向歧义，所述硬件处理器被编程为：执行第一线程，在所述第一线程中，所述手持用户输入设备的初始取向位于第一半球中，所述第一线程确定所述手持用户输入设备在所述世界参考系中的姿势的第一估计；以及执行第二线程，在所述第二线程中，所述手持用户输入设备的所述初始取向位于与所述第一半球相对的第二半球中，所述第二线程确定所述手持用户输入设备在所述世界参考系中的姿势的第二估计。10.根据权利要求9所述的可穿戴系统，其中，所述硬件处理器被编程为在所述第一估计或所述第二估计分别偏离所述手持用户输入设备的真实姿势时终止所述第一线程或所述第二线程的执行。11.根据权利要求1至10中任一项所述的可穿戴系统，其中，...

【专利技术属性】
技术研发人员：万胜，M，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：