人工现实系统中身体姿态跟踪的磁传感器采样频率的同步技术方案

用于在人工现实系统中进行姿态跟踪的磁传感器同步技术包括由一个或更多个主要磁传感器管理无线同步信号并将其发送到其他磁传感器以触发感测采样。主要磁传感器可以生成传感器数据并将其发送到无线数据集线器，该无线数据集线器作为传感器数据收集器操作，并传输数据用于系统中的姿态跟踪。响应于接收到无线同步信号，其他(非主要)磁传感器中的每一个基于新的同步定时来更新其采样开始时钟。磁传感器中的每一个根据不同的时间表将生成的传感器数据发送到其对应的主要传感器或无线数据集线器，以避免各种磁传感器之间的冲突。如果一个传感器未能接收或响应同步信号，可以将同步过程重复多次。步过程重复多次。步过程重复多次。

【技术实现步骤摘要】
【国外来华专利技术】人工现实系统中身体姿态跟踪的磁传感器采样频率的同步
[0001]本申请要求2019年5月22日提交的、题为“MAGNETIC SENSORS FOR BODY POSE TRACKING IN ARTIFICIAL REALITY SYSTEMS”的美国临时申请第62/851，593号的权益；2019年6月28日提交的、题为“SYNCHRONIZATION OF MAGNETIC SENSOR SAMPLING FREQUENCY FOR BODY POSE TRACKING IN ARTIFICIAL REALITY SYSTEM”的美国临时申请第62/868，656号的权益；以及2020年5月19日提交的、题为“SYNCHRONIZATION OF MAGNETIC SENSOR SAMPLING FREQUENCY FOR BODY POSE TRACKING IN ARTIFICIAL REALITY SYSTEMS”的美国非临时申请第16/878，504号的权益。出于所有目的，美国申请第62/851,593号、美国申请第62/868,656号和美国申请第16/878,504号的全部内容通过引用以其整体并入本文。


[0002]本公开总体上涉及人工现实系统，例如虚拟现实、混合现实和/或增强现实系统，并且更具体地，涉及使用来自磁传感器的传感器数据来执行姿态跟踪或辅助用于人工现实应用的姿态跟踪。
[0003]背景
[0004]人工现实系统正变得越来越普遍，应用于诸如计算机游戏、健康、和安全、工业和教育的许多领域。作为几个示例，人工现实系统正在被合并到移动设备、游戏机、个人计算机、电影院和主题公园中。通常，人工现实是在呈现给用户之前已经以某种方式调整的现实的形式，其可包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实(hybrid reality)、或其某种组合和/或衍生物。
[0005]典型人工现实系统包括用于渲染和向用户显示内容的一个或更多个设备。作为一个示例，人工现实系统可以结合由用户穿戴的头戴式显示器(HMD)，并被配置为向用户输出人工现实内容。人工现实内容可包括计算机生成的内容或与采集内容(例如，真实世界视频和/或图像)组合的生成内容。在操作期间，用户通常与人工现实系统交互，以选择内容、启动应用或以其他方式配置系统。
[0006]概述
[0007]总的来说，本公开描述了用于使用磁传感器来执行或辅助执行身体姿态跟踪以及用于同步磁传感器以提高身体姿态跟踪的准确性的技术。这些技术可以应用于人工现实系统。
[0008]本公开描述了一种人工现实系统，其包括头戴式显示器(HMD)和磁传感器系统的体戴式磁传感器，以执行身体姿态跟踪。在一些示例中，体戴式磁传感器可以包括在位于用户手臂和躯干上的可穿戴物品(例如，背心、衬衫、夹克、臂带和/或胸带)中。可穿戴物品可以包括无线磁传感器连同发射器和电源。磁传感器被定位在用户身体上，以便最大化跟踪准确性并最小化磁传感器、发射器和电池之间的干扰。
[0009]本公开描述了用于被定位在身体上不同位置处的多个磁传感器的传感器同步技术，以在人工现实系统中实现准确的身体姿态跟踪。同步技术包括由一个或更多个主要磁
传感器管理无线同步信号并将其发送到其他磁传感器以触发感测采样。例如，主要磁传感器可以安装到HMD或外围设备。主要磁传感器可以生成传感器数据并将其发送到无线数据集线器，该无线数据集线器作为传感器数据收集器操作，并将数据传输到为系统执行姿态跟踪的计算设备。其他(非主要)磁传感器中的每一个响应于接收到无线同步信号，基于新的同步定时更新其采样开始时钟。如果一个非主要磁传感器没有接收到无线同步信号，则基于前一帧，该非主要磁传感器估计基于60Hz(给出示例频率)的时间。每个磁传感器根据不同的时间表将生成的传感器数据发送到其对应的主要传感器或无线数据集线器，以避免各种磁传感器之间的冲突。如果主要传感器或无线数据集线器从一个或更多个磁传感器没有接收到传感器数据，或者在一些示例中，从所有磁传感器都没有接收到传感器数据，则基于确认策略，上述同步过程可以重复多次。
[0010]本公开还描述了用于同步磁传感器采样频率的技术，该技术可以利用现有的无线连接协议来将传感器采样与内部系统事件(例如，HMD的图像采集设备的相机曝光窗口的中心)对准。例如，主要磁传感器可以从HMD接收触发信号，并且作为响应，向磁传感器系统的一个或更多个其他磁传感器发送包括无线同步信号的无线连接请求命令。无线连接请求命令可以是初始命令，例如连接请求或握手，用于在主要磁传感器和另一磁传感器之间建立或重新建立无线通信信道，例如蓝牙、WiFi等。无线连接请求命令可以由主要磁传感器以固定的时间表发送，并且可以基于另一个磁传感器接收到命令的时刻来指定开始采样时间。以这种方式，即使主要传感器不知道其他哪些传感器正在监听，接收并响应命令的任何其他传感器都会将其采样开始时钟与内部系统事件对准。在内部系统事件是相机曝光窗口的情况下，本文描述的同步技术可以使生成的传感器数据与由HMD的图像采集设备采集的特定图像帧相关联，以便实现更高准确性的身体姿态跟踪。
[0011]本公开还描述了用于使磁传感器系统中的多个主要磁传感器能够同时操作的技术，其中每个主要磁传感器被配置为管理磁传感器系统中其他磁传感器的离散组的采样频率的同步。以这种方式，可以增加用于身体姿态跟踪的磁传感器的数量，同时避免带宽和干扰问题。
[0012]在一些方面，一种方法包括由主要磁传感器从内部系统接收触发事件的指示；响应于接收到该指示，由主要磁传感器向多个磁传感器中的每一个传输同步信号，其中该同步信号包括采样开始时间；响应于接收到同步信号，由多个磁传感器中的每个磁传感器基于采样开始时间确定磁传感器的采样时间；由多个磁传感器中的每个磁传感器在磁传感器的采样时间对由与该多个磁传感器相关联的磁发射器生成的磁场进行采样，以生成磁传感器的传感器数据；由多个磁传感器中的每个磁传感器向主要磁传感器提供磁传感器的传感器数据，其中磁传感器的传感器数据根据传输时间被传输，传输时间至少部分地基于磁传感器的采样时间和偏移时间，其中多个磁传感器中的至少两个磁传感器的偏移时间是不同的；以及由主要磁传感器向姿态检测器提供多个磁传感器中的每个磁传感器的传感器数据。
[0013]在一些方面，一种人工现实系统包括：图像采集设备，其被配置为采集表示物理环境的图像数据；头戴式显示器(HMD)，其被配置为输出人工现实内容；磁发射器，其被配置为生成磁场；以及多个磁传感器，其包括主要磁传感器和非主要磁传感器，其中主要磁传感器被配置为：从HMD接收触发事件的指示，以及响应于接收到该指示，向非主要磁传感器中的
每个非主要磁传感器传输同步信号，其中该同步信号包括采样开始时间；其中非主要磁传感器中的每个非主要磁传感器被配置为：响应于接收到同步信号，基于采样开始时间确定非主要磁传感器的采样时间，在非主要磁传感器的采样时间对由磁发射器生成的磁场进行采样以生成磁传感器的传本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：由主要磁传感器从内部系统接收触发事件的指示；响应于接收到所述指示，由所述主要磁传感器向多个磁传感器中的每一个传输同步信号，其中所述同步信号包括采样开始时间；响应于接收到所述同步信号，由所述多个磁传感器中的每个磁传感器基于所述采样开始时间确定所述磁传感器的采样时间；由所述多个磁传感器中的每个磁传感器在所述磁传感器的采样时间对由与所述多个磁传感器相关联的磁发射器生成的磁场进行采样，以生成所述磁传感器的传感器数据；由所述多个磁传感器中的每个磁传感器向所述主要磁传感器提供所述磁传感器的传感器数据，其中，所述磁传感器的传感器数据根据传输时间被传输，所述传输时间至少部分地基于所述磁传感器的采样时间和偏移时间，其中，所述多个磁传感器中的至少两个磁传感器的偏移时间是不同的；以及由所述主要磁传感器向姿态检测器提供所述多个磁传感器中的每个磁传感器的传感器数据。2.根据权利要求1所述的方法，其中，所述内部系统包括头戴式设备(HMD)，并且其中，所述方法还包括至少部分地基于所述HMD的一个或更多个相机的相机曝光窗口来确定所述触发事件的定时。3.根据权利要求1所述的方法，还包括：响应于检测到包括所述传感器数据的分组的分组丢失，在开始于所述触发事件的时间的帧内重新传输所述传感器数据。4.根据权利要求1所述的方法，其中，传输所述同步信号包括传输蓝牙连接请求，所述蓝牙连接请求从蓝牙标准修改为包括所述采样开始时间。5.根据权利要求1所述的方法，其中，确定所述采样时间至少部分地基于是采样频率的一半的时间。6.根据权利要求5所述的方法，其中，所述采样时间还至少部分地基于由所述主要磁传感器提供的第二偏移，所述第二偏移基于所述磁传感器的初始校准。7.根据权利要求1所述的方法，还包括：响应于接收到所述同步信号，由所述多个磁传感器中的每个磁传感器更新所述磁传感器的本地采样时钟；其中，响应于所述磁传感器未能接收到第二同步信号，所述磁传感器基于所述磁传感器的本地采样时钟和默认频率来确定所述采样时间。8.根据权利要求1所述的方法，其中，所述主要磁传感器是第一主要磁传感器，所述方法还包括:由第二主要磁传感器从所述内部系统接收所述触发事件的指示；响应于接收到所述指示，由所述第二主要磁传感器向多个第二磁传感器中的每一个发送同步信号，其中，所述同步信号包括开始时间；响应于接收到所述同步信号，由所述多个第二磁传感器中的每个第二磁传感器基于所述开始时间确定所述第二磁传感器的第二采样时间；由所述多个第二磁传感器中的每个第二磁传感器在所述第二磁传感器的第二采样时
间对由所述磁发射器生成的磁场进行采样，以生成所述第二磁传感器的第二传感器数据；由所述多个第二磁传感器中的每个第二磁传感器向所述第二主要磁传感器提供所述第二磁传感器的第二传感器数据，其中，所述第二磁传感器的第二传感器数据根据第二传输时间被传输，所述第二传输时间至少部分地基于所述第二磁传感器的第二采样时间和第二偏移时间，其中，所述多个第二磁传感器中的至少两个第二磁传感器的第二偏移时间是不同的；以及由所述第二主要磁传感器向所述姿态检测器提供所述多个第二磁传感器中的每个第二磁传感器的第二传感器数据。9.根据权利要求1所述的方法，其中，执行所述姿态检测器的人工现实系统的磁传感器系统包括所述主要磁传感器和所述多个磁传感器。10.根据权利要求1所述的方法，还包括：由所述姿态检测器基于所述传感器数据计算对象的姿态。11.根据权利要求10所述的方法，其中，所述对象是人类身体。12.一种人工现实系统，包括：图像采集设备，其被配置为采集表示物理环境的图像数据；头戴式显示器(HMD)，其被配置为输出人工现实内容；磁发射器，其被配置为生成磁场；以及多个磁传感器，其包括主要磁传感器和非主要磁传感器，其中，所述主要磁传感器被配置为：从所述HMD接收触发事件的指示，以及响应于接收到所述指示，向所述非主要磁传感器中的每个非主要磁传感器传输同步信号，其中，所述同步信号包括采样开始时间；其中，所述非主要磁传感器中的每个非主要磁传感器被配置为：响应于接收到所述同步信号，基于所述采样开始时间确定所述非主要磁传感器的采样时间，在所述非主要磁传感器的采样时间，对由所述磁发射器生成的磁场进行采样，以生成所述磁传感器的传感器数据，以及向所述主要磁传感器提供所述非主要磁传感器的传感器数据，其中，所述非主要磁传感器的传感器数据根据传输时间被传输，所述传输时间至少部分地基于所述非主要磁传感器的采样时间和偏移时间，其中，所述非主要磁传感器中的至少两个非主要传感器的偏移时间是不同的；其中，所述主要磁传感器还被配置为向所述人工现实系统的姿态检测器提供所述主要磁传感器的传感器数据和所述多个磁传感器中的每个非主要磁传感器的传感器数据，其中，所述姿态检测器被...

【专利技术属性】
技术研发人员：马克，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：