对虚拟现实系统中的对象的位置和定向的跟踪技术方案

跟踪在VR系统中的手部控制器的技术涉及通过手部控制器中的光电二极管检测由HMD中的漫射LED生成的漫射辐射的图案。这种技术还可以包括将检测到的图案与先前被离线模拟并且被表示在查找表(LUT)中的图案进行比较。通过在LUT中查找检测到的图案，VR系统可以以亚毫米精度确定手部控制器的位置和/或定向。改进技术的一些优点可以在于在得出手部控制器的位置和定向时，在不牺牲精度的情况下，组件的简单性和/或低成本。

Tracking the location and orientation of objects in virtual reality system

The technique of tracking the hand controller in VR system involves detecting the pattern of diffuse radiation generated by the diffuse led in HMD through the photodiode in the hand controller. The technique may also include comparing detected patterns with patterns previously simulated offline and represented in a lookup table (LUT). By finding the detected pattern in LUT, VR system can determine the position and / or orientation of hand controller with submillimeter precision. Some advantages of the improved technique may lie in the simplicity and / or low cost of the components without sacrificing accuracy in obtaining the position and orientation of the hand controller.

【技术实现步骤摘要】
【国外来华专利技术】对虚拟现实系统中的对象的位置和定向的跟踪相关申请的交叉引用本申请要求于2018年4月27日提交的美国专利申请15/964,499的优先权并且是其继续申请，所述美国专利申请15/964,499要求于2017年5月1日提交的美国专利申请No.62/492,801的优先权，这些申请的公开内容均通过引用全文结合于此。
本说明书涉及跟踪在虚拟现实(VR)系统中使用的真实对象的三维位置和定向。
技术介绍
在一些VR系统中，用户使用头戴式显示器(HMD)和一对手部控制器与虚拟环境中的任意数量的虚拟对象交互。在这样的VR系统中，用户使用HMD观看和收听对象，而同时VR系统使用手部控制器跟踪控制器的位置和定向。然后，VR系统将控制器的六个自由度(6DOF)反馈给HMD以更新虚拟环境内的用户视图，所述六个自由度即三维位置和定向。
技术实现思路
在一个总体方面中，VR系统可以包括手部控制器和HMD。在该VR系统中，一种方法可以包括由处理电路从位于HMD中的多个辐射发射器接收漫射电磁辐射的脉冲。该方法还可以包括由处理电路根据漫射电磁辐射生成数字信号。该方法可以进一步包括由处理电路基于数字信号，获得手部控制器的位置和定向。在附图和下述描述中阐述了一个或多个实施方式的细节。其他特征根据说明书和附图以及权利要求将是显而易见的。附图说明图1A是示出VR系统中的示例性HMD和手部控制器的图。图1B是示出包括在HMD中的示例性LED发射器的图。图1C是示出典型LED的示例性亮度分布的图。图1D是示出LED的另一示例性亮度分布的图。图2是示出给定图1B中所示的亮度分布的LED的示例性模拟坐标图的图。图3A和3B是示出在带通滤波之前和带通滤波之后的从图1中所示的LED发出的脉冲辐射的示例性时间分布的图。图4A是位于手部控制器中的示例性光电二极管的集合的图。图4B是手部控制器中的典型光电二极管的示例性响应的图。图4C是为手部控制器中的典型光电二极管提供带通滤波的示例性电路的图。图5A、图5B、图5C和图5D是手部控制器可以占用空间中的示例性可能的三维坐标的集合的图。图6是示出根据从HMD中的LED接收的漫射辐射产生的示例性信号的图。图7是示出可以从其中得出手部控制器的位置和定向的示例性查找表(LUT)的图。图8是示出用于从LUT和由光电二极管响应于从LED接收漫射光而生成的信号来得出热图的示例性过程的流程图。图9A是示出用于抑制来自外部源的DC光的示例性电路拓扑的图。图9B是示出用于抑制来自外部源的DC光的示例性电路的图。图10示出了可以与本文所述的电路一起使用的计算机设备和移动计算机设备的示例。图11是描绘示例性VR头戴式显示器(HMD)的图。图12A、图12B和图12C是描绘示例性VRHMD和控制器的图。具体实施方式传统的VR系统需要外部系统以提供诸如手部控制器的对象的跟踪数据。这种外部系统的示例采用放置在例如房间的对角的一对固定发射器(“基站”)的形式。这种发射器使用准直近红外(NIR)激光或LED照明来使用旋转电机配置对场景进行光栅扫描。在本文所述的实施方式中，可以不经由收集聚焦的照明数据并且根据照明数据产生对象位置和定向的高带宽传感器来跟踪对象。在本文所述的实施方式中，可能不需要要求大空间，即整个房间，以及昂贵的光学器件以准直照明的固定发射器。此外，在本文所述的实施方式中，可以消除可能引入对光学噪声的不需要的灵敏度的高带宽传感器。根据本文所述的实施方式，跟踪VR系统中的手部控制器的改进技术涉及通过手部控制器中的光电二极管来检测由HMD中的漫射LED生成的漫射辐射的图案。该装置和方法还可以包括将检测到的图案与先前离线模拟并在查找表(LUT)中表示的那些图案进行比较。通过在LUT中查找检测到的图案，VR系统可以以亚毫米精度确定手部控制器的位置和/或定向。改进技术的一些优点可以在于在得出手部控制器的位置和定向中不牺牲精度的情况下，组件的简单性和/或低成本。不存在对贡献大的空间以使用改进的VR系统的需要。生成漫射辐射的光学元件和手部控制器中的光电二极管比准直所需的那些光学元件和光电二极管更便宜。此外，应用于光电二极管的新颖电路提供了改进的VR系统对外部光的低灵敏度。图1A示出了包括HMD105和手部控制器103的示例性VR系统100。HMD100安装在用户的头部上并且使用被示为被投影在用户的前方的显示器204遮盖他/她的眼睛。HMD105内的显示器204向用户显示虚拟环境115。在该特定用户环境115中，存在虚拟对象120。用户可以使用手部控制器103来操纵虚拟对象120。VR系统100使用手部控制器103来跟踪用户的移动并且因此确定要在虚拟环境115中显示什么。具体地，VR系统100被配置为跟踪手部控制器103的位置，并且在一些情况下跟踪手部控制器103的定向。因此，VR系统能够以足够的通常在毫米内的精度跟踪手部控制器103的位置和定向是很重要的。根据改进的技术，VR系统100使用由HMD105中的辐射源130(例如，LED)生成的漫射电磁辐射(例如，近红外辐射)来跟踪手部控制器103。这样的辐射源130可以在头盔内以阵列布置，所述在头盔内例如是在HMD105的壳体内。作为该手部控制器的跟踪的一部分，手部控制器103包括辐射检测器140。在一些诸如本文所述的那些实施方式的实施方式中，辐射检测器包括光电二极管。在一些实施方式中，辐射检测器可以包括光电倍增管、电荷耦合器件等。如图1A所示，HMD还包括处理电路132。处理电路122被配置为响应于接收到所发出的辐射而由辐射检测器140检测在手部控制器103中生成的信号并且基于检测到的信号来确定手部控制器103的位置和/或定向。在一些布置中，处理电路132还耦合到存储LUT138的存储器136。在这样的布置中，处理电路132被配置为对检测到的信号和存储器136中的LUT138执行比较操作。如本文将描述的，VR系统100被配置为经由处理器132处理对辐射源130和辐射检测器140的模拟以及由检测器中的电路生成的信号以构建LUT138。在一些布置中，处理电路132和存储器136位于HMD外面，例如，在手部控制器103或手部控制器103和HMD105外部的计算机中。图1B示出了可以被包括在诸如HMD105(图1A)的HMD中的示例性LED发射器。在图1B中，在嵌入HMD中的弯曲表面上布置有12个LED。LED中的每一个被焊接到印刷电路板上并且从HMD提取电力。在一些实施方式中，LED以近红外(NIR)波长(例如，700nm与1000nm之间)发出电磁辐射。在一些实施方式中，LED以光学波长、中红外波长、远红外波长和微波波长发出这种辐射。如本文将要说明的，模拟由HMD105中的辐射源发出的辐射图案是有利的，使得实际辐射图案在手部控制器103处被检测时本文档来自技高网...

【技术保护点】
1.在包括手部控制器和头戴式显示器(HMD)的虚拟现实(VR)系统中，一种跟踪所述手部控制器的位置和定向的方法，所述方法包括：/n由处理电路从位于所述HMD中的多个辐射发射器接收漫射电磁辐射的脉冲；/n由所述处理电路根据所述漫射电磁辐射生成数字信号；以及/n由所述处理电路基于所述数字信号获得所述手部控制器的位置和定向。/n

【技术特征摘要】
【国外来华专利技术】20170501 US 62/492,801;20180427 US 15/964,4991.在包括手部控制器和头戴式显示器(HMD)的虚拟现实(VR)系统中，一种跟踪所述手部控制器的位置和定向的方法，所述方法包括：
由处理电路从位于所述HMD中的多个辐射发射器接收漫射电磁辐射的脉冲；
由所述处理电路根据所述漫射电磁辐射生成数字信号；以及
由所述处理电路基于所述数字信号获得所述手部控制器的位置和定向。


2.如权利要求1所述的方法，其中，基于所述数字信号获得所述手部控制器的位置和定向包括：
将所述数字信号与查找表(LUT)的多个信号表示进行比较，所述多个信号表示中的每一个对应于所述手部控制器的相应的位置和定向。


3.如权利要求1或2所述的方法，其中，所述LUT的所述多个信号表示中的每个预定信号表示包括用于位于所述HMD中的所述多个辐射发射器中的每一个辐射发射器的相应的信号部分。


4.如权利要求2或3所述的方法，其中，所述LUT的所述多个信号表示中的每个预定信号表示对应于所述漫射辐射的脉冲从所述HMD中的所述多个漫射辐射发射器被发射的时间。


5.如权利要求4所述的方法，其中，所述数字信号包括第一部分和第二部分；
其中，将所述数字信号与所述LUT的所述多个信号表示中的预定信号表示进行比较包括：
基于所述数字信号的所述第一部分，产生所述漫射辐射的脉冲从所述HMD中的所述多个漫射辐射发射器被发射的时间；以及
基于所述信号的所述第二部分和所述漫射辐射的脉冲从所述HMD中的所述多个漫射辐射发射器被发射的所述时间，产生所述手部控制器的所述位置和定向。


6.如权利要求2-5中任一项所述的方法，其中，所述多个漫射辐射发射器在所述HMD内以指定的角度图案被布置。


7.如权利要求2-6中任一项所述的方法，其中，所述处理电路包括光电二极管，
其中，所述方法进一步包括通过执行对所述光电二极管对来自所述HMD中的所述漫射辐射发射器中的每一个漫射辐射发射器的照明的响应的模拟来离线地生成所述LUT，所述光电二极管响应具有传递函数，所述传递函数具有噪声分布和信号分布，所述信号分布在具有上频率和下频率的指定频带之外为零，所述噪声分布包括低于临界频率的1/f噪声，所述临界频率低于所述信号分布的所述频带的下频率。


8.如权利要求2-7中任一项所述的方法，其中，将所述数字信号与所述LUT的所述多个信号表示进行比较包括：
生成指示所述LUT中的信号表示与经检测的漫射辐射的图案的接近度的热图，所述热图包括信号表示对应于其中所检测的漫射辐射的图案的热区域以及其中信号表示不对应于所检测的漫射辐射的图案的冷区域；以及
选择所述热图...

【专利技术属性】
技术研发人员：吴拉姆·基尔马尼，安德烈亚·科拉科，路易斯·维拉兰，津坦·特雷汉，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US