虚拟现实系统中虚拟控制器的位置和取向跟踪技术方案

在至少一个方面，一种方法可以包括确定用户的头戴式显示器(HMD)的位置，基于HMD的位置定义关节的位置，定义从关节到区段末端的区段，基于区段末端的位置定义虚拟控制器在虚拟现实(VR)环境中的初始虚拟位置，以及响应于物理控制器的取向运动，基于区段和关节来定义虚拟控制器在VR环境中的虚拟位置和虚拟取向。

Position and orientation tracking of virtual controller in virtual reality system

【技术实现步骤摘要】
【国外来华专利技术】虚拟现实系统中虚拟控制器的位置和取向跟踪相关申请的交叉引用本申请要求于2017年9月18日提交的美国申请号：15/708,040的优先权，该申请的公开内容以全文引用的方式并入到本文中。
本说明涉及跟踪虚拟现实(VR)系统中使用的控制器的三维位置和取向。
技术介绍
在一些VR系统中，用户使用头戴式显示器(HMD)和手持控制器与虚拟环境中的任意数量的虚拟对象进行交互。在这种VR系统中，用户可以使用手持控制器经由HMD与对象交互。仅使用三个自由度(3DOF)跟踪(例如，取向跟踪)来跟踪手持控制器可能存在挑战。
技术实现思路
在至少一个方面，一种方法，例如计算机实现的方法中，可以包括确定用户的头戴式显示器(HMD)的位置，基于HMD的位置定义关节的位置，定义从关节到区段末端的区段，基于该区段末端的位置定义虚拟控制器在虚拟现实(VR)环境中的初始虚拟位置，以及响应于物理控制器的取向运动，基于区段和关节来定义虚拟控制器在VR环境中的虚拟位置和虚拟取向。一个或多个实施方式的细节在以下附图和描述中阐述。从说明书和附图以及从权利要求书中，其他特征将是显而易见的。附图说明图1示出了用于代表用户右侧的示例VR手臂模型的透视图。图2A-2C示出了根据示例实施例的确定控制器位置的系统的示例实施方式的第三人视图。图3是根据示例实施例的可用于确定控制器在VR环境中的位置的示例VR系统的示意图。图4是描绘可通信地耦合到VR空间中的HMD设备的控制器的框图。<br>图5和6是根据示例实施例的与确定控制器在VR环境中的位置相关的流程图。图7A和7B是根据示例实施例的当用户相对于关节运动时用户的示意图。图8是可用于实施本文公开的示例的示例计算机设备和示例运动计算机设备的示意框图。具体实施例在本文所述的实施方式中，物理VR控制器仅使用具有绕通常称为俯仰、滚转和偏转的x、y和z轴的旋转能力的三个自由度(3DOF)进行跟踪。因此，这种物理控制器可以跟踪旋转运动。物理控制器的这种取向基本上是在空间中的固定位置(也可称为定位)处确定的，因为空间中的绝对位置不由物理控制器或与物理控制器相关联的头戴式显示器(HMD)跟踪。然而，这种3DOF跟踪可以用来估计(或投影)虚拟控制器在空间中的位置和取向，如使用VR手臂模型在HMD内观看到的。因此，当从HMD内观看时，物理控制器的3DOF跟踪可用于确定(例如，估计、表示)虚拟控制器的6DOF(例如，x、y、z位置和取向)跟踪。在一些实施方式中，VR手臂模型可以被称为VR手臂模型。例如，用户可以经由HMD通过以各种方式倾斜和转动他们的头来观看VR环境。然而，在HMD的视野内，虚拟控制器的跟踪可能是有限的，因为VR控制器的3DOF跟踪能力有限——物理控制器不跟踪空间中的绝对位置(例如，位置跟踪)。但是VR手臂模型可以利用物理控制器的取向跟踪来创建可以在HMD内观看的虚拟控制器的位置和取向。因此，在本文描述的实施方式中，有可能模拟在VR环境中的位置和取向的握持控制器的人。此外，在这里描述的实施方式中，虚拟控制器可以在VR环境中处于对应于用户如何握持和使物理控制器运动的位置。根据本文所述的实施方式，在VR系统中跟踪手持物理控制器的改进技术可以包括例如定义在肘关节(第一关节)与腕关节(第二关节)之间的区段。区段和关节模仿并代表虚拟控制器的运动。改进技术的一些优点提供了更便宜、更高效和/或更简单(例如，除了控制器的取向之外，只需要很少的知识)的系统。此外，改进的技术易于实施，并且具有足够的保真度(例如准确度)以使用户相对沉浸在其中。此外，在一些实施方式中，不需要外部传感器(例如，来自HMD的面向外部的相机)来跟踪物理控制器以使用改进的VR系统。此外，在本文描述的实施方式中，通过确定和测量最多三个旋转运动，例如，两个在肘关节(第一关节)处，一个在腕关节(第二关节)处，更具体地，在肘关节处的z轴和y轴运动以及在腕关节处的x轴运动，这些可以用于实现物理控制器在VR环境中的运动的有效且相对现实的虚拟表示。尽管根据虚拟环境进行了讨论，但是本文描述的技术中的任何技术都可以应用于增强现实环境。在一些实施方式中，术语虚拟环境可以是或可以包括增强现实环境。图1示出了用于代表用户的示例VR手臂模型10的透视图。尽管在用户的右侧示出，VR手臂模型10可以应用于用户的左侧。在这种实施方式中，用户佩戴HMD8。尽管在图1中未示出，但是物理控制器112的位置可以由用户基于VR手臂模型10从HMD8内作为虚拟控制器(未示出)看到(例如，表示)。为了讨论的目的，VR手臂模型10在图1中示出，但是可能不会被用户经由HMD8看到。在一些实施方式中，VR手臂模型10可以被称为骨架模型。为了说明，而不失一般性，本描述将示例VR手臂模型描述为被配置成类似身体姿势的人体模型。代表人体模型的VR手臂模型可以包括区段，每个区段可以与用户的身体部位相关联。VR手臂模型还可以包括一个或多个关节。每个关节可以允许一个或多个区段相对于一个或多个其他区段运动。例如，代表人的VR手臂模型可以包括多个刚性和/或可变形身体部位，其中，一些区段可以代表人的相应解剖身体部位。换句话说，VR手臂模型的每个区段可以对应于一个或多个结构元素(例如，“骨骼”)，关节位于相邻骨骼的交点。在一些实施方式中，结构元素中的一些可以对应于VR手臂模型中的区段和/或结构元素中一些可以不对应于VR手臂模型中的区段。在一些实施方式中，各种关节可以对应于人的实际关节。如图1所示，VR手臂模型10包括区段11、13、15、17和19，以及关节A、B、C、D和E。区段11在关节A与B之间，区段13在关节B与C之间，区段15在关节C与D之间，区段17在关节D与E之间，区段19从关节E延伸。在一些实施方式中，关节A、B、C、D和E中的每一个都可以被配置成使得与关节相关联的相应区段可以在空间中的三维位置旋转。换句话说，每个关节可以被配置成最多三个自由度(3DOF)(例如，x、y和z轴)，因为人体中的许多关节通过1或2个自由度来定义。根据本文描述的VR手臂模型10，围绕关节子集的旋转被用于表示物理控制器112的运动。具体而言，在VR手臂模型10中，关节D和E可用于确定当作为虚拟控制器从HMD8内观看时物理控制器112的位置。在一些实施方式中，关节D和E可以是用于当作为虚拟控制器从HMD8内观看时确定物理控制器112的位置的唯一关节。在该实施方式中，物理控制器112的偏转、俯仰和滚转被解释为手臂模型10的各个关节处的运动。如果物理控制器112沿着第一轴纵向对准，则滚转可以是围绕第一轴的旋转。偏转可以是围绕正交于第一轴并穿过物理控制器112顶部的第二轴的旋转。俯仰可以是围绕正交于第一轴和第二轴并且穿过物理控制器112的一侧的第三轴旋转。换句话说，物理控制器112的3DOF运动(例如，取向运动)被解释为(并显示在HMD内)虚拟控制器关于VR手臂模型10的特定关节和/或区段的运动。本文档来自技高网...

【技术保护点】
1.一种计算机实现的方法，包括:/n确定用户的头戴式显示器HMD的位置；/n基于距所述HMD的所述位置的预定距离来定义关节的位置；/n从所述关节定义区段；/n基于所述区段的末端来定义虚拟控制器在虚拟环境中的位置；和/n基于所述区段和所述关节，将物理控制器取向转换成所述虚拟控制器在所述虚拟环境中的虚拟位置和虚拟取向。/n

【技术特征摘要】
【国外来华专利技术】20170918 US 15/708,0401.一种计算机实现的方法，包括:
确定用户的头戴式显示器HMD的位置；
基于距所述HMD的所述位置的预定距离来定义关节的位置；
从所述关节定义区段；
基于所述区段的末端来定义虚拟控制器在虚拟环境中的位置；和
基于所述区段和所述关节，将物理控制器取向转换成所述虚拟控制器在所述虚拟环境中的虚拟位置和虚拟取向。


2.根据权利要求1所述的计算机实现的方法，其中，所述虚拟控制器被配置成响应于所述物理控制器的偏转运动而沿着侧向方向运动。


3.根据权利要求1所述的计算机实现的方法，其中，所述虚拟控制器被配置成响应于所述物理控制器的俯仰运动而沿着竖直方向运动。


4.根据权利要求1所述的计算机实现的方法，其中，所述虚拟控制器被配置为响应于所述物理控制器的滚转运动而围绕所述物理控制器在纵向对准所沿着的轴旋转。


5.根据权利要求1所述的计算机实现的方法，其中，所述区段是第一区段，并且所述关节是第一关节，
所述方法还包括定义从所述第一区段的末端处的第二关节延伸的第二区段。


6.根据权利要求5所述的计算机实现的方法，其中，所述第二区段被配置成围绕所述第二关节旋转。


7.根据权利要求1所述的计算机实现的方法，还包括：如果检测到所述用户的位置，则重新定义所述关节的位置。


8.一种计算机实现的方法，包括:
确定用户的头戴式显示器HMD的位置；
基于所述HMD的所述位置来定义关节的位置；
定义从所述关节到区段的末端的所述区段；
基于所述区段的所述末端的位置来定义虚拟控制器在虚拟现实VR环境中的初始虚拟位置；和
响应于物理控制器的取向运动，基于所述区段和所述关节，定义所述虚拟控制器在所述VR环境中的虚拟位置和虚拟取向。


9.根据权利要求8所述的计算机实...

【专利技术属性】
技术研发人员：萨曼莎·拉贾，曼纽尔·克里斯蒂安·克莱蒙特，沙尼·尼施瑞，丹尼尔·斯滕菲尔德，斯特凡·韦尔克，凯文·霍洛维兹，科朗坦·法蒂，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US