融合惯性手持控制器与手动跟踪的六自由度混合现实输入制造技术

本发明专利技术涉及用于提供无线手持惯性控制器的系统和方法，该无线手持惯性控制器用于与头戴式、增强或虚拟现实显示器或以六个自由度操作的其他传统显示器一起使用，通过如下操作来实现该系统和方法：融合(i)与从位于显示器上的深度相机得出的手持惯性控制器的位置相关的数据与(ii)与从位于手持惯性控制器中的惯性测量单元得出的手持惯性控制器的朝向相关的数据。

【技术实现步骤摘要】
【国外来华专利技术】融合惯性手持控制器与手动跟踪的六自由度混合现实输入
技术介绍
混合现实是允许在显示器中将虚拟图像与真实世界物理环境混合的技术。用于混合现实的系统可以包括例如透视头戴式显示器(HMD)设备或具有内置相机的智能电话。这种系统通常包括在一个或多个应用的控制下提供图像的处理单元。使用HMD和其他设备也可以支持其中没有可查看现实世界对象的完整虚拟现实环境。这样的系统还可以包括一个或多个无线手持惯性控制器，系统的用户可以操纵该无线手持惯性控制器以与HMD交互并向HMD提供用户输入，包括但不限于控制和移动虚拟光标、选择、移动和旋转对象、滚动等。提供
技术介绍
以介绍针对以下
技术实现思路
和具体实施方式的简要背景。
技术介绍
不旨在帮助确定所要求保护的主题的范围，也不旨在视为将所要求保护的主题限制为解决上述任何或所有缺点或问题的实现。此外，本文要求保护的主题不限于解决任何缺点或仅在诸如上述那些环境中操作的实施例。而是，提供
技术介绍
仅用于说明可以实践本文所描述的一些实施例的一个示例性

技术实现思路
本专利技术涉及用于提供无线手持惯性控制器(有时在下文中被称为“控制器”或“多个控制器”)的系统和方法，其用于与以六个自由度(6DOF)操作的HMD一起使用，通过如下操作来实现所述系统和方法：融合(i)与从位于HMD中的面向前向的深度相机得出的控制器的位置相关的数据与(ii)与从位于控制器中的惯性测量单元(IMU)得出的控制器的朝向相关的数据。在一个实施例中，该系统可以包括：连接到处理器的显示器；手持输入设备，该手持输入设备被配置为与处理器通信以选择性地提供一个或多个用户输入，手持输入设备还包括第一传感器，用于确定手持输入设备相对于预定参考系(frameofreference)的朝向并且向处理器提供朝向数据；位于相对于显示器的已知位置第二传感器，用于确定用户的一只或多只手相对于显示器的位置，并且用于向处理器提供位置数据，其中处理器使用朝向数据和位置数据来在三维视场内以六个自由度跟踪用户的一只或多只手。在另一个实施例中，该方法可以包括：由头戴式显示设备的光学传感器检测用户的手在光学传感器的视场内的存在；由头戴式显示设备确定无线手持惯性控制器是否是活跃的并与头戴式显示设备配对；由头戴式显示设备的光学传感器确定用户的手相对于头戴式显示器的位置和朝向；由头戴式显示设备的光学传感器跟踪用户的手相对于头戴式显示器在一段时间内的移动，以得出表示在该时间段期间用户的手的轨迹的轨迹数据；由头戴式显示设备从无线手持惯性控制器接收由无线手持惯性控制器的惯性测量单元得出的在一段时间内的加速度数据；将轨迹数据与加速度数据进行比较，以计算无线手持设备位于用户的手中的置信水平；如果置信水平满足或超过预定的最小阈值，则将从头戴式显示设备的光学传感器得出的位置数据与从无线手持惯性控制器的惯性测量单元得出的朝向数据融合，以在三维空间内以六个自由度跟踪用户的手。提供本
技术实现思路
是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本
技术实现思路
不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。附加的特征和优点将在下面的描述中进行阐述，并且部分地将从描述中变得易见，或者可以通过本文的教导的实践而被获悉。借助于所附权利要求中特别指出的手段和组合，可以实现和获得本专利技术的特征和优点。从以下描述和所附权利要求中，本专利技术的特征将变得更加明显，或者可以通过如下所阐述的本专利技术的实践而被获悉。附图说明为了描述可以获得上述和其他优点和特征的方式，将通过参考附图中所图示出的特定实施例来呈现上面简要描述的主题的更特定的描述。应理解，这些附图仅描绘了典型的实施例，并且因此不应被认为是对范围的限制，将通过使用附图用附加特征和细节来描述和解释实施例，其中：图1是头戴式虚拟或增强现实显示器的一个实施例的示意表示。图2是微软Hololens的一个实施例的一般透视绘制。图3是微软Hololens的一个实施例的分解透视绘制，进一步图示出了立体显示系统的一个实施例。图4是微软Hololens的一个实施例的一般透视绘制，进一步图示出了光学传感器系统的一个实施例。图5是微软Hololens的一个实施例的一般透视绘制，进一步图示出了控制器板和相关的板载处理器的一个实施例。图6是无线手持惯性控制器的一个实施例的透视绘制。图7是图示出无线手持惯性控制器的一个实施例的基本组件的功能框图。图8是增强现实显示器的一个实施例的可能视场的一个示例的图形表示。图9是用于确定具有六个自由度的手持惯性控制器的位置和朝向的方法的一个实施例的流程图。具体实施方式以下阐述的是代表性环境的概述，其中可以实现本申请中公开和/或要求保护的系统和方法。然而，应该清楚地理解和了解，这些描述仅作为一个代表性环境的示例而被提供，并且本文描述的专利技术可以容易地适用于其他HMD设备和AR和VR系统/环境以及包括其他传统显示设备的其他传统计算环境和系统。图1示意性地图示出了HMD设备10的示例。图2-图5是微软Hololens的图示，其表示HMD的一个最近实施例。概括地，参见图1-图5，HMD设备10采取可佩戴眼镜或护目镜的形式，但是应当理解，其他形式也是可能的。HMD设备10可以被配置为增强现实配置以呈现增强现实环境，并且因此可以包括至少部分透视的立体显示器12，其可以被配置为在视觉上增强通过至少部分透视的立体显示器12由用户正在观看的物理环境的外观。在一些示例中，至少部分透视的立体显示器12可以包括透明(例如，光学透明)的一个或多个区域，并且可以包括是不透明或半透明的一个或多个区域。在其他示例中，至少部分透视的立体显示器12在立体显示器12的整个可用显示表面上可以是透明的(例如，光学清晰)。可替代地，HMD设备10可以被配置为虚拟现实配置以呈现完整的虚拟现实环境，并且因此立体显示器12可以是非透视立体显示器。HMD设备10可以被配置为经由非透视立体显示器向用户显示虚拟三维环境。HMD设备10可以被配置为显示虚拟表示，诸如用户前面的物理环境的三维图形绘制(可以包括附加虚拟对象)，或者可以被配置为显示物理环境的相机捕获图像以及包括重叠在相机捕获的图像上的虚拟光标在内的附加虚拟对象。例如，HMD设备10可以包括图像产生系统14，其被配置为利用立体显示器12向用户显示虚拟对象。在具有至少部分透视显示器的增强现实配置中，虚拟对象在视觉上叠加在通过显示器可见的物理环境上，以便在不同的深度和位置处被感知。在虚拟现实配置中，图像产生系统14可以被配置为利用非透视立体显示器向用户显示虚拟对象，使得虚拟对象被感知为处于相对于彼此的各种深度和位置。在一个实施例中，HMD设备10可以使用立体视觉，通过向用户的双眼显示虚拟对象的分开的图像，来在视觉上将虚拟对象放置在期望的深度处。使用该立体视觉技术，HMD设备10可以控制虚拟对象的显示图像，使得用户将感知到虚拟对象存在于所查看的物理环境中的期望深度和位置处。在一个示例中，虚拟对象可以是向用户显示的虚拟光标，使得虚拟光标对用户显现为位于虚拟三维环境中的期望位置处。在增强现实配置中，虚拟对象可以是向用户显示的全息光标，使得全息光标对用户显现为位于现实世界物理环境中的期望位置处。H本文档来自技高网...

【技术保护点】
1.一种系统，包括：显示器，所述显示器连接到处理器；手持输入设备，所述手持输入设备被配置为与所述处理器通信以选择性地提供一个或多个用户输入，所述手持输入设备还包括第一传感器，所述第一传感器用于确定所述手持输入设备相对于预定参考系的朝向并向所述处理器提供朝向数据；第二传感器，所述第二传感器位于相对于所述显示器的已知位置，用于确定用户的一只或多只手相对于所述显示器的位置，并且用于向所述处理器提供位置数据，以及其中所述处理器使用所述朝向数据和所述位置数据来在三维空间内以六个自由度跟踪所述用户的所述一只或多只手。

【技术特征摘要】
【国外来华专利技术】2016.06.09 US 62/347,840;2016.09.23 US 15/274,2941.一种系统，包括：显示器，所述显示器连接到处理器；手持输入设备，所述手持输入设备被配置为与所述处理器通信以选择性地提供一个或多个用户输入，所述手持输入设备还包括第一传感器，所述第一传感器用于确定所述手持输入设备相对于预定参考系的朝向并向所述处理器提供朝向数据；第二传感器，所述第二传感器位于相对于所述显示器的已知位置，用于确定用户的一只或多只手相对于所述显示器的位置，并且用于向所述处理器提供位置数据，以及其中所述处理器使用所述朝向数据和所述位置数据来在三维空间内以六个自由度跟踪所述用户的所述一只或多只手。2.根据权利要求1所述的系统，其中所述显示器包括传统的计算机监视器或平板显示器。3.根据权利要求1所述的系统，其中所述显示器包括头戴式显示器(HMD)。4.根据权利要求3所述的系统，其中所述HMD包括虚拟现实显示器。5.根据权利要求3所述的系统，其中所述HMD包括三维增强现实显示器。6.根据权利要求5所述的系统，其中所述手持输入设备包括：微控制器，所述微控制器操作地连接到所述第一传感器；一个或多个瞬时开关，所述一个或多个瞬时开关操作地连接到所述微控制器并且选择性地向所述微控制器提供输入；一个或多个状态LED，所述一个或多个状态LED操作地连接到所述微控制器、以及操作地连接到所述微控制器以用于将用户输入和朝向数据发射给所述HMD的所述处理器的无线电装置。7.根据权利要求6所述的系统，其中所述第一传感器包括惯性测量单元(IMU)。8.根据权利要求7所述的系统，其中所述第二传感器包括深度相机。9.根据权利要求8所述的系统，其中所述深度相机是红外深度相机。10.根据权利要求9所述的系统，其中所述深度相机以相对于所述HMD的面向前向的朝向而被安装在所述HMD上。11.一种在系统中用于相对于无线手持惯性控制器恢复六个自由度的方法，所述系统包括具有带有视场的面向前向光学传感器的头戴式虚拟或增强现实显示设备(HMD)，并且其中所述显示设备与所述无线手持惯性控制器对接以用于向...

【专利技术属性】
技术研发人员：A·O·巴兰，C·杜鲁，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US