跟踪可穿戴设备和手持对象姿势制造技术

一个公开示例提供了一种计算设备，该计算设备被配置为：从头戴式设备的图像传感器接收环境跟踪曝光和手持对象跟踪曝光，基于手持对象跟踪曝光确定手持对象相对于头戴式设备的姿势，基于环境跟踪曝光确定头戴式设备相对于周围环境的姿势，基于手持对象相对于头戴式设备的姿势和头戴式设备相对于周围环境的姿势得到手持对象相对于周围环境的姿势，以及输出手持对象相对于周围环境的姿势以用于控制显示在头戴式设备上的用户界面。

Tracking wearable device and hand-held object posture

【技术实现步骤摘要】
【国外来华专利技术】跟踪可穿戴设备和手持对象姿势
技术介绍
可以经由来自诸如图像传感器和惯性传感器等各种传感器的数据来跟踪运动作为计算设备输入。
技术实现思路
一个公开示例提供了一种计算设备，该计算设备包括被配置为执行指令的逻辑设备和具有由该逻辑设备可执行的指令的存储设备。这些指令可执行以：从头戴式设备的图像传感器接收环境跟踪曝光和手持对象跟踪曝光，基于手持对象跟踪曝光确定手持对象相对于头戴式设备的姿势，基于环境跟踪曝光确定头戴式设备相对于周围环境的姿势，基于手持对象相对于头戴式设备的姿势和头戴式设备相对于周围环境的姿势得到手持对象相对于周围环境的姿势，以及输出手持对象相对于周围环境的姿势以用于控制显示在头戴式设备上的用户界面。提供本“
技术实现思路
”以便以简化的形式介绍一些概念，这些概念将在下面的“具体实施方式”中进一步描述。本“
技术实现思路
”既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中指出的任何或所有缺点的实现。具体实施方式图1示出了其中可穿戴设备和手持对象的姿势可以被跟踪作为计算设备输入的示例使用场景。图2示出了对手持对象进行成像的示例可穿戴设备。图3示出了示例手持对象的视图。图4示出了用于经由可穿戴设备跟踪手持对象的示例计算系统架构。图5示出了可操作以相对于真实世界坐标得出手持对象和HMD的姿势的示例处理系统。图6示出了图示估计手持对象的姿势的示例方法的流程图。图7示出了在手持对象和主机计算设备上的IMU数据的处理的示例。图8示出了示例手持对象跟踪曝光。图9示出了示例光脉冲减轻策略。图10示出了另一示例光脉冲减轻策略。图11示出了对于30Hz和60Hz闪烁分量的根据距闪烁源的距离的相对闪烁幅度的图。图12示意性地示出了基于根据相对于相机的定向的手持对象上的光源的可见度来调节光源亮度的示例方法。图13示出了图示调节光源亮度的示例方法的流程图。图14A-14B示出了用于光学时间同步的示例二进制搜索方法。图15示出了用于光学时间同步的示例PLL状态机的框图。图16示意性地示出了用于PLL状态机的示例扫描状态下的光脉冲。图17示意性地示出了用于PLL状态机的示例粗略同步状态下的光脉冲。图18示出了图示用于在PLL调节状态下确定时间偏移的示例方法的图。图19示意性地示出了用于在PLL状态机的PLL调节状态下使用的示例光脉冲方案。图20示出了描绘用于在PLL调节状态下计算时间偏移的示例方法的图。图21示意性地示出了另一示例PLL状态机。图22示意性地示出了示例光脉冲周期和示例曝光序列。图23示意性地示出了经由光脉冲调制来执行光学时间同步的示例方法。图24示出了经由主动偏移搜索来执行光学时间同步的示例方法的示意图。图25示出了图示确定对立体相机布置的校准的示例方法的流程图。图26示出了图示确定对手持对象的校准的示例方法的流程图。图27是示出示例计算系统的框图。具体实施方式本申请公开了与包括头戴式显示设备(HMD)的计算系统有关的示例，HMD与手持控制器和/或其他手持外围设备(例如，作为游戏系统的部分)对接。为了使游戏体验更加身临其境，当用户移动设备穿越空间时，可以跟踪HMD和手持控制器的姿势以提供输入以控制HMD的用户界面。除了游戏之外，这种姿势跟踪还可以用于其他计算设备交互。所公开的示例可以利用HMD上的诸如立体相机布置等相机来跟踪诸如游戏控制器等手持对象。这避免了使用放置在周围环境中其他地方的外部光源和/或相机跟踪手持控制器，而外部光源和/或相机在使用前必须在使用环境中进行设置。图1示出了示例场景100，其中由用户104佩戴的HMD102显示虚拟和/或增强现实图像。HMD102上的一个或多个面向外部的相机可以获取周围环境以及由用户102保持的手持对象106的图像数据(例如，可见光图像数据)。例如，图2示出了使用立体相机成像系统(由第一相机204和第二相机206指示)对手持对象202成像的示例HMD200。术语“手持对象”在本文中用于包括可以如本文所述用手握持的可跟踪光源108的对象，并且表示该对象可以是手持的，而无论该对象当前是否处于握在手中的状态。手持对象106被描绘为例如用于视频游戏系统的控制器。在一些示例中，手持对象106可以包括板载处理器、存储系统和通信系统。在其他示例中，手持对象可以不包括一个或多个这样的系统，但是可以包括光以辅助对手持对象的光学跟踪。手持对象106还可以包括一个或多个输入控件，诸如按钮、触发器、操纵杆、方向键、触摸屏等。手持对象106包括提供与手持对象106的位置和定向的变化有关的输出的惯性测量单元(IMU)(其可以包括加速度计、陀螺仪、磁力计和/或其他合适的传感器)。在一些示例中，HMD102还可以包括IMU以帮助跟踪环境中的HMD姿势的变化。手持对象还包括分布在手持对象的表面上的多个光源。图3示出了示例手持对象300，示例手持对象300具有沿着手持控制器300的环形结构的外部和内部分布的多个光源302。这些光源被配置为在由HMD的一个或多个相机获取的图像数据中形成光图案(“星座”)，使得可以从捕获控制器的图像中确定手持对象的姿势。光源可以采用任何合适的形式，诸如经由HMD上的一个或多个可见光相机发射可见光以进行检测的发光二极管(LED)。也可以使用红外光源。在一些示例中，HMD上的(多个)相机可以被配置为滤波除了由LED发射的光之外的波长的光，以减小图像数据中的噪声水平。手持对象可以具有任何合适数目和布置的光源。在一些示例中，HMD102和手持对象106被配置为彼此直接通信，诸如经由利用蓝牙通信协议或其他合适的无线通信协议进行连接的无线网络。在其他示例中，可选的主机计算设备110可以与HMD102和手持对象106通信以从HMD102和手持对象106接收数据(包括由HMD102获取的图像数据和从手持对象106获取的IMU数据)，处理这样的数据，并且向这些设备发送控制信号。图4示出了包括具有跟踪传感器的HMD402、主机PC404、左侧手持控制器406和右侧手持控制器408的示例计算系统架构400，其中每个控制器提供六个自由度。左侧手持控制器406和右侧手持控制器408中的每个被描绘为经由USB(通用串行总线)和蓝牙与主机PC404通信。在该示例中，可以针对不同的上下文使用不同的协议。例如，USB连接可以用于工厂校准，而蓝牙可以在普通设备使用期间使用。类似地，主机PC404可以经由任何合适的无线或有线通信协议与HMD402和/或手持控制器406、408通信。示例被示出为HDMI(高清多媒体接口)和USB。如上所述，在一些示例中，主机PC404是可选的，并且手持控制器406和408中的每个可以直接与HMD402通信。应当理解，尽管本文中在手持控制器的上下文中进行公开，但本文档来自技高网...

【技术保护点】
1.一种计算设备，包括：/n逻辑设备，被配置为执行指令；以及/n存储设备，包括由所述逻辑设备可执行以执行以下操作的指令：/n从头戴式设备的图像传感器接收环境跟踪曝光和手持对象跟踪曝光，/n基于所述手持对象跟踪曝光确定手持对象相对于所述头戴式设备的姿势，/n基于所述环境跟踪曝光确定所述头戴式设备相对于周围环境的姿势，/n基于所述手持对象相对于所述头戴式设备的所述姿势和所述头戴式设备相对于所述周围环境的所述姿势得到所述手持对象相对于所述周围环境的姿势，以及/n输出所述手持对象相对于所述周围环境的所述姿势以用于控制显示在所述头戴式设备上的用户界面。/n

【技术特征摘要】
【国外来华专利技术】20170509 US 62/503,673;20171129 US 15/826,4521.一种计算设备，包括：
逻辑设备，被配置为执行指令；以及
存储设备，包括由所述逻辑设备可执行以执行以下操作的指令：
从头戴式设备的图像传感器接收环境跟踪曝光和手持对象跟踪曝光，
基于所述手持对象跟踪曝光确定手持对象相对于所述头戴式设备的姿势，
基于所述环境跟踪曝光确定所述头戴式设备相对于周围环境的姿势，
基于所述手持对象相对于所述头戴式设备的所述姿势和所述头戴式设备相对于所述周围环境的所述姿势得到所述手持对象相对于所述周围环境的姿势，以及
输出所述手持对象相对于所述周围环境的所述姿势以用于控制显示在所述头戴式设备上的用户界面。


2.根据权利要求1所述的计算设备，其中所述指令可执行以通过以下方式确定所述手持对象相对于所述头戴式设备的所述姿势：
检测所述手持对象上的一组可见光源，以及
基于所述一组可见光源确定光图案，以及
基于所确定的所述光图案得到所述手持对象的所述姿势。


3.根据权利要求2所述的计算设备，其中所述指令可执行以通过经由刚体变换将所述光图案拟合到模型三维光图案来得到所述手持对象的所述姿势。


4.根据权利要求2所述的计算设备，其中所述指令还可执行以确定在所述手持对象跟踪曝光中的所述一组可见光源中的每个可见光源的子像素位置。


5.根据权利要求2所述的计算设备，还包括立体相机系统，其中所述指令可执行以基于经由所述立体相机系统标识的每个可见光源的位置来确定每个可见光源在所述周围环境中的3D坐标点。


6.根据权利要求2所述的计算设备，其中所述计算设备包括所述头戴式设备。


7.根据权利要求1所述的计算设备，其中所述指令还可执行以基于所述手持对象相对于所述头戴式设备的所述姿势和所述头戴式设备相对于所述周围环境的所述姿势来确定所述手持对象相对于所述周围环境的视觉姿势。


8.根据权利要求7所述的计算设备，其中所述指令还可执行以从所述手持对象接收包括与所述手持对象的位置和定向有...

【专利技术属性】
技术研发人员：D·斯蒂德利，M·E·萨姆普勒斯，A·O·巴兰，S·西尔特卡亚，W·D·古伊曼，V·乔瓦诺维克，F·潘杰维克，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US