用于混合现实环境的直接交互系统技术方案

公开了用于使用诸如手持对象等配件与虚拟环境中的虚拟对象交互的系统和方法。该虚拟对象可使用显示设备来观看。该显示设备和手持对象可协作以确定该虚拟环境的场景图，该显示设备和手持对象在该场景图中被对准。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】用于混合现实环境的直接交互系统
技术介绍
混合现实是一种允许将虚拟图像与现实世界物理环境相混合的技术。用户可佩戴 透视、头戴式、混合现实显示设备来观看用户的视野中所显示的现实对象和虚拟对象的混 合图像。头戴式显示设备能够创建可在其中看到虚拟和现实对象的环境的三维图。用户能 够通过选择虚拟对象（例如通过看着虚拟对象）来与虚拟对象交互。一旦被选择，则用户 此后可以操纵或移动该虚拟对象，例如通过抓住并移动该虚拟对象或者对该对象执行某种 其他预定义姿势。 这种类型的间接交互具有缺点。例如，用户的手的位置是在由头戴式显示设备所 创建的场景图（scene map)中估计的，且所估计的位置可能随时间漂移。这可能导致所抓 住的虚拟对象被显示为在用户的手外。使用手的移动来选择对象有时候还是反直觉的。
技术实现思路
本技术的各实施例涉及一种用于与虚拟环境内的三维虚拟对象交互的系统和方 法。一种用于在虚拟环境内创建虚拟对象的系统可部分包括耦合至一个或多个处理单元的 透视头戴式显示设备。所述处理单元与（诸）头戴式显示单元协作能够定义虚拟对象在该 虚拟环境内的场景图。 该系统可进一步包括独立于该头戴式显示设备移动的配件，诸如手持设备。在各 实施例中，该手持设备可与该头戴式显示设备和/或（诸）处理单元协作以使得该手持设 备可以在由该头戴式显示设备所使用的相同场景图中被对准。 该手持对象可包括固定于定位器（puck)的相机。该定位器可具有输入垫，该输入 垫包括例如使用户能够选择该输入垫上的命令以用于与由该头戴式显示设备所显示的虚 拟对象交互的电容式触摸屏。该相机可识别其视野中与由该头戴式显示设备上的一个或多 个图像捕捉设备所识别的点公共的点。这些公共点可被用来解析该头戴式显示设备相对于 该手持设备的位置，以及在同一场景图中对准这两个设备。该手持设备在该头戴式显示设 备的场景图中的对准允许该手持设备与由该头戴式显示设备所显示的虚拟对象的直接交 互。 在一示例中，本技术涉及一种用于呈现虚拟环境的系统，所述虚拟环境与现实世 界空间共同延伸，所述系统包括：至少部分辅助确定包括一个或多个虚拟对象的场景图的 显示设备，所述显示设备包括用于在所述虚拟环境中显示所述一个或多个虚拟对象中的虚 拟对象的显示单元；以及能够独立于所述显示设备在所述现实世界空间中移动的配件，所 述配件在与所述显示设备相同的场景图内被对准。 在另一示例中，本技术涉及一种用于呈现虚拟环境的系统，所述虚拟环境与现实 世界空间共同延伸，所述系统包括：至少部分辅助确定包括一个或多个虚拟对象的场景图 的显示设备，所述显示设备包括用于在所述虚拟环境中显示所述一个或多个虚拟对象中的 虚拟对象的显示单元；以及在与所述显示设备相同的场景图内被对准的配件，所述配件能 够与所述虚拟对象交互。 在一进一步示例中，本技术涉及一种与虚拟环境内的虚拟对象直接交互的方法， 所述虚拟环境与所述现实世界空间共同延伸，所述方法包括：(a)定义所述虚拟环境的场 景图，虚拟对象的位置在所述场景图内定义；(b)经由显示设备显示所述虚拟对象，所述显 示设备的位置在所述场景图内被对准；以及（c)使用手持设备与所述显示设备所显示的所 述虚拟对象直接交互，所述手持设备的位置在所述场景图内被对准。 提供本
技术实现思路
以便以简化形式介绍将在以下详细描述中进一步描述的一些概 念的选集。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用 于帮助确定所要求保护的主题的范围。 附图简述 图1是用于向一个或多个用户呈现虚拟环境的系统的一个实施例的示例性组件 的图示。 图2是头戴式显示单元的一个实施例的立体图。 图3是头戴式显示单元的一个实施例的一部分的侧视图。 图4是头戴式显示单元的组件的一个实施例的框图。 图5是头戴式显示单元的捕捉设备和处理单元的组件的一个实施例的框图。 图6是与头戴式显示单元相关联的处理单元的组件的一个实施例的框图。 图7是根据本公开的各实施例的手持设备的立体图。 图8是根据本公开的各实施例的作为手持设备的部分提供的定位器的框图。 图9是其中用户使用手持设备与虚拟对象交互的虚拟环境的示例的图示。 图10是示出本系统的该一个或多个处理单元、头戴式显示设备和手持设备的操 作和协作的流程图。 图11是图10的流程图的步骤608的更详细流程图。【具体实施方式】 现在将参考图1-11描述本技术的各实施例，所述图一般涉及用于与混合现实环 境中的虚拟对象直接交互的系统和方法。在各实施例中，该系统和方法可使用能够跟踪由 头戴式显不设备所生成的三维场景图（three-dimensional scene map)并将其自己在该三 维场景图中对准（register)的手持设备。该手持式设备和/或头戴式显示设备可包括耦 合至或集成于该相应设备内的移动处理单元，以及用于捕捉用户周围的视野的相机。 每个用户可佩戴包括显示元件的头戴式显示设备。该显示元件在一定程度上透 明，以使得用户可透过该显示元件看到该用户的视野（F0V)内的现实世界对象。该显示元 件还提供将虚拟图像投影到该用户的F0V以使得所述虚拟图像也可出现在现实世界对象 旁边的能力。该系统自动地跟踪用户所看之处，以使得该系统可以确定将该虚拟图像插入 到该用户的F0V中的何处。一旦该系统知晓要将该虚拟对象投影至何处，就使用该显示元 件投影该图像。 在各实施例中，该头戴式显示设备和/或该手持设备可协作以构建该环境的模 型，该模型包括6个自由度：用户、现实世界对象和虚拟三维对象在房间或其他环境中的X、 y、z、俯仰、偏航以及滚转位置。由环境中的用户佩戴的每个头戴式显示设备的位置可以被 校准到该环境的模型并且彼此校准。这允许该系统确定每个用户的视线以及该环境的F0V。 从而，可向每个用户显示虚拟图像，但是该系统确定从每个用户的视角的该虚拟图像的显 示，从而针对视差以及来自或被该环境中的其他对象的任何闭塞来调整该虚拟图像。该环 境的模型（在本文中被称为场景图（scene map))以及对每个用户的FOV以及该环境中的 对象的跟踪可由协力或独立工作的一个或多个处理单元来生成。 根据本技术的各方面，手持设备还可被校准至该环境的模型并与该模型对准。如 同后文解释的，这允许准确地知晓该手持设备在该环境的模型（也被称为场景图）内的位 置和移动（平移和旋转）。 由本系统所提供的虚拟环境可与现实世界空间共同延伸。换言之，虚拟环境可覆 盖在现实世界空间上并与该现实世界空间共享相同区域。该虚拟环境可适合放入房间或其 他现实世界空间的边界内。替换地，该虚拟环境可大于该现实世界空间的边界。 在现实世界空间内四处移动的用户也可在共同延伸的虚拟环境中四处移动，并从 不同视角和观察点来观看虚拟和/或现实对象。一种类型的虚拟环境是混合现实环境，其 中虚拟环境包括虚拟对象和现实世界对象两种对象。另一种类型的虚拟环境仅包括虚拟对 象。 如同下面所解释的，手持对象可被用来选择虚拟环境内的虚拟对象并与所述虚拟 对象直接交互。然而，用户可使用手持对象，并结合其他物理和/或口头姿势，来与虚拟对 象交互。因此，除了致动手持设备上的按钮和/或触摸屏外，物理姿势可进一步包括使用手 指、手和/或其他身本文档来自技高网...

【技术保护点】
一种用于呈现虚拟环境的系统，所述虚拟环境与现实世界空间共同延伸，所述系统包括：至少部分辅助确定包括一个或多个虚拟对象的场景图的显示设备，所述显示设备包括用于在所述虚拟环境中显示所述一个或多个虚拟对象中的虚拟对象的显示单元；以及能够独立于所述显示设备在所述现实世界空间中移动的配件，所述配件在与所述显示设备相同的场景图内被对准。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：J·N·马戈利斯，B·I·瓦特，A·AA·基普曼，G·克莱因，F·斯查法里兹基，D·尼斯特，R·麦克麦金，D·巴恩斯，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US