在三维空间中选择虚拟对象制造技术

公开了使用可穿戴系统与三维空间中的虚拟对象交互的系统和方法。可穿戴系统可被编程为允许用户使用用户输入设备和姿势与虚拟对象交互。可穿戴系统还可以自动确定上下文信息，诸如用户环境中虚拟对象的布局，并基于上下文信息切换用户输入模式。

【技术实现步骤摘要】
【国外来华专利技术】在三维空间中选择虚拟对象相关申请的交叉引用本申请根据35U.S.C.§119(e)要求于2015年10月20日提交的标题为“用户应用程序、界面和增强现实显示设备的体验(“USERAPPLICATIONS,INTERFACES,ANDEXPERIENCESWITHAUGMENTEDREALITYDISPLAYDEVICES”)的美国临时申请No.62/244,115，2016年2月29日提交的标题为“在3D空间中选择虚拟对象”(“SELECTINGVIRTUALOBJECTSIN3DSPACE”)的美国临时申请No.62/301,422，以及于2016年3月31日提交的标题为“在3D空间中选择虚拟对象”(“SELECTINGVIRTUALOBJECTSIN3DSPACE”)的No.62/316,179的优先权权益。所有临时申请通过引用全部并入在此。
本公开涉及虚拟现实、增强现实和混合现实成像和可视化系统，并且具体涉及用于与三维(3D)空间中的虚拟对象交互的系统。
技术介绍
现代计算和显示技术促进了用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的系统的开发，其中数字再现的图像或其部分以其中他们看起来是或可能被感知为真实的方式呈现。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而不透明于其它实际的真实世界的视觉输入；增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现为对用户周围的实际世界的可视化的增强；混合现实或“MR”，其与真实世界和虚拟世界合并在一起相关，以产生新的环境，在该环境中物理和虚拟对象共存并实时交互。事实证明，人类视觉感知系统非常复杂，并且产生VR、AR或MR技术是具有挑战性的，该技术有助于在其它虚拟或真实世界的图像元素中舒适、自然、丰富地呈现虚拟图像元素。在此公开的系统和方法解决了与VR、AR和MR技术有关的各种挑战。
技术实现思路
在一些实施例中，公开了一种用于改变可穿戴设备的用户输入模式的系统。该系统可以包括：可穿戴设备的显示系统，其被配置为向用户呈现三维(3D)视图，其中3D视图包括可交互对象；用户输入设备，其被配置为接收用户输入；传感器，其被配置为获取与用户的姿势相关联的数据；以及硬件处理器，其与用户输入设备进行通信。硬件处理器可被编程为：确定用于与可交互对象交互的当前用户输入模式是第一用户输入模式还是第二用户输入模式，其中第一用户输入模式至少部分地基于用户的姿势，并且第二用户输入模式至少部分地基于来自用户输入设备的用户输入。响应于当前用户输入模式是第一用户输入模式的确定，硬件处理器可使用传感器监控用户的姿势；至少部分地基于监控的姿势经由显示系统在与用户的姿势有关的方向中呈现与第一用户输入模式相关联的第一形状中的焦点指示符；接收切换到第二用户输入模式的第一指示；以及响应于第一指示将当前用户输入模式切换到第二用户输入模式。响应于当前用户输入模式是第二用户输入模式的确定：硬件处理器可监控来自用户输入设备的用户输入；至少部分地基于监控的输入，经由显示系统呈现与第二用户输入模式相关联的第二形状中的焦点指示符；接收切换到第一用户输入模式的第二指示；以及响应于第二指示将当前用户输入模式切换到第一用户输入模式。在某些实施例中，公开了一种用于改变可穿戴设备的用户输入模式的方法。该方法可以在包括计算机处理器的可穿戴设备的控制下执行。可穿戴设备可以被配置为允许用户与用户的关注场(FOR)中的可交互对象交互，该FOR包括能够由用户经由可穿戴设备的显示系统感知的用户周围的环境的一部分。该方法包括：确定用户的姿势；经由显示系统在与用户的姿势有关的方向中显示与目标可交互对象相关联的第一焦点指示符，其中目标可交互对象包括多个虚拟对象；接收对目标可交互对象的选择；向用户呈现用于将用户输入模式从姿势切换到用户输入设备上的手部手势的选项；经由显示系统显示多个虚拟对象；响应于用户已将用户输入模式从姿势切换到用户输入设备上的手部手势的确定，经由显示系统显示与多个虚拟对象中的目标虚拟对象相关联的第二焦点指示符；以及至少部分地基于来自用户输入设备的用户输入来更新第二焦点指示符。在一些实施例中，公开了用于选择位于三维(3D)空间中的虚拟对象的可穿戴系统和方法。可穿戴系统可以包括：显示系统，其被配置为在3D空间中呈现虚拟对象；非暂态数据存储器，其被配置为存储3D空间中的可交互对象；传感器，其被配置为确定用户的姿势；以及硬件处理器，其被编程为与显示系统、数据存储器和传感器通信。可穿戴系统和方法可至少部分地基于从传感器接收的数据来确定用户的姿势；至少部分地基于用户的姿势来确定用户的视场(FOV)，该FOV包括用户在给定时间感知的用户环境的一部分；识别FOV中的一组可交互对象；至少部分地基于用户的姿势来识别FOV中的目标可交互对象；以及启动与目标可交互对象相关联的选择事件。在本说明书中描述的主题的一个或多个实施方式的细节在附图和下面的描述中阐述。从描述、附图和权利要求中，其它特征、方面和优点将变得显而易见。本概述和以下详细描述都不旨在限定或限制本专利技术主题的范围。附图说明图1描绘了具有某些虚拟现实对象以及由人观看的某些物理对象的混合现实场景的图示。图2示意性地示出可穿戴系统的示例。图3示意性地示出使用多个深度平面来模拟三维图像的方法的方面。图4示意性地示出用于向用户输出图像信息的波导堆叠的示例。图5示出可以由波导输出的示例出射光束。图6是示出了包括波导装置、将光光耦合到波导装置或从波导装置光耦合光的光耦合器子系统以及控制子系统的光学系统的示意图，该光学系统用于生成多焦点立体显示、图像或光场。图7是可穿戴系统的示例的框图。图8是渲染与识别的对象相关的虚拟内容的方法的示例的过程流程图。图9是可穿戴系统的另一个示例的框图。图10是用于确定向可穿戴系统的用户输入的方法的示例的过程流程图。图11是用于与虚拟用户界面进行交互的方法的示例的过程流程图。图12示出视场中的虚拟对象和关注场中的虚拟对象的示例。图13A示出在用户输入设备的触摸屏上用触摸手势选择可交互对象的示例。图13B示出在用户输入设备上用手部手势过滤可选择对象的示例。图14是头部姿势的坐标系的示例。图15示出用头部姿势与可交互对象交互的示例。图16示出用手部手势与可交互对象交互的示例。图17示出与天气应用程序的示例交互事件。图18示出与3D虚拟对象交互的示例用户体验。图19示出使用用户输入设备上的姿势和手部手势的组合来选择虚拟对象的示例过程。图20示出使用用户输入设备上的姿势和手部手势的组合与虚拟对象进行交互的示例过程。图21示出用于基于上下文信息将输入控制从头部姿势切换到手部手势的示例过程。图22示出用于基于上下文信息切换用户交互模式的示例过程。图23示出与包括一组虚拟对象的可交互对象交互的示例过程。在整个附图中，可以重新使用参考数字来指示参考元素之间的对应关系。提供附图以示出在此描述的示例实施例并且不旨在限制本公开的范围。具体实施方式概述通过使用AR/VR/MR设备，用户可能想要使用虚拟用户界面来瞄准和选择三维(3D)空间中的对象。例如，用户可以使用诸如物理接近、抓住或触摸项目的身体姿势来选择虚拟对象。用户也可以通过用虚拟光线或光束指向并点击对象来选择虚本文档来自技高网...

【技术保护点】
1.一种用于改变可穿戴设备的用户输入模式的系统，所述系统包括：可穿戴设备的显示系统，其被配置为向用户呈现三维(3D)视图，所述3D视图包括可交互对象；用户输入设备，其被配置为接收用户输入；传感器，其被配置为获取与所述用户的姿势相关联的数据；硬件处理器，其与所述用户输入设备通信，所述处理器被编程为：确定用于与所述可交互对象交互的当前用户输入模式是第一用户输入模式还是第二用户输入模式，其中，所述第一用户输入模式至少部分地基于所述用户的所述姿势，所述第二用户输入模式至少部分地基于来自所述用户输入设备的所述用户输入；响应于所述当前用户输入模式是所述第一用户输入模式的确定：使用所述传感器监控所述用户的所述姿势；至少部分地基于所述监控的姿势经由所述显示系统在与所述用户的所述姿势有关的方向中呈现与所述第一用户输入模式相关联的第一形状中的焦点指示符；接收切换到所述第二用户输入模式的第一指示；以及响应于所述第一指示将所述当前用户输入模式切换到所述第二用户输入模式；以及响应于所述当前用户输入模式是所述第二用户输入模式的确定：监控来自所述用户输入设备的所述用户输入；至少部分地基于所述监控的输入，经由所述显示系统呈现与所述第二用户输入模式相关联的第二形状中的所述焦点指示符；接收切换到所述第一用户输入模式的第二指示；以及响应于所述第二指示将所述当前用户输入模式切换到所述第一用户输入模式。...

【技术特征摘要】
【国外来华专利技术】2015.10.20 US 62/244,115;2016.02.29 US 62/301,422;1.一种用于改变可穿戴设备的用户输入模式的系统，所述系统包括：可穿戴设备的显示系统，其被配置为向用户呈现三维(3D)视图，所述3D视图包括可交互对象；用户输入设备，其被配置为接收用户输入；传感器，其被配置为获取与所述用户的姿势相关联的数据；硬件处理器，其与所述用户输入设备通信，所述处理器被编程为：确定用于与所述可交互对象交互的当前用户输入模式是第一用户输入模式还是第二用户输入模式，其中，所述第一用户输入模式至少部分地基于所述用户的所述姿势，所述第二用户输入模式至少部分地基于来自所述用户输入设备的所述用户输入；响应于所述当前用户输入模式是所述第一用户输入模式的确定：使用所述传感器监控所述用户的所述姿势；至少部分地基于所述监控的姿势经由所述显示系统在与所述用户的所述姿势有关的方向中呈现与所述第一用户输入模式相关联的第一形状中的焦点指示符；接收切换到所述第二用户输入模式的第一指示；以及响应于所述第一指示将所述当前用户输入模式切换到所述第二用户输入模式；以及响应于所述当前用户输入模式是所述第二用户输入模式的确定：监控来自所述用户输入设备的所述用户输入；至少部分地基于所述监控的输入，经由所述显示系统呈现与所述第二用户输入模式相关联的第二形状中的所述焦点指示符；接收切换到所述第一用户输入模式的第二指示；以及响应于所述第二指示将所述当前用户输入模式切换到所述第一用户输入模式。2.根据权利要求1所述的系统，其中，所述处理器被进一步编程为：至少部分地基于所述用户的所述姿势来确定所述用户的视场(FOV)，所述FOV包括所述用户在给定时间感知的所述用户的环境的一部分；确定与所述FOV相关联的上下文信息，其中所述上下文信息包括以下中的至少一个：所述FOV中的所述可交互对象的布局、所述FOV的大小、所述用户的FOV中的一个或多个所述可交互对象的大小；以及至少部分地基于所述上下文信息，呈现用于从所述第一用户输入模式切换到所述第二用户输入模式或从所述第二用户输入模式切换到所述第一用户输入模式的选项。3.根据权利要求3所述的系统，其中，为了呈现所述选项，所述处理器被编程为当所述当前用户输入模式处于所述第一用户输入模式时呈现所述第二形状中的所述焦点指示符，并且当所述当前用户输入模式处于所述第二用户输入模式时呈现所述第一形状中的所述焦点指示符。4.根据权利要求1所述的系统，其中，所述第一指示包括所述用户的所述姿势的改变，并且其中，所述第二指示包括所述用户输入设备的驱使。5.根据权利要求1至4中任一项所述的系统，其中，所述用户的所述姿势包括以下中的至少一个：头部姿势、眼睛姿势、脚部姿势或身体姿势，或者其中，所述传感器包括以下中的至少一个：面向内的成像系统、面向外的成像系统或惯性测量单元，或者其中，所述显示系统包括光场显示器，所述光场显示器被配置为在多个深度平面处显示一个或多个所述可交互对象。6.一种用于改变可穿戴设备的用户输入模式的方法，所述方法包括：在包括计算机处理器的可穿戴设备的控制下，所述可穿戴设备被配置为允许用户与用户的关注场(FOR)中的可交互对象交互，所述FOR包括能够由所述用户经由所述可穿戴设备的显示系统感知的所述用户周围的环境的一部分：确定用户的姿势；经由所述显示系统在与所述用户的所述姿势有关的方向中显示与目标可交互对象相关联的第一焦点指示符，其中，所述目标可交互对象包括多个虚拟对象；接收对所述目标可交互对象的选择；向所述用户呈现用于将所述用户输入模式从姿势切换到用户输入设备上的手部手势的选项；经由所述显示系统显示所述多个虚拟对象；响应于所述用户已将所述用户输入模式从姿势切换到所述用户输入设备上的手部手势的确定，经由所述显示系统显示与所述多个虚拟对象中的目标虚拟对象相关联的第二焦点指示符；以及至少部分地基于来自...

【专利技术属性】
技术研发人员：J·M·鲍德利，S·奈尔斯，F·汉密尔顿，M·A·丰泰内，R·阿伯维茨，A·那普勒斯，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国,US