增强和/或虚拟现实环境中的场境敏感用户界面激活制造技术

在用于确定用户与虚拟现实环境中的虚拟对象之间的检测到的虚拟接触的目的的系统中，可以在由所述用户操纵的所指定的选择设备与所述虚拟对象之间检测到接触。然后可以确定所指定的选择设备与所述虚拟对象之间的所检测到的接触是否是有意的。可以基于与所述虚拟对象的所述虚拟接触的接近方向、与所述虚拟对象的所述虚拟接触的接近速度、与所述虚拟对象的所述虚拟接触的接近加速度中的至少一个来确定所检测到的接触是否是有意的。

Enhanced and / or field sensitive user interface activation in virtual reality environment

In the system used to determine the object of the virtual contact detected between the user and the virtual object in the virtual reality environment, contact can be detected between the designated selection device manipulated by the user and the virtual object. It is then possible to determine whether the detected contact between the selected device and the virtual object is intentionally. It is possible to determine whether the detected contact is intentional based on the near direction of the virtual contact described with the virtual object, the close speed of the virtual contact described to the virtual object, and at least one of the virtual contacts described in the virtual contact of the virtual object.

【技术实现步骤摘要】
【国外来华专利技术】增强和/或虚拟现实环境中的场境敏感用户界面激活相关申请的交叉引用本申请是于2016年12月7日提交的美国非临时申请第15/371,886号的继续申请并且要求该申请的优先权，该申请要求于2015年12月11日提交的美国临时申请第62/266,449号的优先权，其公开内容通过引用并入本文。本申请要求于2015年12月11日提交的美国临时申请第62/266,449号的优先权，该申请的公开内容通过引用并入本文。
本文大体上涉及沉浸式虚拟现实系统中的输入处理。
技术介绍
增强现实(AR)系统和/或虚拟现实(VR)系统可以生成三维(3D)沉浸式虚拟环境。用户可以通过与各种电子设备的交互来感受这种3D虚拟环境，诸如，例如，包括显示器、眼镜或护目镜的头盔或者其它头戴式设备(用户在查看显示设备时通过该显示器、眼镜或护目镜观看)、装有传感器的手套、包括传感器的外部手持式设备、和其它这种电子设备。一旦沉浸在虚拟环境中，用户与虚拟环境的交互可以采取各种形式，诸如，例如，眼睛注视、头部注视、物理移动和/或对电子设备进行操纵以与虚拟环境交互、使虚拟环境个性化并且控制虚拟环境。
技术实现思路
在一个方面中，该方法可以包括：生成虚拟环境，包括在该虚拟环境中显示多个虚拟对象；检测选择设备与多个虚拟对象中的一个虚拟对象之间的虚拟接触；基于检测到的虚拟接触的至少一个特性来确定检测到的虚拟接触是否与要在虚拟环境中执行的命令相对应；以及当确定检测到的虚拟接触与要在虚拟环境中执行的命令相对应时，选择虚拟对象进行致动以及基于检测到的虚拟接触在虚拟环境中执行与选择的虚拟对象和命令相对应的动作。在另一个方面中，该系统可以包括计算设备，该计算设备被配置为生成虚拟环境。计算设备可以包括：存储器，该存储器存储可执行指令；以及处理器，所述处理器被配置为执行该指令。执行该指令可以使计算设备：生成虚拟环境，所述虚拟环境包括显示多个虚拟对象；检测选择设备与多个虚拟对象中的一个虚拟对象之间的虚拟接触；基于检测到的虚拟接触的至少一个特性来确定检测到的虚拟接触是否与要在虚拟环境中执行的命令相对应；以及当确定检测到的虚拟接触与要在虚拟环境中执行的命令相对应时，选择虚拟对象进行致动以及在虚拟环境中执行与命令和选择的虚拟对象相对应的动作。在下面的附图和说明书中陈述了一种或多种实施方式的细节。其它的特征将通过说明书、附图和权利要求而变得显而易见。附图说明图1是根据本文描述的实施方式的包括头戴式显示设备和手持式电子设备的增强和/或虚拟现实系统的示例实施方式。图2A和2B是根据本文描述的实施方式的示例头戴式显示设备的透视图。图3是根据本文描述的实施方式的头戴式电子设备和手持式电子设备的框图。图4A至4F和图5A至5F是图示了与根据本文描述的实施方式的增强和/或虚拟现实环境中的一个或多个虚拟对象的用户交互的第三人称视图。图6A至6D图示了用户与根据本文描述的实施方式的增强和/或虚拟现实环境中的虚拟对象之间进行接触的各种方法。图7A至7J是图示了与根据本文描述的实施方式的增强和/或虚拟现实环境中的一个或多个虚拟对象的用户交互的第三人称视图。图8是选择根据本文描述的实施方式的增强和/或虚拟现实环境中的虚拟对象的方法的流程图。图9示出了可以用于实施本文描述的技术的计算机设备和移动计算机设备的示例。具体实施方式例如，穿戴头戴式显示器(HMD)沉浸在增强现实和/或虚拟现实环境中的用户可以探索虚拟环境并且通过各种不同类型的输入来与虚拟环境中的虚拟对象、虚拟元素、虚拟特征等交互。例如，这些输入可以包括物理交互，包括：例如，手部/手臂姿势(包括虚拟对象与真实用户的各个身体部分之间的虚拟接触)、头部移动和/或头部和/或眼睛的方向注视等、和/或对与HMD分离的电子设备的操纵(诸如，例如，电子设备与虚拟对象之间的虚拟接触、通过电子设备和/或HMD发出的虚拟射线或虚拟光束、电子设备和/或HMD的移动、实施在电子设备和/或HMD的触敏表面的触摸等)。因此，虚拟接触表示虚拟对象与真实用户的虚拟配对物、真实用户的身体部分、或者真实世界中的选择设备之间在虚拟空间中的接触，其中，所述虚拟配对物反映用户、身体部分的移动、方向注视等、和/或对真实世界中的电子设备的操纵。用户的虚拟配对物可以作为沉浸式用户显示在虚拟空间中。用户可以实施这些不同种类的交互中的一种或多种交互以选择虚拟对象和/或虚拟环境中的特定动作。根据本文描述的实施方式的系统和方法可以促进在用户选择特定虚拟对象和/或执行虚拟环境中的特定动作时准确解释检测到的虚拟接触并且确定检测到的虚拟接触是否与要在虚拟环境中执行的命令相对应，从而增强用户的沉浸式虚拟体验。在图1所示的示例实施方式中，穿戴HMD100的用户手中正拿着便携手持式电子设备102。例如，手持式电子设备102可以是控制器、智能手机、或者可以与HMD100配对并且与其通信以在由HMD100生成并在HMD100的显示器上向用户显示的虚拟环境中进行交互的另一个便携手持式电子设备。例如，手持式电子设备102可以经由有线连接、或者无线连接(诸如，例如，WiFi或者蓝牙连接)与HMD100可操作地耦合或配对。手持式电子设备102与HMD100的这种配对或者可操作的耦合可以提供手持式电子设备102与HMD100之间的通信和手持式电子设备102与HMD100之间的数据交换，从而手持式电子设备102可以充当与HMD100通信的控制器以在由HMD100生成的沉浸式虚拟环境中进行交互。即，对手持式电子设备102的操纵(诸如，例如，通过手持式电子设备102发出的并且被引导至虚拟对象以进行选择的光束或射线、和/或在手持式电子设备102的触摸表面上接收到的输入、或者手持式电子设备102的移动)可以被转换为由HMD100生成的沉浸式虚拟环境中的相应选择、或者移动、或者其它类型的交互。图1所述的示例实施方式包括与HMD100通信的一个手持式电子设备102，该手持式电子设备102用于与HMD100交换数据并且与由HMD100生成的虚拟环境中的虚拟对象、虚拟元素、虚拟特征等交互。然而，在一些实施方式中，多于一个的手持式电子设备102可以与HMD100可操作地耦合并且与其通信，并且可以一起操作或者单独操作以在虚拟环境中进行交互。图2A和2B是生成增强和/或虚拟现实环境的示例HMD(诸如，例如，由图1中的用户穿戴的HMD100)的透视图。HMD100可以包括耦合至框架120的外壳110，该框架120具有音频输出设备130，包括，例如，安装在耦合至框架120的耳机中的扬声器。在图2B中，外壳110的前部110a远离外壳110的基部110b旋转，使得容置在外壳110中的一些组件可见。显示器140可以安装在外壳110的前部110a的内侧。当前部110a相对于外壳110的基部110b处于关闭位置时，透镜150可以安装在外壳110中，处于用户眼睛与显示器140之间。在一些实施方式中，HMD100可以包括感测系统160(包括各种传感器)和控制系统170(包括处理器109和各种控制系统设备)以促进HMD100的操作。在一些实施方式中，HMD100可以包括摄像头180以捕获静止图像和移动图像。由摄像头180捕获到的图像可以用于帮助跟踪用户和/或手持本文档来自技高网...

【技术保护点】
一种方法，所述方法包括：生成虚拟环境，包括在所述虚拟环境中显示多个虚拟对象；检测选择设备与所述多个虚拟对象中的一个虚拟对象之间的虚拟接触；基于检测到的虚拟接触的至少一个特性来确定所述检测到的虚拟接触是否与要在所述虚拟环境中执行的命令相对应；以及当确定所述检测到的虚拟接触与要在所述虚拟环境中执行的命令相对应时，选择所述虚拟对象进行致动；以及基于所述检测到的虚拟接触在所述虚拟环境中执行与所选择的虚拟对象和所述命令相对应的动作。

【技术特征摘要】
【国外来华专利技术】2015.12.11 US 62/266,449;2016.12.07 US 15/371,8861.一种方法，所述方法包括：生成虚拟环境，包括在所述虚拟环境中显示多个虚拟对象；检测选择设备与所述多个虚拟对象中的一个虚拟对象之间的虚拟接触；基于检测到的虚拟接触的至少一个特性来确定所述检测到的虚拟接触是否与要在所述虚拟环境中执行的命令相对应；以及当确定所述检测到的虚拟接触与要在所述虚拟环境中执行的命令相对应时，选择所述虚拟对象进行致动；以及基于所述检测到的虚拟接触在所述虚拟环境中执行与所选择的虚拟对象和所述命令相对应的动作。2.根据权利要求1所述的方法，其中，基于所述检测到的虚拟接触的至少一个特性来确定所述检测到的虚拟接触是否与要在所述虚拟环境中执行的命令相对应包括：检测所述检测到的虚拟接触的所述至少一个特性，所述至少一个特性包括：在虚拟接触点处所述选择设备相对于所述虚拟对象的接近方向、在所述虚拟接触点处所述选择设备相对于所述虚拟对象的接近速度、或者在所述虚拟接触点处所述选择设备相对于所述虚拟对象的接近加速度；以及基于所述检测到的虚拟接触的检测到的所述至少一个特性来确定所述检测到的虚拟接触是否与要在所述虚拟环境中执行的所述命令相对应。3.根据权利要求2所述的方法，其中，检测所述检测到的虚拟接触的所述至少一个特性包括：检测在所述虚拟接触点处所述选择设备相对于所述虚拟对象的所述接近方向，以及确定所述检测到的虚拟接触是否与要在所述虚拟环境中执行的命令相对应包括：将所述检测到的虚拟接触的所检测到的接近方向与预设接近方向阈值相比较。4.根据权利要求3所述的方法，其中，所述预设接近方向阈值限定相对于所述虚拟对象的致动表面的接近角度范围，并且其中，确定所述检测到的虚拟接触是否与要在所述虚拟环境中执行的命令相对应包括：当所述检测到的接近方向在所述预设接近角度范围内时，在所述虚拟环境中执行所述命令。5.根据权利要求3所述的方法，其中，所述预设接近方向阈值是相对于所述虚拟对象的一个或多个致动区域来限定的，并且其中，确定所述检测到的虚拟接触是否与要在所述虚拟环境中执行的命令相对应包括：当所述检测到的接近方向被检测到在所述虚拟对象的所述一个或多个致动区域中的一个致动区域内时，在所述虚拟环境中执行所述命令。6.根据权利要求2所述的方法，其中，检测所述检测到的虚拟接触的所述至少一个特性包括：检测所述检测到的虚拟接触相对于所述虚拟对象的所述接近速度，以及确定所述检测到的虚拟接触是否与要在所述虚拟环境中执行的命令相对应包括：将所述检测到的虚拟接触的所述检测到的接近速度与预设接近速度阈值相比较。7.根据权利要求6所述的方法，其中，所述预设接近速度阈值限定相对于所述虚拟对象的接近速度范围，并且其中，确定所述检测到的虚拟接触是否与要在所述虚拟环境中执行的命令相对应包括：当所述检测到的接近速度在所述预设接近速度范围内时，在所述虚拟环境中执行所述命令。8.根据权利要求2所述的方法，其中，检测所述检测到的虚拟接触的所述至少一个特性包括：检测所述检测到的虚拟接触相对于所述虚拟对象的接近加速度，以及确定所述检测到的虚拟接触是否与要在所述虚拟环境中执行的命令相对应包括：将所述检测到的虚拟接触的所述检测到的接近加速度与预设接近加速度阈值相比较。9.根据权利要求8所述的方法，其中，所述预设接近加速度阈值限定相对于所述虚拟对象的接近加速度范围，并且其中，确定所述检测到的虚拟接触是否与要在所述虚拟环境中执行的命令相对应包括：当所述检测到的接近加速度在所述预设接近加速度范围内时，在所述虚拟环境中执行所述命令。10.根据权利要求2所述的方法，其中，所述检测到的虚拟接触是在所述虚拟对象的第一表面处检测到的，所述虚拟对象的所述第一表面限定所述虚拟对象的致动表面，所述方法进一步包括：检测所述虚拟对象的第二表面上的后续虚拟接触，所述第二表面限定所述虚拟对象的不活动表面；确定所述后续虚拟接触并不与要在所述虚拟环境中执行的命令相对应；以及忽略所述后续虚拟接触的所述检测。11.根据权利要求1所述的方法，其中，检测选择设备与所述多个虚拟对象中的一个虚拟对象之间的虚拟接触包括：检测到所述虚拟对象在用户视野外；确定所述检测到的虚拟接触并不与要在所述虚拟环境中执行的命令相对应；以及忽略所述虚拟接触的所述检测。12.根据权利要求1所述的方法，其中，检测选择设备与所述多个虚拟对象中的一个虚拟对象之间的虚拟接触包括：检测到从第一视野到第二视野的用户视野变化，其中，在所述第一视野内检测到与所述虚拟对象的虚拟接触，并且所述虚拟对象在所述第二视野外；确定所述检测到的虚拟接触与要相对于所述虚拟对象执行的命令相对应，所述虚拟对象在所述第二视野外；以及响应于所述检测到的虚拟接触来执行所述命令。13.根据权利要求1所述的方法，其中，指定的选择设备是所述用户的身体部分，检测虚拟接触包括：跟踪所述用户的所述身体部分相对于所述虚拟环境中的所述多个虚拟对象的位置和定向，所述检测到的虚拟接触是在所述用户的所述身体部分与所述虚拟对象之间检测到...

【专利技术属性】
技术研发人员：乔恩·威利，曼纽尔·克里斯蒂安·克莱蒙特，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US