组合陀螺鼠输入和触摸输入以在增强和/或虚拟现实环境中导航制造技术

本发明专利技术提供了一种用于将增强现实(AR)环境和/或虚拟现实(VR)环境中的陀螺鼠输入与触摸表面输入组合的系统，可以响应于陀螺鼠的移动，结合在陀螺鼠的触摸表面上接收到的触摸输入、或者触摸拖动输入来调整虚拟项目和/或特征的虚拟显示。在所述AR/VR环境中使用陀螺鼠可以允许将触屏功能准确地投射到三维虚拟空间中，从而提供在所述AR/VR环境中功能和实用性都提到改善的控制器，从而增强用户的体验。

【技术实现步骤摘要】
【国外来华专利技术】组合陀螺鼠输入和触摸输入以在增强和/或虚拟现实环境中导航相关申请的交叉引用本申请是于2016年12月15日提交的美国申请No.15/379,770的继续申请并且要求其优先权，该申请要求于2016年5月11日提交的美国临时申请No.62/334,786的优先权，其公开内容通过引用的方式并入本文。本申请是于2016年5月11日提交的美国临时申请No.62/334,786的非临时申请并且要求其优先权，该申请通过引用的方式全部并入本文。
技术介绍
本文大体上涉及处理增强现实和/或虚拟现实环境中的输入。
技术介绍
增强现实(AR)和/或虚拟现实(VR)系统可以生成三维(3D)沉浸式环境。用户可以通过与各种电子设备的交互来体验增强和/或虚拟环境，诸如，例如头盔或者其它头戴式设备，包括：显示器、用户在查看显示设备时透过其来看的眼镜或者护目镜、设置有传感器的手套、包括传感器的外部手持设备、以及其它这样的电子设备。一旦沉浸在增强和/或虚拟环境中，用户就会以不同的方式在虚拟环境中进行交互以供选择和/或操纵虚拟对象以及进行在虚拟环境中的其它这样的交互。例如，用户可以通过操纵外部电子设备、眼睛注视、物理移动和/或手势等来提供输入以与虚拟环境进行交互，将虚拟环境个性化，以及控制虚拟环境。
技术实现思路
在一个方面中，一种方法可以包括：在周围环境中操作的头戴式显示设备中生成虚拟环境；响应于从可操作地耦合至头戴式显示设备的控制器接收到的选择输入而在虚拟环境中显示的虚拟对象的虚拟显示中设置锚点；从控制器接收实现第一输入模式的第一输入；响应于该第一输入而调整与虚拟对象的虚拟显示相关联的多个虚拟特征的布置，虚拟显示的虚拟显示区域小于同时显示多个虚拟特征中的所有虚拟特征所需的显示区域；从控制器接收实现第二输入模式的第二输入，第二输入模式与第一输入模式不同；以及基于一组先前定义的规则来确定是忽略第二输入还是响应于第二输入而在虚拟环境中执行动作。在另一方面中，一种计算设备可以包括：存储器，该存储器存储可执行指令；以及处理器，该处理器被配置为执行指令。所述指令可以使得计算设备：在由用户穿戴并且在周围环境中操作的头戴式电子设备的显示器上显示虚拟环境；响应于检测到从可操作地耦合至头戴式电子设备的控制器接收到的选择输入而在显示在虚拟环境中的虚拟对象的虚拟显示中设置锚点；从控制器接收实现第一输入模式的第一输入；响应于该第一输入而调整与虚拟对象的虚拟显示相关联的多个虚拟特征的布置，虚拟显示的虚拟显示区域小于同时显示多个虚拟特征中的所有虚拟特征所需的显示区域；从控制器接收实现第二输入模式的第二输入，第二输入模式与第一输入模式不同；以及基于一组先前定义的规则来确定是忽略第二输入还是响应于第二输入而执行动作。在附图和下面的描述中阐述了一种或者多种实施方式的细节。其它特征将通过描述和附图以及权利要求书而变得显而易见。附图说明图1是根据如本文描述的实施方式的包括头戴式显示器和手持电子设备的虚拟现实系统的示例实施方式。图2A至图2C、图3A至图3C、图4A至图4C、图5A至5H和图6A至图6D图示了根据本文描述的实施方式的，在增强现实和/或虚拟现实环境中使用与触摸表面输入组合的陀螺鼠(gyromouse)控制器的示例实施方式。图7A和图7B是根据如本文描述的实施方式的示例头戴式显示器的透视图。图8是根据如本文描述的实施方式的虚拟现实系统的框图。图9是根据如本文描述的实施方式的方法的流程图。图10示出了可以用于实施本文描述的技术的计算机设备和移动计算机设备的示例。具体实施方式穿戴着例如头戴式显示器(HMD)设备沉浸在虚拟环境中的用户可以探索虚拟环境并且通过各种不同类型的输入来与虚拟环境进行交互，所述输入包括：例如，操纵与HMD分开的电子设备和/或操纵HMD本身，和/或者眼睛和/或头部定向注视，和/或头部移动和/或手/手臂姿态等。用户可以连同HMD一起操纵手持电子设备或者控制器以在虚拟环境中引起期望的动作。具体地，在一些情形下，用户可以按照各种不同的方式来操纵控制器，诸如，例如对控制器的触摸表面的触摸输入、操纵控制器上的输入按钮和/或开关、控制器本身的物理移动等，以提供待在虚拟环境中实现的输入。这种能力可以在提供用户输入时提供灵活性和便利性，并且可以增强用户的虚拟体验，尤其是在待显示给虚拟环境中的用户的内容的视觉大小超过用户可以查看的区域的实例中。在一些实例中，当用户例如在控制器的触摸表面上输入触摸输入时不经意地利用控制器移动或者做出手势、经由控制器的物理移动或者手势进行输入的同时不经意地移动了在触摸表面上的触摸等时，使用同一控制器(例如，陀螺鼠)而可用的这些多个输入模式会产生一些歧义和/或生成非意图的用户输入。在根据本文描述的实施方式的系统和方法中，可以将一组预定义规则或者算法应用于经由控制器接收到的输入。这些预定义规则或者算法可以允许更准确地确定用户的意图的输入，并且系统可以准确地实现用户在虚拟环境中的意图的交互。根据本文描述的实施方式的系统和方法还可以允许通过例如使用例如具有触摸输入表面并且还具有提供控制器相对于虚拟显示的位置和取向信息的能力的控制器滚动、放大和缩小等来在虚拟对象、特征、选项等超出可用虚拟显示区域或者落在可用虚拟显示区域之外时对虚拟对象、特征、选项等的虚拟显示的用户操纵。在图1中示出的示例实施方式中，穿戴HMD100的用户正抓持便携式手持电子设备102。该便携式手持电子设备102可以是：例如，陀螺鼠、智能电话、或者其它类型的控制器，其可以与HMD100配对并且与HMD100通信以供在由HMD100生成的沉浸式虚拟体验中交互。在一些实施方式中，可以基于包括在设备102中的各种传感器(诸如，例如包括例如如按照该方式适配的陀螺鼠或者智能电话中的加速度计、陀螺仪、磁力计等的惯性测量单元)来追踪手持电子设备102的六自由度(6DOF)位置和取向。在一些实施方式中，可以基于由系统中的其它传感器(诸如，例如包括在HMD100上的图像传感器)连同包括在设备102中的取向传感器一起检测到的设备102的位置来追踪手持电子设备102的6DOF位置和取向。手持电子设备102可以经由例如有线连接或者无线连接(诸如，例如，wifi或者蓝牙连接)与HMD100可操作地耦合或者配对以提供设备102与HMD100之间的数据交换和通信，从而允许手持电子设备102用作控制器。即，可以将对手持电子设备102的操纵(诸如，例如在手持电子设备102的触摸表面上接收到的输入，或者手持电子设备102的物理移动，或者由用户引导的从手持电子设备102虚拟发射的虚拟光线或者光束)转换成虚拟环境中的对应交互或者移动。在下文中，仅仅为了便于讨论，将手持电子设备称为控制器102。如上面提到的，在一些实施方式中，控制器102可以是陀螺鼠，该陀螺鼠可以在自由空间中操作以例如选择、操纵虚拟环境中的对象以及以其它方式与虚拟环境中的对象进行交互。使用包括陀螺鼠能力的控制器102实质上可以允许将移动设备的触摸屏输入能力相对准确地投射到三维(3D)空间中。例如，陀螺鼠可以包括生成指示陀螺鼠的角运动的信号的陀螺仪，该角运动可以被转换成虚拟环境中的定向移动。在一些实施方式中，陀螺鼠还可以包括加速度计，其生成指示陀螺鼠的加速度本文档来自技高网...

【技术保护点】
1.一种方法，包括：在周围环境中操作的头戴式显示设备中生成虚拟环境；响应于从可操作地耦合至所述头戴式显示设备的控制器接收到的选择输入而在所述虚拟环境中显示的虚拟对象的虚拟显示中设置锚点；从所述控制器接收实现第一输入模式的第一输入；响应于所述第一输入而调整与所述虚拟对象的所述虚拟显示相关联的多个虚拟特征的布置，所述虚拟显示的虚拟显示区域小于同时显示所述多个虚拟特征的所有虚拟特征所需的显示区域；从所述控制器接收实现第二输入模式的第二输入，所述第二输入模式与所述第一输入模式不同；以及基于一组先前定义的规则来确定是忽略所述第二输入还是响应于所述第二输入而在所述虚拟环境中执行动作。

【技术特征摘要】
【国外来华专利技术】2016.05.11 US 62/334,786;2016.12.15 US 15/379,7701.一种方法，包括：在周围环境中操作的头戴式显示设备中生成虚拟环境；响应于从可操作地耦合至所述头戴式显示设备的控制器接收到的选择输入而在所述虚拟环境中显示的虚拟对象的虚拟显示中设置锚点；从所述控制器接收实现第一输入模式的第一输入；响应于所述第一输入而调整与所述虚拟对象的所述虚拟显示相关联的多个虚拟特征的布置，所述虚拟显示的虚拟显示区域小于同时显示所述多个虚拟特征的所有虚拟特征所需的显示区域；从所述控制器接收实现第二输入模式的第二输入，所述第二输入模式与所述第一输入模式不同；以及基于一组先前定义的规则来确定是忽略所述第二输入还是响应于所述第二输入而在所述虚拟环境中执行动作。2.根据权利要求1所述的方法，响应于从控制器接收到的选择输入而在虚拟对象的虚拟显示中设置锚点包括：检测从所述控制器引导的虚拟光束与所述虚拟显示的一部分的交点；以及响应于所述选择输入而将所述锚点设置在所检测的交点处，所述选择输入包括所述控制器的操纵设备的检测到的激活。3.根据权利要求1所述的方法，其中，所述第一输入模式是在所述控制器的触摸表面上的触摸输入，并且所述第二输入模式是所述控制器的物理移动，以及其中，所述选择输入是响应于所述控制器的操纵设备的激活而被检测到的。4.根据权利要求3所述的方法，响应于所述第一输入而调整与所述虚拟对象的所述虚拟显示相关联的多个虚拟特征的布置包括：移览所述多个虚拟特征，包括以下中的一个：在与所述第一输入相对应的方向上顺序地滚览所述多个虚拟特征；或者跳转到所述多个虚拟特征中的、与所述第一输入相对应的一个或者多个虚拟特征，所述第一输入与对虚拟内容按钮的选择相对应，所述虚拟内容按钮与所述多个虚拟特征的顺序列表中的设定点相对应；以及在所述虚拟对象的所述虚拟显示上显示所述多个虚拟特征的虚拟特征的组合，所显示的虚拟特征的组合与在所述移览之前显示的所述多个虚拟特征的虚拟特征的组合不同。5.根据权利要求3所述的方法，响应于从控制器接收到的选择输入而在虚拟对象的虚拟显示中设置锚点包括：检测从所述控制器引导的虚拟光束与位于所述虚拟显示的垂直滚动条中的多个垂直滚动箭头中的一个垂直滚动箭头的交点，或者从所述控制器引导的虚拟光束与位于所述虚拟显示的水平滚动条中的多个水平滚动箭头中的一个水平滚动箭头的交点，或者从所述控制器引导的虚拟光束在所述垂直滚动条的指定区域内的交点，或者从所述控制器引导的虚拟光束在所述水平滚动条的指定区域内的交点；设置与所检测的交点相对应的锚点；以及响应于在所述控制器的所述触摸表面上的触摸输入而滚览与所述虚拟显示相关联的所述多个虚拟特征，所述滚览是在与所述锚点和所述触摸输入相对应的方向上进行的。6.根据权利要求5所述的方法，滚览所述多个虚拟特征包括：响应于所述触摸输入而顺序地滚览所述多个虚拟特征；在所述控制器的所述触摸表面上的所述触摸输入被维持的同时维持所述滚览；以及在检测到所述控制器的所述触摸表面上的所述触摸的释放时终止所述滚览。7.根据权利要求5所述的方法，在所述控制器的所述触摸表面上的所述触摸输入是在所述控制器的所述触摸表面上的一系列轻敲输入，滚览所述多个虚拟特征包括：响应于在所述触摸表面上检测到的每个轻敲输入而顺序地滚览所述多个虚拟特征定义的量。8.根据权利要求3所述的方法，响应于从控制器接收到的选择输入而在虚拟显示中设置锚点包括：检测从所述控制器引导的虚拟光束与所述虚拟显示的顶部部分、所述虚拟显示的底部部分、所述虚拟显示的左部部分、所述虚拟显示的右部部分、位于所述虚拟显示的垂直滚动条中的垂直移动条、或者位于所述虚拟显示的水平滚动条中的水平移动条中的一个的交点，并且响应于在所述控制器的所述触摸表面上的触摸输入而将所述锚点设置在所检测的交点处；响应于在所述触摸表面上的拖动输入而滚览与所述虚拟对象相关联的所述多个虚拟特征，显示在所述虚拟显示上的所述多个虚拟特征在与所述控制器的所述触摸表面上的所述拖动输入的方向相对应的方向上从所述锚点滚动；以及响应于在所述控制器的所述触摸表面上的所述触摸和所述拖动输入的检测到的释放而终止所述滚览。9.根据权利要求3所述的方法，其中，基于一组先前定义的规则来确定是忽略所述第二输入还是响应于所述第二输入而在所述虚拟环境中执行动作包括：当所述控制器的物理移动处于先前定义的范围内时忽略所述第二输入；以及当所述控制器的物理移动延伸超出所述先前定义的范围时，响应于所述第二输入而在所述虚拟环境中执行所述动作。10.根据权利要求3所述的方法，其中，响应于所述第一输入而调整与所述虚拟对象的所述虚拟显示相关联的所述多个虚拟特征的布置包括：响应于所述第一输入而在与所述控制器的所述触摸表面上的所述触...

【专利技术属性】
技术研发人员：戴维·迪尔曼，春·亚特·弗兰克·李，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US