虚拟现实中的头部、手势和触摸输入的动态切换和合并制造技术

在用于虚拟现实中的头部、手势和触摸输入的动态切换和合并的系统中，响应于实现多个不同输入模式中的一个的第一输入，用户可以选择虚拟对象。一旦被选择，通过第一输入在第一对象上建立焦点的情况下，响应于实现另一个不同输入模式的第二输入，可以在虚拟世界中操纵第一对象。响应于第三输入，可以选择另一对象，并且如果例如第三输入的优先级值高于在第一对象上建立焦点的第一输入的优先级值，则可以响应于第三输入而将焦点从第一对象转移到第二对象。如果第三输入的优先级值小于在第一对象上建立焦点的第一输入的优先级值，则焦点可能保留在第一对象上。响应于某些触发输入，可以在远场显示和近场显示之间转移虚拟对象的显示，以适应与虚拟对象的特定交互模式和操纵。

Dynamic switching and merging of head, gestures, and touch input in virtual reality

In the system of dynamic switching and merging of head, gesture and touch input for virtual reality, users can choose virtual objects in response to the first input of one of a plurality of different input modes. Once selected, we establish the focus on the first object through the first input, and in response to the second input of another different input mode, we can manipulate the first object in the virtual world. In response to the third input, another object can be selected, and if the priority value of third input is higher than the priority value of the first input on the first object, then the focus can be transferred from the first object to the second object in response to the third input. If the priority value of the third input is less than the priority value of the first input of the focus on the first object, the focus may be retained on the first object. In response to some trigger inputs, the display of virtual objects can be transferred between far-field display and near field display to adapt to specific interaction modes and manipulations with virtual objects.

【技术实现步骤摘要】
【国外来华专利技术】虚拟现实中的头部、手势和触摸输入的动态切换和合并相关申请的交叉引用本申请要求2015年8月26日提交的题为“DYNAMICSWITCHINGANDMERGINGOFHEAD,GESTUREANDTOUCHINPUTINVIRTUALREALITY”(“虚拟现实中的头部、手势以及触摸输入的动态切换和合并”)的美国非临时专利申请第14/836,311号的优先权，并且是其继续申请，其公开内容通过引用整体并入本文。
本文通常涉及在沉浸式虚拟现实系统中的输入的处理。
技术介绍
虚拟现实(VR)系统可以产生三维(3D)沉浸式环境。用户可以通过与各种电子设备(例如头盔或其他头戴式设备)的交互来体验该虚拟3D沉浸式环境，所述各种电子设备例如包括用户在观看显示设备时看穿的显示器、眼镜或护目镜的头盔或其他头戴式设备、安装有传感器的手套、包括传感器的外部手持设备和其他这样的电子设备。一旦沉浸在虚拟3D环境中，用户与3D环境的交互就可采取各种形式，例如眼睛注视、头部注视、电子设备的物理移动和/或操纵来与虚拟3D环境进行交互、个性化和控制虚拟3D环境。
技术实现思路
在一个方面，一种方法，可以包括：启动包括多个虚拟对象的沉浸式虚拟体验，所述多个虚拟对象中的每一个是响应于多个输入模式可选择和可操纵的；接收实现所述多个输入模式中的第一输入模式的第一输入；响应于所述第一输入，选择所述多个虚拟对象中的第一虚拟对象；接收实现所述多个输入模式中的第二输入模式的第二输入；比较所述第二输入模式的优先级值和所述第一输入模式的优先级值；以及基于该比较，响应于所述第二输入，释放对所述第一虚拟对象的选择并将选择转移到所述多个虚拟对象中的第二虚拟对象，或维持对所述第一虚拟对象的选择。在另一方面，一种方法，可以包括：启动沉浸式虚拟体验；产生多个虚拟对象的远场显示；接收第一输入；响应于所述第一输入，选择包括所述多个虚拟对象的远场显示；接收第二输入；响应于所述第二输入，使所述多个虚拟对象的外观变形，以用于所述多个虚拟对象的近场显示；产生包括所变形的多个虚拟对象的所述近场显示；接收第三输入；以及响应于所述第三输入选择所变形的多个虚拟对象中的一个。在附图和下面的描述中阐述了一个或多个实现方式的细节。从描述和附图以及权利要求书中，其他特征将是显而易见的。附图说明图1是根据本文宽泛描述的实施例的包括头戴显示器和手持电子设备的虚拟现实系统的示例实现。图2A和2B是根据本文宽泛描述的实施例的示例头戴式显示器的透视图。图3是根据本文宽泛描述的实施例的头戴式电子设备和手持电子设备的框图。图4A-4G示出了根据本文宽泛描述的实施例的用于选择和滚动对象列表的注视和触摸输入。图5A-5D示出了根据本文宽泛描述的实施例的使用图4A-4G所示的注视和触摸输入的滚动场景。图6A-6G示出了根据本文宽泛描述的实施例的用于选择和滚动对象列表的点和触摸输入。图7A-7C示出了根据本文宽泛描述的实施例的图6A-6G所示的点和触摸输入场景中的所选择的对象的释放。图8A-8D示出了根据本文宽泛描述的实施例的用于选择和移动对象的点和触摸输入。图9A-9E示出了根据本文宽泛描述的实施例的用于选择和滚动对象列表的触及(reach)和触摸输入。图10A-10D示出了根据本文宽泛描述的实施例的用于选择和移动对象的释放和触摸输入。图11是根据本文宽泛描述的实施例的在虚拟现实环境中的对象之间设置、释放和转移焦点的方法的流程图。图12A-12F示出了根据本文宽泛描述的实施例的虚拟现实环境中的用户输入模式之间的动态切换。图13是根据本文宽泛描述的实施例的在虚拟现实环境中的用户输入模式之间的动态切换的方法的流程图。图14示出了可以用于实现本文所描述的技术的计算机设备和移动计算机设备的示例。具体实施方式穿戴例如头戴式显示器(HMD)设备沉浸在3D虚拟环境中的用户可以探索3D虚拟环境，并通过各种不同类型的输入与3D虚拟环境交互。这些输入例如可以包括：物理交互，包括例如手/手臂手势、头部移动和/或头部定向注视、眼睛定向注视等；和/或操纵HMD；和/或操纵与HMD分离的电子设备，例如，施加在电子设备的触摸敏感表面上的触摸、电子设备的移动、由电子设备发射的射线或光束等。例如，在一些实现方式中，HMD可以与手持电子设备(例如，智能电话或其他这样的手持电子设备)配对。与HMD配对的手持电子设备的用户操纵可以允许用户与由HMD产生的3D虚拟沉浸式体验进行交互。一些系统可以被配置为检测和跟踪用户的眼睛注视和/或检测用户头部的定向注视，将检测到的眼睛和/或头部注视转换成3D虚拟沉浸式体验中的相应交互。当面对这些多种不同的输入模式(具体地，多个同时输入)时，用于执行多个输入的设置的优先级序列或层次结构可以有助于基于检测到的输入和设置的优先级序列或层次结构，准确地选择对象和/或要在虚拟世界中采取的动作。在图1所示的示例实现方式中，穿戴HMD100的用户在他的手142中握住便携式手持电子设备102，例如智能电话，或者可以与HMD100配对并与其通信的其他便携式手持电子设备，用于在由HMD100产生的沉浸式虚拟体验中的互动。在图1所示的示例中，用户用右手握住手持电子设备102。然而，用户也可以用左手握住手持电子设备102，或者用他的左手和右手握住手持电子设备102，并仍然与由HMD100产生的沉浸式虚拟体验交互。如上所述的手持电子设备102可以经由例如有线连接或例如WiFi或蓝牙连接的无线连接，与HMD100可操作地耦合或配对。手持电子设备102和HMD100的这种配对或可操作的耦合可以提供手持电子设备102与HMD100之间的通信、以及手持电子设备102与HMD100之间的数据交换，使得手持电子设备102可以用作与HMD100通信的控制器，用于在由HMD100产生的虚拟沉浸式体验中进行交互。也就是说，手持电子设备102的操纵，例如在手持电子设备102的触摸表面上接收的输入、或手持电子设备102的移动、或由用户指导的手持电子设备102发射的射线或光束可以被转换成由HMD100产生的虚拟沉浸式体验中的相应的交互或移动。各种不同类型的用户输入可以被转换为由HMD100产生的虚拟沉浸式体验中的这种类型的交互。例如，手持电子设备102的触摸表面上的触摸输入可以对应于虚拟世界中的对象的选择，并且在手持电子设备102的触摸表面上的触摸和拖动、或者触摸然后手持电子设备102自身的移动可以对应于对象的选择和移动。在一些实施例中，由手持电子设备102发射的光束或射线可以指向虚拟世界中的特定对象以选择对象，光束的随后移动导致所选择的对象也移动。在一些实施例中，可以监视和跟踪用户眼睛注视，并且指向虚拟世界中的对象的用户注视可以对应于该对象的选择。在一些实施例中，随后在手持电子设备102的触摸表面上的拖动和/或手持电子设备102本身的移动和/或头部移动和/或手/手臂移动可以引起后续动作，例如，通过眼睛注视所选择的对象的移动。在一些实施例中，可以从头部移动、手/手臂手势、手持电子设备102的移动等检测用户输入，包括对象的初始选择。在启用这些多种输入模式的实现方式中，用于执行多个输入(例如同时接收时)的设置的优先级序列或层次结构可以有助于基于检测到的输入和设置的本文档来自技高网...

【技术保护点】
一种方法，包括：启动包括多个虚拟对象的沉浸式虚拟体验，所述多个虚拟对象中的每一个是响应于多个输入模式可选择和可操纵的；接收实现所述多个输入模式中的第一输入模式的第一输入；响应于所述第一输入，选择所述多个虚拟对象中的第一虚拟对象；接收实现所述多个输入模式中的第二输入模式的第二输入；比较所述第二输入模式的优先级值和所述第一输入模式的优先级值；以及基于该比较，响应于所述第二输入，释放对所述第一虚拟对象的选择并将选择转移到所述多个虚拟对象中的第二虚拟对象，或维持对所述第一虚拟对象的选择。

【技术特征摘要】
【国外来华专利技术】2015.08.26 US 14/836,3111.一种方法，包括：启动包括多个虚拟对象的沉浸式虚拟体验，所述多个虚拟对象中的每一个是响应于多个输入模式可选择和可操纵的；接收实现所述多个输入模式中的第一输入模式的第一输入；响应于所述第一输入，选择所述多个虚拟对象中的第一虚拟对象；接收实现所述多个输入模式中的第二输入模式的第二输入；比较所述第二输入模式的优先级值和所述第一输入模式的优先级值；以及基于该比较，响应于所述第二输入，释放对所述第一虚拟对象的选择并将选择转移到所述多个虚拟对象中的第二虚拟对象，或维持对所述第一虚拟对象的选择。2.根据权利要求1所述的方法，其中响应于所述第二输入而释放对所述第一虚拟对象的选择并将选择转移到第二虚拟对象包括：当所述第二输入的优先级值大于所述第一输入的优先级值时，响应于所述第二输入，释放所述第一虚拟对象的选择并将选择转移到所述第二虚拟对象。3.根据权利要求2所述的方法，还包括当所述第二输入的优先级值小于所述第一输入的优先级值时，维持对所述第一虚拟对象的选择。4.根据权利要求3所述的方法，所述多个输入模式中的每一个具有相关联的优先级值，与所述多个输入模式中的每一个相关联的相应优先级值被预设或由用户根据用户简档设置。5.根据权利要求1所述的方法，其中所述多个输入模式包括头部注视输入模式、眼睛注视输入模式、点输入模式、触及输入模式和手势输入模式中的至少两个。6.根据权利要求1所述的方法，还包括：接收实现所述多个输入模式中的第三输入模式的第三输入；以及响应于所述第三输入来操纵所选择的第一虚拟对象。7.根据权利要求6所述的方法，其中，接收第一输入并选择第一虚拟对象包括：接收指向所述第一虚拟对象的注视输入，以选择所述第一虚拟对象用于操纵。8.根据权利要求7所述的方法，其中接收第三输入包括：在手持电子设备的触摸敏感表面上接收触摸输入；以及响应于触摸输入移动所选择的第一虚拟对象。9.根据权利要求8所述的方法，其中所述手持电子设备的所述触摸敏感表面上的所述触摸输入是触摸和拖动输入，并且其中所选择的对象的移动对应于所述触摸敏感表面上的所述触摸和拖动输入的移动。10.根据权利要求7所述的方法，其中接收指向所述第一虚拟对象的注视输入以选择所述第一虚拟对象包括：在包括第一虚拟对象的所述多个虚拟对象的远场显示中接收注视输入；并且其中接收第三输入包括：接收手势输入；将所述手势输入识别为用于将所述多个虚拟对象从所述远场显示动态切换到近场显示的触发；使所述多个虚拟对象的外观变形，以用于所述多个虚拟对象的所述近场显示；以及在所述近场显示中显示变形的多个虚拟对象。11.根据权利要求10所述的方法，其中使所述多个虚拟对象的外观变形以用于所述多个虚拟对象的近场显示包括：随着所述多个虚拟对象从所述远场显示移动到所述近场显示，减小从用户到所述多个虚拟对象的虚拟距离，以及以下中的至少一个：改变所述多个虚拟对象的大小、改变与所述多个虚拟对象相关联的图像、改变与所述多个虚拟对象相关联的文本、或者改变与所述多个虚拟对象相关联的菜单项。12.根据权利要求11所述的方法，还包括：接收第四输入，所述第四输入包括触及手势，用以选择和操纵在所述近场显示中显示的所述多个虚拟对象中的虚拟对象。13.根据权利要求6所述的方法，其中接收第一输入并选择第一虚拟对象包括：接收指向所述第一虚拟对象的由手持电子设备产生的光束，以选择所述第一虚拟对象用于操纵。14.根据权利要求13所述的方法，其中接收第三输入包括：在手持电子设备的触摸敏感表面上接收触摸输入；沿着所述触摸敏感表面拖动所述触摸输入；以及响应于触摸和拖动输入来移动所选择的第一虚拟对象，所选择的第一虚拟对象的移动与沿着所述手持电子设备的所述触摸敏感表面的所述拖动输入的移动相对应。15.根据权利要求13所述的方法，所述第三输入包括：在手持电子设备的触摸敏感表面上接收触摸输入，以将由所述手持电子设备产生的光束连接在所述手持电子设备和所选择的第一虚拟对象之间；移动所述手持电子设备；响应于所述手持电子设备的移动来移动所选择的第一虚拟对象，所选择的第一虚拟对象的移动对应于所述手持电子设备的移动；从所述手持电子设备的所述触摸敏感表面释放所述触摸输入；以及响应于所述触摸输入的释放来释放所选择的第一虚拟对象，以将所选择的第一虚拟对象重新定位在所述触摸输入的释放点。16.一种方法，包括：启动沉浸式虚拟体验；产生多个虚拟对象的远场显示；接收第一输入；响应于所述第一输入，选择包括所述多个虚拟对象的所述远场显示；接收第二输入；响应于所述第二输入，使所述多个虚拟对象的外观变形，以用于所述多个虚拟对象的近场显示；产生包括所变形的多个虚拟对象的所述近场显示；接收第三输入；以及响应于所述第三输入选择所变形的多个虚拟对象中的一个。17.根据权利要求16所述的方法，其中接收第一输入包括：接收由手持电子设备产生的远场注视输入或远场光束输入，并且接收第二输入包括：接收触发从所述多个虚拟对象的所述远场显示到所变形的多个虚拟对象的所述近场显示的转变的手或手臂手势输入，并且接收第三输入包括：接收从所变形的虚拟对象的所述近场显示选择虚拟对象的近场手部手势或近场触及手势。18.根据权利要求17所述的方法，还包括：接收第四输入；以及响应于所...

【专利技术属性】
技术研发人员：AJ法柏格，MC克莱门特，C麦肯齐，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US