在增强和/或虚拟现实环境中利用六自由度控制器操纵虚拟对象制造技术

提供了一种系统，用于在增强现实(AR)环境和/或虚拟现实(VR)环境中组合来自多个6DOF控制器的六自由度(6DOF)输入或定位和定向输入。响应于检测到的多个控制器的移动，特别是在虚拟现实环境中提供用户输入的多个控制器的旋转移动，可以将检测到的多个控制器的移动解析到单个公共坐标系以确定要应用于虚拟环境中的选择虚拟对象的预期输入。将来自多个6DOF控制器的这些输入解析到公共坐标系的能力可以提供更自然的用户输入模式，从而增强用户的体验。

【技术实现步骤摘要】
【国外来华专利技术】在增强和/或虚拟现实环境中利用六自由度控制器操纵虚拟对象相关申请的交叉引用本申请是2017年8月17日提交的美国申请序列号No.15/679,597的继续申请并要求其优先权，美国申请No.15/679,597要求2016年8月23日提交的美国临时申请No.62/378,389的优先权，其公开的全部内容通过引用合并与此。本申请要求2016年8月23日提交的美国临时申请No.62/378,389的优先权，其公开的全部内容通过引用合并与此。
本文档一般涉及对增强现实和/或虚拟现实环境中的输入的处理。
技术介绍
增强现实(AR)和/或虚拟现实(VR)系统可以生成三维(3D)沉浸式环境。用户可以通过与各种电子设备的交互来体验增强和/或虚拟现实环境，各种电子设备例如是：头盔或其他头戴式设备，包括用户在观看显示设备时透视的显示器、眼镜或护目镜；外部手持设备，其包括传感器、配有传感器的手套和其他此类电子设备。一旦沉浸在增强和/或虚拟现实环境中，用户可以在虚拟环境中与虚拟环境中的虚拟对象、元素和特征等以不同方式交互，以选择和/或操纵虚拟环境中的虚拟对象。例如，用户可以通过操纵一个或多个外部电子设备、物理移动和/或手势和有向头部和/或眼睛凝视等在虚拟环境中生成期望的效果，以与之交互、个性化和控制虚拟环境。
技术实现思路
在一个方面，一种方法可以包括：生成三维(3D)虚拟环境；跟踪物理环境中第一控制器的六自由度(6DOF)定位和定向；跟踪物理环境中第二控制器的6DOF定位和定向；检测对所述虚拟环境中显示的虚拟对象的选择；基于所检测到的所述物理环境中所述第一控制器相对于第一坐标系的移动和所检测到的所述物理环境中所述第二控制器相对于第二坐标系的移动，检测针对所选择的虚拟对象为目标的输入；将所检测到的所述第一控制器相对于所述第一坐标系的移动和所检测到的所述第二控制器相对于所述第二坐标系的移动解析为相对于公共坐标系的命令移动；以及响应于所述命令移动而操纵所选择的虚拟对象。在另一方面，一种方法可以包括：检测对虚拟环境中显示的虚拟对象的选择；响应于所检测到的第一控制器相对于第一坐标系的移动以及所检测到的第二控制器相对于第二坐标系的移动，检测针对所述虚拟环境中显示的所选择的虚拟对象为目标的输入，所述第一控制器和所述第二控制器在物理环境中运行；将所检测到的所述第一控制器的移动和所检测到的所述第二控制器的移动解析为相对于公共坐标系的命令移动；以及响应于所述命令移动，在所述虚拟环境中旋转所选择的虚拟对象。在另一方面，一种计算机程序产品可以实现在非暂时性计算机可读介质上，该计算机可读介质上存储有指令序列。所述指令在由处理器执行时可以使处理器执行方法，该方法包括：生成三维(3D)虚拟环境；跟踪物理环境中第一控制器的六自由度(6DOF)定位和定向；跟踪物理环境中第二控制器的6DOF定位和定向；检测对所述虚拟环境中显示的虚拟对象的选择；基于所检测到的所述物理环境中所述第一控制器相对于第一坐标系的移动和所检测到的所述物理环境中所述第二控制器相对于第二坐标系的移动，检测针对所选择的虚拟对象为目标的输入；将所检测到的所述第一控制器相对于所述第一坐标系的移动和所检测到的所述第二控制器相对于所述第二坐标系的移动解析为相对于公共坐标系的命令移动；以及响应于所述命令移动而操纵所选择的虚拟对象。在以下附图和描述中阐述了一个或多个实施方式的细节。根据说明书和附图以及权利要求，其他特征将是显而易见的。附图说明图1是根据本文描述的实施方式的包括头戴式显示器(HMD)设备和手持电子设备的虚拟现实系统的示例实施方式。图2示出了根据本文描述的实施方式的在增强和/或虚拟现实环境中运行的多个六自由度(6DOF)控制器的相应坐标系。图3-9示出了根据本文描述的实施方式的增强和/或虚拟现实环境中的多个6DOF控制器的示例性移动以及虚拟对象的对应移动。图10A-10D示出了根据本文描述的实施方式的在增强现实和/或虚拟现实环境中的操纵所选虚拟对象时使用多个6DOF控制器的示例实施方式。图11A和11B是根据本文描述的实施方式的示例HMD的透视图。图12是根据本文描述的实施方式的增强和/或虚拟现实系统的框图。图13是根据本文描述的实施方式的方法的流程图。图14示出了可用于实现本文描述的技术的计算机设备和移动计算机设备的示例。具体实施方式佩戴例如头戴式显示器(HMD)设备的沉浸在虚拟环境中的用户可以探索虚拟环境，并且可以通过各种不同类型的输入与虚拟环境中的虚拟对象、元素和特征等交互。这些输入可以包括例如与HMD分离的电子设备的操纵和/或HMD本身的操纵和/或眼睛有向注视和/或头部移动和/或手/臂姿势等。用户可以操纵可操作地耦合到HMD或与HMD配对的一个或多个手持电子设备或控制器，以在虚拟环境中引起期望的动作。用户可以以各种不同的方式操纵控制器，例如，对于控制器的触摸表面的触摸输入、控制器上的输入按钮和/或开关的操纵和控制器本身的物理移动等，以提供要在虚拟环境中实现的输入。例如，在一些实施方式中，可以操纵控制器以调整在虚拟环境中向用户显示的虚拟内容的视觉大小和/或外观和/或定位。该功能可以提供在提供用户输入上的灵活性和便利性，并且可以增强用户的虚拟体验。在一种系统和方法中，根据本文描述的实施方式，多个控制器的移动，尤其是在虚拟现实环境中提供用户输入的多个控制器的旋转，可以被解析为单个坐标系以确定用于相对于特定虚拟对象的实施方式的预期者。在下文中，仅为了便于讨论和说明，将用于在增强和/或虚拟现实环境中进行交互的一个或多个手持电子设备将被称为控制器。然而，这里描述的原理可以应用于其他类型的外部电子设备，其可以用于与呈现给用户以在增强和/或虚拟现实环境中进行交互的虚拟对象和虚拟特征等交互。在图1中所示的示例实施方式中，佩戴HMD100的用户一只手握住第一便携式手持电子设备A或第一控制器A，另一只手握住第二便携式手持电子设备B或第二控制器B。控制器A、B中的一个或两个可以是例如滑轮鼠标、智能电话、配置用于与特定系统一起操作的控制器或可以与HMD100配对并与之通信以用于在由HMD100产生的沉浸式虚拟环境中的交互的其他类型的控制器。在一些实施方式中，可以基于控制器A、B中包括的各种传感器来跟踪控制器A、B的6DOF定位和定向。这些传感器可以包括例如一种惯性测量单元，其包括例如象在陀螺仪中那样的加速度计、陀螺仪和磁力计等或者以这种方式适配的智能电话。在一些实施方式中，可以基于由系统中的其他传感器检测到的相应控制器A、B的定位来跟踪控制器A、B的6DOF定位和定向。这些其他传感器可以包括例如包括在HMD100上的图像传感器，以及包括在控制器A、B中的定向传感器。控制器A、B可以通过例如有线连接和无线连接(例如，wifi或蓝牙连接)等可操作地与HMD100耦合或配对，以提供控制器A、B和HMD200之间的数据的交换和通信。HMD和控制器A、B之间的这种连接可以允许用户通过操纵控制器A、B中的一个或两个来在由HMD200生成的虚拟环境中进行交互。即，控制器A、B中的一个或两个的操纵，例如，在控制器A、B的触摸表面上接收的物理移动和/或输入，或由用户引导在虚拟环境中的虚拟对象处的由控制器A、B发出的虚本文档来自技高网...

【技术保护点】
1.一种方法，包括：生成三维(3D)虚拟环境；跟踪物理环境中第一控制器的六自由度(6DOF)定位和定向；跟踪所述物理环境中第二控制器的6DOF定位和定向；检测对所述虚拟环境中显示的虚拟对象的选择；基于所检测到的所述物理环境中所述第一控制器相对于第一坐标系的移动和所检测到的所述物理环境中所述第二控制器相对于第二坐标系的移动，检测针对所选择的虚拟对象为目标的输入；将所检测到的所述第一控制器相对于所述第一坐标系的移动和所检测到的所述第二控制器相对于所述第二坐标系的移动解析为相对于公共坐标系的命令移动；以及响应于所述命令移动而操纵所选择的虚拟对象。

【技术特征摘要】
【国外来华专利技术】2016.08.23 US 62/378,370;2017.08.17 US 15/679,5971.一种方法，包括：生成三维(3D)虚拟环境；跟踪物理环境中第一控制器的六自由度(6DOF)定位和定向；跟踪所述物理环境中第二控制器的6DOF定位和定向；检测对所述虚拟环境中显示的虚拟对象的选择；基于所检测到的所述物理环境中所述第一控制器相对于第一坐标系的移动和所检测到的所述物理环境中所述第二控制器相对于第二坐标系的移动，检测针对所选择的虚拟对象为目标的输入；将所检测到的所述第一控制器相对于所述第一坐标系的移动和所检测到的所述第二控制器相对于所述第二坐标系的移动解析为相对于公共坐标系的命令移动；以及响应于所述命令移动而操纵所选择的虚拟对象。2.根据权利要求1所述的方法，其中，将所检测到的所述第一控制器相对于所述第一坐标系的移动和所检测到的所述第二控制器相对于所述第二坐标系的移动解析为相对于公共坐标系的命令移动包括：定义所述公共坐标系的第一轴，所述第一轴从所述第一控制器的中心部分向所述第二控制器的中心部分延伸；定义所述公共坐标系的第二轴，所述第二轴选自所述第一坐标系的X轴、Y轴或Z轴中的一个；以及定义所述公共坐标系的第三轴，所述第三轴是所述第一轴和所述第二轴的叉积。3.根据权利要求2所述的方法，其中，定义所述公共坐标系的所述第二轴包括：确定所述第一坐标系的所述X轴、所述Y轴或所述Z轴中的哪一个与所述第一轴最正交；以及将所述X轴、所述Y轴或所述Z轴中的最正交者设置为所述公共坐标系的所述第二轴。4.根据权利要求3所述的方法，其中，定义所述第一轴包括：在所述第一控制器和所述第二控制器在所述物理环境中并且相应地相对于所述虚拟环境移动时，在序列的时间点处动态地重新定义所述第一轴。5.根据权利要求4所述的方法，其中，定义所述第二轴包括：在所述第一控制器和所述第二控制器在所述物理环境中并且相应地相对于所述虚拟环境移动时并且当动态地重新定义所述第一轴时，在序列的时间点处动态地重新定义所述第二轴。6.根据权利要求5所述的方法，其中，定义所述第三轴包括：在所述第一控制器和所述第二控制器在所述物理环境中并且相应地相对于所述虚拟环境移动时并且当动态地重新定义所述第一轴和所述第二轴时，在序列的时间点处动态地重新定义所述第三轴。7.根据权利要求2所述的方法，其中，基于所检测到的所述第一控制器相对于所述第一坐标系的移动和所检测到的所述第二控制器相对于所述第二坐标系的移动来检测针对所选择的虚拟对象为目标的输入包括以下中的至少一个：检测所述第一控制器绕所述第一坐标系的所述X轴、所述Y轴或所述Z轴中的至少一个的旋转移动；或者检测所述第二控制器绕所述第二坐标系的X轴、Y轴或Z轴中的至少一个的旋转移动。8.根据权利要求7所述的方法，其中，将所检测到的所述第一控制器相对于所述第一坐标系的移动和所检测到的所述第二控制器相对于所述第二坐标系的移动解析为相对于所述公共坐标系的所述命令移动包括：基于所检测到的所述第一控制器的旋转移动或所检测到的所述第二控制器的移动中的至少一个，确定相对于所述公共坐标系的旋转命令移动；以及将所述旋转命令移动应用于所选择的虚拟对象的所述操纵。9.根据权利要求2所述的方法，其中，基于所检测到的所述第一控制器相对于所述第一坐标系的移动和所检测到的所述第二控制器相对于所述第二坐标系的移动来检测针对所选择的虚拟对象为目标的输入包括以下中的至少一个：检测所述第一控制器相对于所述第一坐标系的所述X轴、所述Y轴或所述Z轴中的至少一个以及相对于所述第二控制器的定位的移动；或者检测所述第二控制器相对于所述第二坐标系的X轴、Y轴或Z轴中的至少一个以及相对于所述第一控制器的定位的移动。10.根据权利要求9所述的方法，其中，将所检测到的所述第一控制器相对于所述第一坐标系的移动和所检测到的所述第二控制器相对于所述第二坐标系的移动解析为相对于所述公共坐标系的所述命令移动包括：基于所检测到的所述第一控制器的移动或所检测到的所述第二控制器的移动中的至少一个，确定相对于所述公共坐标系的选择移动方向和选择移动量；以及将在所述选择移动方向上的所述选择移动量应用于所选择的虚拟对象的所述操纵。11.根据权利要求1所述的方法，其中，生成所述3D虚拟环境包括在头戴式显示器(HMD)设备的显示器上显示所述虚拟环境，所述第一控制器和所述第二控制器是与所述HMD可操作地耦合的手持式控制器，使得所述物理环境中所述第一控制器和所述第二控制器的物理移动与要相对于在所述虚拟环境中显示的所选择的虚拟对象执行的用户命令相对应。12.一种方法，包括：检测对虚拟环境中显示的虚拟对象的选择；响应于所检测到的第一控制器相对于第一坐标系的移动以及所检测到的第二控制器相对于第二坐标系的移动，检测针对所述虚拟环境中显示的所选择的虚拟对象为目标的输入，所述第一控制器...

【专利技术属性】
技术研发人员：托尼·考巴亚史，保罗·杜布瓦，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US