用于在虚拟现实中跟踪手持式设备的系统技术方案

一种用于在由诸如头戴式显示器的第二电子设备生成的虚拟现实环境中跟踪诸如手持智能电话的第一电子设备的系统可以包括：由包括在第一电子设备或第二电子设备之一中的相机，检测包括在第一电子设备或第二电子设备中的另一个上的至少一个视觉标记。在与视觉标记的已知特征相对应的视场内检测到的特征可以用于定位和跟踪第一电子设备相对于第二电子设备的移动，使得第二电子设备的移动可以被转换为在由第二电子设备生成的虚拟体验中的交互。

A system for tracking handheld devices in virtual reality

A tracking system such as smart phone first electronic device in a virtual reality environment generated by the second electronic devices such as head mounted display in may include: by including one of the first electronic equipment or electronic equipment in second camera detection includes at least one visual marking another on the first electronic second equipment or in electronic equipment. The characteristics of the corresponding known characteristics and visual markers within the field of view can be detected for positioning and tracking of the first electronic device moves relative to the second electronic equipment, the mobile electronic device second can be converted to the interaction in the virtual experience generated by electronic equipment in second.

【技术实现步骤摘要】
【国外来华专利技术】用于在虚拟现实中跟踪手持式设备的系统相关申请的交叉引用本申请是于2016年6月27日提交的美国申请No.15/193,777的继续申请并要求其优先权，其要求于2015年7月7日提交的美国申请No.62/189,292的优先权，其公开内容整体并入本文。本申请要求于2015年7月7日提交的美国申请No.62/189,292的优先权，其公开内容整体并入本文。
此文档大体涉及增强现实和/或虚拟现实环境中的电子设备的检测和跟踪。
技术介绍
增强现实(AR)和/或虚拟现实(VR)系统可以生成三维(3D)沉浸式虚拟环境。用户可以通过与各种电子设备——诸如例如头盔或其他头戴式设备——的交互来体验该虚拟环境，所述头盔或其他头戴式设备包括用户在查看显示设备时观看的显示器、眼镜或护目镜、具有传感器的手套、包括传感器的外部手持式设备、以及其他这样的电子设备。一旦沉浸在虚拟环境中，与虚拟环境的用户交互可以采取各种形式，诸如例如电子设备的用以与虚拟环境进行交互、对其进行个性化和控制的物理移动和/或操纵。
技术实现思路
在一个方面，一种方法可以包括，将第一电子设备与第二电子设备可操作地耦合，使得所述第一电子设备和所述第二电子设备在周围环境中操作时彼此通信，所述第二设备被配置为在所述周围环境中操作同时生成和显示虚拟环境；由所述第一电子设备或所述第二电子设备中的一个的传感器检测所述第一电子设备或所述第二电子设备中的另一个上的至少一个视觉标记；基于在所述至少一个视觉标记中检测到的特征来检测和跟踪在所述周围环境中的所述第一电子设备的移动；以及将所述周围环境中的所述第一电子设备的所检测和跟踪的移动转换为所述虚拟环境中的对应动作。因此，该方法例如提供了这样的效果，即，在周围环境中的第一电子设备的移动可以被用户体验为在由第二电子设备提供的虚拟环境中的对应动作，例如交互和/或移动。在另一方面，一种系统可以包括手持式电子设备，其包括光学传感器和处理器，所述手持式电子设备被配置为与头戴式电子设备可操作地耦合，所述头戴式电子设备在壳体的外部表面上具有多个视觉标记，其中，所述手持式电子设备被配置为基于由所述手持式电子设备的光学传感器捕获的图像和所捕获的图像中的预定特征的识别来确定所述手持式电子设备相对于所述头戴式电子设备的位置和移动，所述预定特征对应于多个视觉标记。在附图和下面的描述中阐述了一个或多个实施方式的细节。其他特征根据描述和附图以及权利要求书中将显而易见。附图说明图1是根据本文所述的实施方式的包括头戴式显示器和手持式电子设备的虚拟现实系统的示例。图2A和图2B是根据本文所述的实施方式的示例头戴式显示器的透视图。根据本文所述的实现方式,图3A是包括视觉标记的示例头戴式显示器的前透视图，并且图3B是包括视觉标记的示例头戴式显示器的后透视图，并且图3C示出了可以包括在视觉标记中的图案的示例。根据本文所述的实施方式，图3D是包括视觉标记的示例头戴式显示器的前透视图，并且图3E是包括视觉标记的示例头戴式显示器的后透视图。图4是根据本文所述的实施方式的头戴显示器和手持式电子设备的框图。图5是根据本文所述的实施方式的在增强现实和/或虚拟现实环境中跟踪手持式电子设备的方法的流程图。根据本文所述的实施方式，图6A和图6B是包括视觉标记的手持式电子设备的前视图，并且图6C是配置成发射红外跟踪标记的手持式电子设备的前视图。图7是根据本文所述的实施方式的在虚拟环境中跟踪手持式设备的方法的流程图。图8示出了可以用于实现本文描述的技术的计算机设备和移动计算机设备的示例。具体实施方式穿戴例如头戴式显示器(HMD)设备浸入在3D虚拟环境中的用户可以通过例如物理交互(诸如例如，手/手臂姿势、头部移动、行走等)来探索虚拟环境并与虚拟环境中的虚拟对象、特征等进行交互和/或操纵HMD和/或单独的电子设备以体验虚拟环境。例如，在一些实施方式中，HMD可以与手持式电子设备配对，该手持式电子设备诸如例如控制器、陀螺仪鼠标、智能电话或其他这样的手持式电子设备。与HMD配对的手持式电子设备的用户操纵可以允许用户与由HMD生成的虚拟环境进行交互。在图1所示的示例实施方式中，穿戴HMD100的用户在他的手142中持有便携式手持式电子设备102，诸如例如控制器、陀螺仪鼠标、智能电话等。在如图1所示的示例中，用户右手持有智能电话102。然而，用户也可以用他的左手或者用他的左手和右手二者持有设备102，并仍然与由HMD100生成的沉浸式虚拟体验交互。图2A和图2B是示例HMD的透视图，诸如例如图1中的用户佩戴的HMD100，以生成用户将体验的增强环境和/或虚拟环境。HMD100可以包括其中可以容纳光学组件的壳体110。壳体110可以例如可旋转耦合地和/或可移除地附接到框架120，框架120允许壳体110被安装或佩戴在使用者的头部上。音频输出设备130还可以耦合到框架120，并且可以包括例如安装在耳机中并耦合在框架120上的扬声器。在图2B中，壳体110的前面110a从壳体110的基部110b旋转离开，使得容纳在壳体110中的一些组件可见。显示器140可以安装在壳体110的前面110a上。镜片150可以安装在壳体110中，当前面110a处于接触壳体110的基部110b的关闭位置时，镜片150处于使用者的眼睛和显示器140之间。镜片150的位置可以与用户眼睛的相应光轴对准，以提供相对宽的视场和相对短的焦距。HMD100还可以包括：感测系统160——其包括各种感测系统设备，和控制系统170——其包括用于促进HMD100的操作的各种控制系统设备。控制系统170还可以包括可操作地耦合到控制系统170的组件的处理器190。在一些实施方式中，HMD100还可以包括相机180，其可捕获HMD100之外的环境的静止图像和移动图像。例如，在一些实施方式中，相机180可捕获例如手持式电子设备102或其他位置上的跟踪标记的图像。由相机180捕获的跟踪标记的图像可由HMD100辨识和处理，以确定在该空间中手持式电子设备102的位置和移动，和/或HMD100的位置和/或移动。在一些实施方式中，相机180可以包括例如红外(IR)照明器和红外传感器，以捕获由IR照明器照明的指示符的图像。在一些实施方式中，相机180可以包括例如深度传感器，该深度传感器可以确定从HMD100上的相机180到例如持有电子设备102的用户的手142的距离。在一些实施方式中，相机180可捕获现实世界或周围环境的静止图像和移动图像。相机180捕获的图像可以以通过模式在显示器140上显示给用户，允许用户临时离开虚拟世界并返回到真实世界而无需移除HMD100或以其他方式改变HMD的配置100以将壳体110移动到用户的视线之外。在一些实施方式中，HMD100还可以包括例如在HMD100的外表面上的一个或多个识别标记115。一个或多个标记115可以例如包括在HMD100的壳体110的一个或多个外表面上，使得标记115可以由手持式电子设备102检测。例如，在一些实施方式中，HMD100上的标记115可以在手持式电子设备102的图像传感器和/或光学传感器和/或光传感器——诸如例如由用户持有的手持式电子设备102的面向前面的(frontfacing)相机103——的本文档来自技高网...

【技术保护点】
一种方法，包括：将第一电子设备与第二电子设备可操作地耦合，使得所述第一电子设备和所述第二电子设备在周围环境中操作时彼此通信，所述第二设备被配置为在所述周围环境中操作同时生成和显示虚拟环境；由所述第一电子设备或所述第二电子设备中的一个的传感器检测所述第一电子设备或所述第二电子设备中的另一个上的至少一个视觉标记；基于在所述至少一个视觉标记中检测到的特征来检测和跟踪在所述周围环境中的所述第一电子设备的移动；以及将所述周围环境中的所述第一电子设备的所检测和跟踪的移动转换为所述虚拟环境中的对应动作。

【技术特征摘要】
【国外来华专利技术】2015.07.07 US 62/189,292;2016.06.27 US 15/193,7771.一种方法，包括：将第一电子设备与第二电子设备可操作地耦合，使得所述第一电子设备和所述第二电子设备在周围环境中操作时彼此通信，所述第二设备被配置为在所述周围环境中操作同时生成和显示虚拟环境；由所述第一电子设备或所述第二电子设备中的一个的传感器检测所述第一电子设备或所述第二电子设备中的另一个上的至少一个视觉标记；基于在所述至少一个视觉标记中检测到的特征来检测和跟踪在所述周围环境中的所述第一电子设备的移动；以及将所述周围环境中的所述第一电子设备的所检测和跟踪的移动转换为所述虚拟环境中的对应动作。2.根据权利要求1所述的方法，其中，检测至少一个视觉标记以及检测和跟踪在所述周围环境中的所述第一电子设备的移动包括：使用所述第一电子设备的光学传感器来收集光学数据，所述光学数据包括所述第二电子设备的图像；扫描所收集的光学数据并检测所扫描的光学数据中的多个预定特征；将所检测到的多个预定特征与所述第二电子设备上的至少一个视觉标记的已知图像进行比较；基于所述多个预定特征的检测来识别所收集的光学数据中的所述至少一个视觉标记；以及基于所识别的至少一个视觉标记来确定所述第二电子设备相对于所述第一电子设备的位置。3.根据权利要求2所述的方法，其中，所检测的多个预定特征包括多个角或多个边中的至少一个的不规则图案，并且其中，将所检测到的多个预定特征与所述至少一个视觉标记的已知图像进行比较，并且识别所收集的光学数据中的所述至少一个视觉标记包括：将所检测到的多个预定特征的所述不规则图案的取向与所述至少一个视觉标记的所述已知图像中的对应的多个特征的取向进行比较；以及基于所述比较来确定所述第二电子设备相对于所述第一电子设备的位置和取向。4.根据权利要求3所述的方法，其中，使用所述第一电子设备的光学传感器收集光学数据包括：使用所述第一电子设备的红外传感器，利用由红外照明器提供的照明来捕获所述第二电子设备的图像，所述至少一个视觉标记包括所述第一电子设备上的红外图案，所述红外图案在被所述红外照明器照明时仅对所述红外传感器可见。5.根据权利要求2所述的方法，其中，检测至少一个视觉标记以及检测和跟踪在所述周围环境中的所述第一电子设备的移动还包括：对所述第二电子设备的位置采取逆变换并确定所述第一电子设备相对于所述第二电子设备的位置；将所述第一电子设备的当前位置与所述第一电子设备的先前位置进行比较以跟踪所述第一电子设备的移动。6.根据权利要求5所述的方法，其中，所述第一电子设备是手持式控制器，并且所述第二电子设备是头戴式显示设备，并且其中，所述光学传感器是所述手持式控制器的面向前面的相机，并且所述至少一个视觉标记包括在所述头戴式显示设备的第一表面上的第一二维条形码和所述头戴式显示设备的第二表面上的第二二维条形码。7.根据权利要求1所述的方法，其中，检测至少一个视觉标记以及检测和跟踪在所述周围环境中的所述第一电子设备的移动包括：使用所述第二电子设备的光学传感器收集图像数据，所述光学数据包括所述第一电子设备的图像；扫描所收集的光学数据并检测所扫描的光学数据中的多个预定特征；将所检测到的多个预定特征与所述第二电子设备上的至少一个视觉标记的已知图像进行比较；识别所收集的光学数据中的至少一个视觉标记；基于所述多个预定特征的检测，基于所识别的至少一个视觉标记来确定所述第一电子设备相对于所述第二电子设备的位置；以及将所述第一电子设备的当前位置与所述第一电子设备的先前位置进行比较以跟踪所述第一电子设备的移动。8.根据权利要求7所述的方法，其中，所检测到的多个预定特征包括多个角或多个边中的至少一个的不规则图案，并且其中，将所检测到的多个预定特征与所述至少一个视觉标记的已知图像进行比较并且在所收集的光学数据中识别所述至少一个视觉标记包括：将所检测到的多个预定特征的所述不规则图案的取向与所述至少一个视觉标记的所述已知图像中的对应的多个特征的取向进行比较；以及基...

【专利技术属性】
技术研发人员：陈世琦，徐兆阳，亚历山大·詹姆斯·法堡，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US