用于增强和虚拟现实的系统与方法技术方案

一个实施例针对使两个或更多用户能在包括虚拟世界数据的虚拟世界中交互的系统，该系统包括计算机网络，所述计算机网络包括一个或多个计算设备，所述一个或多个计算设备包括存储器、处理电路和至少存储于所述存储器的一部分上并可由所述处理电路执行以处理所述虚拟世界数据的至少一部分的软件；其中所述虚拟世界数据的至少第一部分源自第一用户本地的第一虚拟世界，并且其中所述计算机网络可操作以传送第一部分至用户设备以用于向第二用户展示，以使得第二用户可从第二用户的位置体验第一部分，以使得第一用户虚拟世界的多个方面可被有效地传至第二用户。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术一般地涉及被配置以有助于用于一个或多个用户的交互式虚拟或增强现实环境的系统与方法。
技术介绍
虚拟和增强现实环境由计算机在部分地使用描述环境的数据生成。该数据可描述，例如，用户可感知并与之交互的多种对象。这些对象的示例包括被渲染和展示以使用户可看见的对象、被播放以让用户可听到的声音、以及让用户感觉到的触觉(或触感)的反馈。通过各种虚拟的、听觉的和触觉的方法，用户可感知虚拟和增强现实环境并与之交互。
技术实现思路
本专利技术的实施例针对有助于用于一个或多个用户的虚拟现实和/或增强现实交互的设备、系统和方法。—个实施例针对用户显示设备，所述用户显示设备包括安装于用户头上的外壳框架、耦合至所述外壳框架以追踪所述用户眼睛运动并基于所述被追踪的眼睛运动估计焦点的深度的第一对摄像机、具有光线生成机制的投影模块，其基于被估计的焦点的深度生成和修改与显示对象相关的映射光线以使得该显示对象在焦点出现、安装在所述外壳框架上的透镜，以及通信地耦合至所述投影模块以将与显示图像相关的数据传递至投影模块的处理器。所述透镜可包括被放置于用户眼睛前方以将被投影的光反射至用户眼睛中的至少一个透镜。所述至少一个透镜可选择性地允许来自本地环境的光的透射。用户显示设备可进一步包括安装在外壳框架上以捕捉与第二对摄像机中的每一个摄像机对应的眼睛的视野图像的第二对摄像机。基于被捕捉的视野图像，所述处理器可计算用户的头部姿态。投影模块可包括激光扫描装置以基于被估计的焦点的深度修改与所述显示对象相关的投影光束。所述投影光束的直径可小于0.7毫米。在一个实施例中，第一对摄像机可包括与红外光源配对的红外摄像机以追踪用户的眼睛中的每一个眼睛的运动。用户显示设备可进一步包括传感器组件，所述传感器组件包括至少一个传感器以感知用户的运动、位置、方向和朝向中的至少一个。所述至少一个传感器可为加速计、罗盘或陀螺仪。基于所述用户的运动、所述用户的位置、所述用户的方向和所述用户的朝向中的至少一个，所述处理器可估计用户的头部姿态。所述用户显示设备可包括GPS系统。所述用户显示设备可进一步包括通信地耦合至所述投影模块以提供触觉反馈的触觉接口设备。20.所述用户显示设备可进一步包括环境感知系统以数字化地重构所述用户的环境。所述处理器可通信地耦合至计算机网络以传输虚拟世界数据的至少一部分，并且接收所述虚拟世界数据的另一部分。所述用户显示设备可包括安装在头部框架的扬声器模块以输出声音。所述用户显示设备可进一步包括安装在外壳框架上的麦克风以捕捉用户本地的声音。所述投影模块可修改与另一对象相关的另一投影光线以使得该其他对象出现模糊，其中所述另一对象不是所述显示对象。所述处理器可以以每秒至少60帧的速率渲染所述显示对象的帧。所述显示对象可为虚拟对象、已渲染物理对象、图像和视频中的至少一个。在另一实施例中，所述方法包括追踪用户眼睛的运动，基于被追踪的眼睛运动估计所述用户眼睛的焦点的深度，基于被估计焦点的深度修改与显示对象相关的光束以使得所述显示对象出现在焦点，以及将被修改的光束投影至所述用户眼睛中。被投影至用户眼睛的投影光束的直径可小于0.7毫米。所述方法可进一步包括基于所述显示对象的可视化模式，选择性地允许来自用户的本地环境的光线透射。所述可视化模式可以是增强现实模式、虚拟现实模式以及增强和虚拟现实模式的组合中的一个。所述方法可进一步包括捕捉所述用户的每个眼睛的视野图像。所述被捕捉的视野图像可被用以估计所述用户的头部姿态。被捕捉的视野图像可被用于将至少一个物理对象转换为物理清染(physically rendered)的虚拟对象，并且向所述用户显示该物理清染的虚拟对象。所述方法可进一步包括从被捕捉的视野图像中提取点集，并且基于被提取的点集为所述被捕捉的视野图像中的至少一个物理对象创建基准(fiducial)。所述方法可进一步包括传送被提取的点集和被创建的基准中的至少一个至云计算机，以及将被提取的点集和被创建的基准中的至少一个标记为一种对象类型。所述方法可进一步包括基于与所述对象类型相关的被标记点集和与所述对象类型相关的被标记的被创建基准中的至少一个，识别不同的物理对象属于该对象类型。所述方法可进一步包括感知所述用户的运动、所述用户的位置、所述用户的方向和所述用户的朝向中的一个，以及基于被感知的运动、被感知的位置、被感知的方向和被感知的朝向中的至少一个计算所述用户的姿态。所述传感器可为加速计、罗盘和陀螺仪中的至少一个。所述方法可进一步包括处理与所述显示对象相关的虚拟世界数据至云网络，以及传送与该显示对象相关的虚拟世界数据的至少一部分至位于第二位置的第二用户以使得第二用户可在第二位置体验与该显示对象相关的虚拟世界数据的至少一部分。所述方法可进一步包括感知物理对象，以及基于与被感知的物理对象的预先确定的关系，修改与所述显示对象相关的虚拟世界数据的至少一部分。所述方法进一步包括向第二用户呈现被修改的虚拟世界数据。所述方法可进一步包括修改与另一对象相关的另一光线以使得该其他对象出现模糊，其中所述另一对象不是所述显示对象。所述方法可进一步包括通过用户接口接收用户输入，以及基于接收的用户输入修改所述显示对象。所述用户接口可为触觉接口设备、键盘、鼠标、控制杆、运动捕捉控制器、光学追踪设备和音频输入设备中的至少一个。所述显示对象可为虚拟对象、被渲染物理对象、图像和视频中的至少一个。在另一实施例中，方法包括通过头戴式用户显示设备与包括虚拟世界数据的虚拟世界交互，其中所述头戴式用户显示设备基于被估计的用户眼睛的焦点的深度向用户渲染与所述虚拟世界数据的至少一部分相关的显示图像，创建源自所述头戴式用户设备与所述虚拟世界的交互和与所述用户的物理环境的交互中的至少一个的附加虚拟世界数据，以及传送所述附加虚拟世界数据至计算机网络。所述虚拟世界可被以二维的形式或三维的形式呈现。所述方法可进一步包括为了展示，传送所述附加虚拟世界数据至位于第二位置的第二用户以使得第二用户可从第二位置体验所述附加虚拟世界数据。所述附加虚拟世界数据可与通过头戴式用户显示设备捕捉的视野图像相关。所述附加虚拟世界数据可与用户的被感知运动、用户的被感知位置、用户被感知的方向和用户被感知朝向中的至少一个相关。所述附加虚拟世界数据可与被所述头戴式用户显示设备感知的物理对象相关。所述附加虚拟世界数据可与与所述被感知的物理对象具有预先确定的关系的显示对象相关。所述方法可进一步包括基于用户输入，选择用于使所述用户和所述头戴式用户显示设备之间能够交互的接口，以及基于被选择的接口，渲染与所述虚拟世界数据的至少一部分相关的显示对象。所述被选择的接口可以是虚拟现实模式、增强现实模式、混合现实模式和虚拟现实和增强现实模式的组合中的一个。在另一实施例中，使两个或更多用户能与包括虚拟世界数据的虚拟世界交互的方法包括通过第一用户显示设备以第一用户的第一可视化模式显示所述虚拟世界，通过计算机网络传送所述虚拟世界数据的至少一部分至第二用户显示器，以及在第二用户的第二用户显示设备中以第二可视化模式显示与所述虚拟世界数据的被传送部分相关的虚拟世界。第一可视化模式可以不同于第二可视化模式。第一可视化模式可以是增强现实模式、虚拟现实模式、混合现实模式以及虚拟现本文档来自技高网...

【技术保护点】
一种用户显示设备，包括：可安装于用户头部的外壳框架；第一对摄像机，其被耦合至所述外壳框架以追踪所述用户的眼睛的运动，并且基于被追踪的眼睛运动估计焦点的深度；投影模块，其具有光线生成机制以基于估计的焦点的深度生成和修改与显示对象相关的投影光线，以使得所述显示对象在焦点出现。透镜，其安装在所述外壳框架上；以及处理器，其被通信地耦合至所述投影模块以向所述投影模块传达与所述显示图像相关的数据。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：S·A·米勒，R·阿伯维茨，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国;US