具有世界传感器和用户传感器的显示系统技术方案

本发明专利技术公开了一种混合现实系统，该混合现实系统包括头戴式显示器(HMD)，该HMD提供用虚拟内容增强的用户的环境的3D虚拟视图。该HMD可包括收集有关用户的环境的信息(例如，视频、深度信息、照明信息等)的传感器和收集有关用户的信息(例如，用户的表情、眼睛移动、手势等)的传感器。该传感器将该信息作为输入向控制器提供，该控制器至少部分地基于来自该传感器的输入来渲染包括虚拟内容的帧。该HMD可显示由控制器生成的帧以提供包括虚拟内容的3D虚拟视图和用户环境的视图以供用户查看。

【技术实现步骤摘要】
【国外来华专利技术】具有世界传感器和用户传感器的显示系统
技术介绍
虚拟现实(VR)允许用户体验沉浸式人工环境并且/或者与沉浸式人工环境相互作用，使得用户感觉好像他们实际上处于物理环境中。例如，虚拟现实系统可将立体场景显示给用户以便创建深度错觉，并且计算机可实时调整场景内容，以提供用户在场景内移动的错觉。当用户通过虚拟现实系统查看图像时，从第一人称的角度来看，用户可因此感觉好像他们在场景内移动。类似地，混合现实(MR)将计算机生成的信息(称为虚拟内容)与真实世界图像或真实世界视图相结合，以增强或添加内容到世界的用户视图。因此，虚拟现实的模拟环境和/或增强现实的混合环境可用于为多种应用提供交互式用户体验，诸如将虚拟内容添加到观察者环境的实时视图的应用、与虚拟培训环境进行交互的应用、游戏应用、远程控制无人驾驶飞机或其他机械系统的应用、查看数字媒体内容的应用、与互联网交互的应用等。
技术实现思路
描述了混合现实系统的实施方案，该混合现实系统可包括混合现实设备，诸如头戴式耳机、头盔，护目镜或眼镜(本文中称为头戴式显示器(HMD))，该混合现实设备包括用于向用户的眼睛投射或显示包括左图像和右图像的帧的投影仪机构，从而向用户提供3D虚拟视图。3D虚拟视图可包括用虚拟内容(例如，虚拟对象，虚拟标签等)增强的用户环境的视图。混合现实系统可包括收集有关用户环境的信息(例如，视频、深度信息、照明信息等)的面向世界的传感器，以及收集有关用户的信息(例如，用户的表情、眼睛移动、手势等)的面向用户的传感器。传感器提供该信息作为到混合现实系统的控制器的输入。控制器可至少部分地基于来自世界传感器和用户传感器的输入来渲染包括虚拟内容的帧。该控制器可以集成在HMD中，或替代地可至少部分地由HMD外部的设备实现。HMD可显示由控制器生成的帧以提供包括虚拟内容的3D虚拟视图和用户环境的视图以供用户查看。在一些实施方案中，传感器可包括捕获用户环境的高质量视图的一个或多个摄像机，该高质量视图可用于向用户提供其真实环境的虚拟视图。在一些实施方案中，传感器可包括捕获用于用户环境的深度或范围信息的一个或多个传感器。在一些实施方案中，传感器可包括可捕获有关用户在环境中的位置、取向和运动的信息的一个或多个传感器。在一些实施方案中，传感器可包括捕获用户环境中的照明信息(例如，方向、颜色、强度)的一个或多个摄像机，该照明信息可例如用于在虚拟视图中渲染(例如，着色和/或照明)内容。在一些实施方案中，传感器可包括追踪用户眼睛的位置和移动的一个或多个传感器。在一些实施方案中，传感器可包括追踪用户的手部、手指和/或臂部的位置、移动和姿态的一个或多个传感器。在一些实施方案中，传感器可包括追踪用户的眉毛/前额的表情的一个或多个传感器。在一些实施方案中，传感器可包括追踪用户的口部/颌部的表情的一个或多个传感器。附图说明图1示出了根据至少一些实施方案的混合现实系统。图2A至图2C示出根据至少一些实施方案的头戴式显示器(HMD)的面向世界的传感器和面向用户的传感器。图3为根据至少一些实施方案的用于如图1至图2C所示的混合现实系统的操作方法的流程图。图4示出根据至少一些实施方案的混合现实系统的部件。本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。“包括”。该术语是开放式的。如在所附权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。“被配置为”。各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112的第六段。此外，“被配置为”可包括由软件或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。“第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。“基于”或“取决于”。如本文所用，这些术语用于描述影响确定的一个或多个因素。这些术语不排除可影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B为影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他实例中，可仅基于B来确定A。或者权利要求中使用时，术语“或”用于作为一种包容性的或而不是异或。例如，短语“x、y或z中的至少一个”是指x、y和z中的任何一个以及它们的任何组合。具体实施方式描述了用于为用户生成混合现实视图的方法和设备的各种实施方案。描述了混合现实系统的实施方案，该混合现实系统可包括混合现实装置，诸如头戴式耳机、头盔、护目镜或眼镜(本文中称为头戴式显示器(HMD))，该混合现实设备包括用于向用户的眼睛投射或显示包括左图像和右图像的帧的投影仪机构，从而向用户提供3D虚拟视图。3D虚拟视图可包括用虚拟内容(例如，虚拟对象、虚拟标签等)增强的用户环境的视图。混合现实系统还可包括收集有关用户环境的信息(例如，视频、深度信息、照明信息等)的面向世界的传感器，以及收集有关用户的信息(例如，用户的表情、眼睛运动、手势等)的面向用户的传感器。传感器可向混合现实系统的控制器提供所收集的信息。控制器可至少部分地基于从传感器获得的各种信息来渲染包括虚拟内容的帧以供投影仪显示。如上所述，混合现实系统可包括例如位于混合现实HMD的外表面上的面向世界的传感器(也称为世界传感器)，该面向世界的传感器收集有关用户环境的各种信息。在一些实施方案中，世界传感器可包括一个或多个“视频透视”摄像机(例如，RGB(可见光)摄像机)，该“视频透视”摄像机捕获用户的环境的高质量视图，该高质量视图可用于向用户提供其真实环境的虚拟视图。在一些实施方案中，世界传感器可包括一个或多个世界标测传感器(例如，具有IR照明源的红外(IR)摄像机，或光检测和测距(LIDAR)发射器和接收器/检测器)，该一个或多个世界标测传感器例如捕获用于用户环境的深度或范围信息。在一些实施方案中，世界传感器可包括一个或多个“头部姿势”传感器(例如，IR摄像机或RGB摄像机)，该一个或多个“头部姿势”传感器可捕获有关用户在环境中的位置、取向和本文档来自技高网...

【技术保护点】
1.一种系统，包括：控制器，所述控制器包括一个或多个处理器；和头戴式显示器(HMD)，所述HMD被配置为向用户显示3D虚拟视图，其中所述HMD包括：左显示器和右显示器，所述左显示器和所述右显示器用于向用户的眼睛显示包括左图像和右图像的帧，以向所述用户提供3D虚拟视图；多个传感器，所述多个传感器被配置为收集有关所述用户和所述用户的环境的信息，并向所述控制器提供所述信息，其中所述多个传感器包括：一个或多个摄像机，所述一个或多个摄像机被配置为捕获所述用户的环境的视图；一个或多个世界标测传感器，所述一个或多个世界标测传感器被配置为为在所述环境中的对象确定范围信息；和一个或多个眼睛追踪传感器，所述一个或多个眼睛追踪传感器被配置为追踪所述用户的眼睛的位置和移动；其中所述控制器被配置为渲染用于由所述HMD显示的帧，所述帧包括虚拟内容，所述虚拟内容至少部分地基于来自所述一个或多个世界标测传感器的所述范围信息和所述一个或多个眼睛追踪传感器所追踪的所述用户的眼睛的所述位置和所述移动而被合成到所捕获的所述用户的环境的视图中。

【技术特征摘要】
【国外来华专利技术】2016.09.22 US 62/398,437;2017.09.21 US 15/711,9921.一种系统，包括：控制器，所述控制器包括一个或多个处理器；和头戴式显示器(HMD)，所述HMD被配置为向用户显示3D虚拟视图，其中所述HMD包括：左显示器和右显示器，所述左显示器和所述右显示器用于向用户的眼睛显示包括左图像和右图像的帧，以向所述用户提供3D虚拟视图；多个传感器，所述多个传感器被配置为收集有关所述用户和所述用户的环境的信息，并向所述控制器提供所述信息，其中所述多个传感器包括：一个或多个摄像机，所述一个或多个摄像机被配置为捕获所述用户的环境的视图；一个或多个世界标测传感器，所述一个或多个世界标测传感器被配置为为在所述环境中的对象确定范围信息；和一个或多个眼睛追踪传感器，所述一个或多个眼睛追踪传感器被配置为追踪所述用户的眼睛的位置和移动；其中所述控制器被配置为渲染用于由所述HMD显示的帧，所述帧包括虚拟内容，所述虚拟内容至少部分地基于来自所述一个或多个世界标测传感器的所述范围信息和所述一个或多个眼睛追踪传感器所追踪的所述用户的眼睛的所述位置和所述移动而被合成到所捕获的所述用户的环境的视图中。2.根据权利要求1所述的系统，其中所述控制器被配置为至少部分地基于来自所述一个或多个世界标测传感器的所述范围信息来确定渲染所述3D虚拟视图中的所述虚拟内容的深度。3.根据权利要求1所述的系统，其中所述控制器被配置为：基于所述一个或多个眼睛追踪传感器所确定的所述用户的眼睛的所述位置来确定所述用户注视的所述3D虚拟视图内的区域；以及以比所述3D虚拟视图的其他区域中更高的分辨率来渲染所确定的区域中的内容。4.根据权利要求1所述的系统，其中所述多个传感器还包括：一个或多个头部姿势传感器，所述一个或多个头部姿势传感器被配置为捕获有关所述环境中所述用户的位置、取向和运动的信息；一个或多个光传感器，所述一个或多个光传感器被配置为捕获所述用户的环境中的照明信息，所述照明信息包括颜色、强度和方向；一个或多个手传感器，所述一个或多个手传感器被配置为追踪所述用户的手部的位置、移动和姿态；一个或多个眉毛传感器，所述一个或多个眉毛传感器被配置为追踪所述用户的眉毛的表情；和一个或多个下颌传感器，所述一个或多个下颌传感器被配置为追踪所述用户的口部和颌部的表情。5.根据权利要求4所述的系统，其中所述控制器被配置为至少部分地基于由所述一个或多个光传感器捕获的所述照明信息来为所述虚拟内容渲染照明效果。6.根据权利要求4所述的系统，其中所述HMD还包括惯性测量单元(IMU)，其中所述控制器被配置为：用由所述一个或多个头部姿势传感器捕获的信息来增强从所述IMU接收的信息以确定所述用户在所述环境中的当前的位置、取向和运动；以及至少部分地基于所确定的所述用户的当前的位置、取向和运动来渲染用于由所述HMD显示的所述帧。7.根据权利要求4所述的系统，其中所述控制器被配置为至少部分地基于由所述一个或多个眼睛追踪传感器、所述一个或多个眉毛传感器和所述一个或多个下颌传感器收集的信息来渲染所述用户的面部的化身以用于在所述3D虚拟视图中显示。8.根据权利要求4所述的系统，其中所述控制器被配置为至少部分地基于由所述一个或多个手传感器收集的信息来渲染所述用户的手部的表示以用于在所述3D虚拟视图中显示。9.根据权利要求4所述的系统，其中所述控制器被配置为至少部分地基于由所述一个或多个手传感器收集的信息来检测所述用户与所述3D虚拟视图中的虚拟内容的交互。10.根据权利要求1所述的系统，其中被配置为捕获所述用户的环境的视图的一个或多个摄像机包括对应于所述用户的左眼的左视频摄像机和对应于所述用户的右眼的右视频摄像机。11.一种设备，包括：控制器，所述控制器包括一个或多个处理器；左显示器和右显示器，所述左显示器和所述右显示器用于向用户的眼睛显示包括左图像和右图像的帧，以向所述用户提供3D虚拟视图；多个面向世界的传感器，所述多个面向世界的传感器被配置为收集有关所述用户的环...

【专利技术属性】
技术研发人员：R·J·莫塔，B·D·米勒，T·瑞克，M·B·斯里坎斯，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国,US