具有直通成像的头戴式显示器制造技术

本申请描述了一种用于虚拟现实(VR)环境的头戴式显示器(HMD)。本文所述的系统和方法可确定关于用户周围的现实世界环境、用户在现实世界环境内的定位和/或用户在现实世界环境内的姿态的信息。此类信息可允许该HMD以直通的方式显示现实世界环境的图像，而不使用户从该VR环境中分心。在一些情况下，该HMD可基于一个或多个触发事件来直通现实世界环境的图像。个或多个触发事件来直通现实世界环境的图像。个或多个触发事件来直通现实世界环境的图像。

【技术实现步骤摘要】
【国外来华专利技术】具有直通成像的头戴式显示器
[0001]相关申请的交叉引用
[0002]本PCT申请要求2020年4月14日提交的美国专利申请序列号16/848,332的优先权，该美国专利申请要求2019年4月23日提交的美国临时专利申请序列号62/837,668的优先权。申请序列号16/848,332和62/837,668全部内容以引用方式并入本文。

技术介绍

[0003]头戴式显示器用于各种应用，包括工程、医疗、军事和视频游戏。在一些情况下，头戴式显示器可将信息或图像作为虚拟现实或增强现实环境的一部分呈现给用户。例如，在玩视频游戏时，用户可佩戴头戴式显示器以使该用户沉浸在虚拟环境内。尽管头戴式显示器提供了沉浸式体验，但其阻挡了对物理世界或现实世界的查看。因此，用户可能发现难以拾取对象(例如，控制器)和/或识别现实世界内的其他个体。另外，用户可能意识不到现实世界内的物理边界(例如，墙壁)。虽然摘下头戴式显示器可允许用户看到现实世界，但不断地取下并重新戴上头戴式显示器可能使人感到乏味，可能需要用户在虚拟环境和现实世界之间重新定位自己和/或可能以其他方式使用户从虚拟现实体验中分心。
附图说明
[0004]参考附图描述了具体实施方式。在这些图中，附图标记的最左边数字标识首次出现该附图标记的图。在不同附图中相同或类似的附图标记表示相似或相同的物件。
[0005]图1示出了根据本公开的示例性实施方案在示例性环境中佩戴示例性头戴式显示器的用户。
[0006]图2是根据本公开的一个实施方案的图1的头戴式显示器的立体图。r/>[0007]图3示出了根据本公开的一个实施方案佩戴图1的头戴式显示器的用户，并且该头戴式显示器呈现直通图像。
[0008]图4示出了根据本公开的一个实施方案佩戴图1的头戴式显示器的用户，并且该头戴式显示器呈现直通图像。
[0009]图5示出了根据本公开的一个实施方案使用图1的头戴式显示器来呈现直通图像的示例性过程。
[0010]图6示出了根据本公开的一个实施方案使用图1的头戴式显示器来呈现直通图像的示例性过程。
具体实施方式
[0011]用户佩戴头戴式显示器以查看虚拟现实环境中的内容并与之交互。为了提供沉浸式体验，头戴式显示器可覆盖用户的大部分或甚至所有视野。这样，头戴式显示器可阻挡用户的视线，使其无法看到现实世界，从而可能导致用户被对象绊倒、撞到家具、注意不到现实世界内的个体等。虽然摘除头戴式显示器允许用户看到现实世界，但是需要用户分别在虚拟现实环境和现实世界之间重新定位自己。一些头戴式显示器可包括例如护目镜，该护
目镜可打开以允许用户查看现实世界。然而，这种解决方案中断了用户在虚拟现实环境内的沉浸感。
[0012]为了克服这些缺陷，一些头戴式显示器可实现直通成像，该直通成像允许相应的用户在不摘下其相应的头戴式显示器的情况下查看现实世界。然而，现有的直通成像往往表现出相当粗略的响应时间，可能无法从用户的视角或视点描绘现实世界和/或可能失真。因此，用户可能会失衡、头晕、迷失方向，甚至生病。
[0013]本申请部分地描述了一种用于虚拟现实(VR)环境的头戴式显示器(HMD)。本文所述的系统和方法可确定关于用户周围的现实世界环境、用户在现实世界环境内的定位和/或用户在现实世界环境内的姿态的信息。此类信息可允许该HMD以直通的方式显示现实世界环境的图像，而不使用户从该VR环境中分心。在一些情况下，该HMD可基于一个或多个触发事件来直通现实世界环境的图像。例如，当用户佩戴了HMD并且沉浸在VR环境内时，用户可致动允许用户在现实世界环境内查看四周的按钮。作为另一个示例，如果用户听到可疑或感兴趣的东西，如果用户想要确定物件(例如，控制器)在现实世界环境中的位置和/或如果访客进入用户附近的区域，HMD可显示与现实世界环境相关联的内容。在一些情况下，可以美观的方式将内容提供给用户，以限制用户从VR环境中分心。例如，可将内容作为与VR环境相关联的虚拟内容的叠加来提供。在这种情况下，用户可继续佩戴HMD并且保持沉浸在VR环境内。因此，当在现实世界环境和VR环境之间转换或显示内容时，根据本申请的HMD可提升用户体验。
[0014]HMD可包括前部，该前部具有佩戴在用户的面部位于眼睛附近的显示器。显示器可输出图像(或其他内容)以供用户查看。作为一个示例，用户可佩戴HMD来玩游戏或查看媒体内容(例如，电影)。
[0015]HMD可包括相机，该相机捕获现实世界环境的图像。在一些情况下，相机可安装到显示器和/或可容纳在HMD的前部内。除此之外或另选地，相机可朝前以捕获HMD外部和用户前面的图像。此外，在一些情况下，相机可与HMD分开并且放置在整个环境中或用户的其他部位(例如，腰部)上。
[0016]在一些情况下，相机可在空间上分开，使得相机的光轴平行并且按已知距离分开。因此，相机可从稍微不同的视点捕获现实世界环境的图像。视点之间的信息多样性可用于计算现实世界环境的深度信息(即，立体相机成像)。例如，HMD和/或通信地耦合的计算设备(例如，游戏机、个人计算机等)可使用由相机捕获的图像数据来生成与现实世界环境相关联的深度信息。
[0017]例如，相机可包括在HMD的前部上彼此水平和/或垂直移位的第一相机和第二相机。在一些情况下，第一相机可位于HMD第一侧面的前部上，而第二相机可位于HMD第二侧面的前部上。然而，如上所述，第一相机和第二相机可位于环境内的其他地方和/或用户的其他部位上。
[0018]由第一相机和/或第二相机捕获的图像数据可表示现实世界环境(例如，房间)的不同视图。通过比较由第一相机和/或第二相机捕获的图像(或图像数据)，HMD(和/或其他通信地耦合的计算设备)可确定差别或差异(例如，使用差异映射算法)。这些差异可表示两个图像中对应图像点的坐标的差别。由于这些差异(或差异值)与现实世界环境内的深度成反比，因此HMD和/或其他通信地耦合的计算设备(诸如游戏机)可确定与现实世界环境(或
其一部分)相关联的深度信息。在一些情况下，深度信息可来自用户的视角(即，用户的注视)。
[0019]HMD和/或其他通信地耦合的计算设备(诸如游戏机)可使用深度信息来生成现实世界环境(或其一部分)的深度图或三维(3D)网格。例如，深度图可表示用户与现实世界环境内的对象(例如，房间的墙壁、家具等)之间的距离。除此之外或另选地，HMD可包括用于生成深度图和/或3D的其他传感器。例如，HMD可包括确定用户与现实世界环境中的对象之间的距离的深度传感器，并且可确定用户与现实世界环境的对象或边界的接近(例如，预定接近度或阈值接近度)。然而，除此之外或另选地，HMD或游戏机可使用光探测和测距(LIDAR)、超声波测距、体视测距、结构光分析、点投影、粒子投影、飞行时间观测等，用于生成深度图和/或3D网格。
[0020]在生成现实世界环境的深度图和/或3D网格后，HMD和/或其他通信地耦合的计算设备(诸如游戏机)可将图像数据投影到该深度图和/或3D网格上。在这个本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，所述系统包括：一种头戴式显示器，所述头戴式显示器包括：显示器；第一相机；和第二相机；一个或多个处理器；和存储计算机可执行指令的一个或多个非暂态计算机可读介质，所述计算机可执行指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行动作，所述动作包括以下项：经由所述第一相机捕获表示环境的第一部分的第一图像数据；经由所述第二相机捕获表示所述环境的第二部分的第二图像数据；确定所述第一相机相对于用户的第一只眼睛的第一偏移以及所述第二相机相对于所述用户的第二只眼睛的第二偏移；至少部分地基于所述第一图像数据、所述第二图像数据、所述第一偏移和所述第二偏移来生成深度图；将所述深度图、所述第一图像数据和所述第二图像数据传输到一个或多个计算设备；从所述一个或多个计算设备接收至少部分地基于所述深度图的第三图像数据、所述第一图像数据和所述第二图像数据；以及经由所述显示器显示所述第三图像数据。2.根据权利要求1所述的系统，其中所述头戴式显示器还包括按钮，并且其中存在以下情况中的至少一种情况：至少部分地基于检测到所述按钮的按压来捕获所述第一图像数据；或者至少部分地基于检测到所述按钮的所述按压来捕获所述第二图像数据。3.根据权利要求1所述的系统，其中所述一个或多个非暂态计算机可读介质存储计算机可执行指令，所述计算机可执行指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行动作，所述动作还包括从所述一个或多个计算设备接收所述用户正在接近所述环境的边界的指示，并且其中存在以下情况中的至少一种情况：至少部分地基于接收到所述指示来捕获所述第一图像数据；或者至少部分地基于接收到所述指示来捕获所述第二图像数据。4.根据权利要求1所述的系统，其中所述用户包括第一用户，并且其中所述一个或多个非暂态计算机可读介质存储计算机可执行指令，所述计算机可执行指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行动作，所述动作还包括从所述一个或多个计算设备接收第二用户在所述环境内的指示，并且其中存在以下情况中的至少一种情况：至少部分地基于接收到所述指示来捕获所述第一图像数据；或者至少部分地基于接收到所述指示来捕获所述第二图像数据。5.根据权利要求1所述的系统，其中存在以下情况中的至少一种情况：所述第三图像数据与呈现在所述显示器上的虚拟内容组合显示；或者在所述显示器的预定部分上显示所述第三图像数据。6.一种方法，所述方法包括：
从头戴式显示器接收表示环境的至少一部分的第一图像数据；从跟踪系统接收指示用户在环境内的视点的第二图像数据；至少部分地基于所述第一图像数据或所述第二图像数据中的至少一者来生成对应于所述环境的至少一部分的深度图；将所述深度图与所述环境的三维(3D)模型的一部分相关联；将所述第一图像数据转置到所述环境的所述3D模型的所述一部分上；生成表示所述第一图像数据的第三图像数据，所述第一图像数据被转置到所述环境的所述3D模型的所述一部分上；以及将所述第三图像数据传输到所述头戴式显示器。7.根据权利要求6所述的方法，所述方法还包括：将捕获所述环境的图像的第一请求传输到所述头戴式显示器；以及当所述头戴式显示器捕获所述环境的所述图像时，将跟踪所述头戴式显示器的定位的第二请求传输到所述跟踪系统。8.根据权利要求7所述的方法，所述方法还包括：从所述头戴式显示器接收表示所述环境的所述图像的第四图像数据；当所述头戴式显示器捕获所述环境的所述图像时，从所述跟踪系统接收表示所述头戴式显示器的所述定位的第五图像数据...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：威尔乌集团，
类型：发明
国别省市：