具有人工现实内容的变焦显示的人工现实系统技术方案

本公开描述了用于向用户提供人工现实内容的人工现实系统和技术。例如，人工现实系统包括：被配置为输出人工现实内容的头戴式显示器(HMD)，该HMD包括：被配置为捕获指示用户的注视的焦点的图像数据的一组第二图像捕获设备和具有基于用户的焦点可修改的焦距的变焦显示器。此外，该系统包括深度引擎，该深度引擎被配置为基于真实世界图像数据和与真实世界图像数据相关联的深度数据来生成用户的物理环境的三维(3D)场景并且基于用户的焦点来生成人工现实内容作为对物理环境的3D场景的覆盖，以显示在HMD的变焦显示器上。以显示在HMD的变焦显示器上。以显示在HMD的变焦显示器上。

【技术实现步骤摘要】
【国外来华专利技术】具有人工现实内容的变焦显示的人工现实系统


[0001]本公开一般涉及人工现实系统，诸如增强现实、混合现实和/或虚拟现实系统。

技术介绍

[0002]人工现实系统正变得越来越普遍，应用在许多领域，诸如计算机游戏、健康和安全、工业和教育。举几个示例，人工现实系统正在被合并到移动设备、游戏机、个人计算机、电影院和主题公园中。一般而言，人工现实是在呈现给用户之前以某种方式进行了调整的现实形式，其可以包括例如虚拟现实、增强现实、混合现实、混合的现实或其某种组合和/或衍生物。
[0003]典型的人工现实系统包括用于向用户绘制和显示内容的一个或多个设备。作为一个示例，人工现实系统可以合并由用户佩戴并被配置为向用户输出人工现实内容的头戴式显示器(HMD)。人工现实内容可以完全包括由系统生成的内容，或者可以包括与所捕获的内容(例如，真实世界的视频和/或图像)相组合所生成的内容。

技术实现思路

[0004]一般而言，本公开描述了一种人工现实系统，包括被配置为向用户提供视觉上准确的人工现实内容的变焦头戴式显示器(HMD)。例如，人工现实系统可本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种人工现实系统，包括：第一图像捕获设备，所述第一图像捕获设备被配置为捕获表示用户的物理环境的真实世界图像数据；头戴式显示器(HMD)，所述HMD被配置为输出人工现实内容，所述头戴式显示器包括：一组第二图像捕获设备，所述一组第二图像捕获设备被配置为捕获指示所述用户的注视的焦点的图像数据；和变焦显示器，所述变焦显示器具有基于所述用户的所述焦点可修改的焦距；和深度引擎，所述深度引擎被配置为：基于所述真实世界图像数据和与所述真实世界图像数据相关联的深度数据来生成所述用户的所述物理环境的三维(3D)场景；以及基于所述用户的所述焦点来生成人工现实内容作为对所述物理环境的所述3D场景的覆盖，以显示在所述HMD的所述变焦显示器上。2.根据权利要求1所述的系统，其中所述第一图像捕获设备包括至少一个直通相机，所述至少一个直通相机被配置为以彩色并且以高分辨率捕获所述真实世界图像数据。3.根据权利要求2所述的系统，其中所述HMD包括被配置为执行所述深度引擎的一个或多个处理器，其中所述一个或多个处理器位于接近所述至少一个直通相机处。4.根据权利要求1、2或3所述的系统，其中所述HMD还包括被配置为生成所述深度数据的深度传感器，并且其中为了生成所述物理环境的所述3D场景，所述深度引擎被配置为：使用所述深度数据来生成真实世界场景的3D网格；以及将所述真实世界图像数据中的至少一部分覆盖到所述真实世界场景的所述3D网格上。5.根据权利要求4所述的系统，其中所述真实世界图像数据表示真实世界图像数据流，其中所述深度数据表示深度数据流，并且其中为了生成所述人工现实内容，所述深度引擎还被配置为：基于所述HMD相对于所述真实世界场景的所述3D网格的位置和取向，使用所述真实世界图像数据流和所述深度数据流近实时地生成所述人工现实内容。6.根据权利要求1至5中任一项所述的系统，其中所述一组第二图像捕获设备包括：第一眼睛跟踪相机，所述第一眼睛跟踪相机被配置为捕获第一组图像数据，所述第一组图像数据包括所述用户的第一瞳孔相对于第一组参考点的位置；和第二眼睛跟踪相机，所述第二眼睛跟踪相机被配置为捕获第二组图像数据，所述第二组图像数据包括所述用户的第二瞳孔相对于第二组参考点的位置，并且其中所述深度引擎被配置为：基于所述第一瞳孔相对于所述第一组参考点的所述位置和所述第二瞳孔相对于所述第二组参考点的所述位置来确定所述用户的所述焦点；并且优选地还包括注视跟踪器，所述注视跟踪器被配置为：在一段时间内跟踪所述第一瞳孔相对于所述第一组参考点的位置；在所述一段时间内跟踪所述第二瞳孔相对于所述第二组参考点的位置；基于在所述一段时间内所述第一瞳孔相对于所述第一组参考点的位置的移动，确定所述第一瞳孔相对于所述第一组参考点的位置的预计未来移动；以及基于在所述一段时间内所述第二瞳孔相对于所述第二组参考点的位置的移动，确定所
述第二瞳孔相对于所述第二组参考点的位置的预计未来移动，其中所述深度引擎还被配置为基于所述第一瞳孔的位置的所述预计未来移动和所述第二瞳孔的位置的所述预计未来移动来确定所述用户的预计未来焦点。7.根据权利要求1至6中任一项所述的系统，其中所述深度引擎还被配置为：近实时地确定所述变焦显示器的所述焦距以匹配所述用户的所述焦点；以及指导所述变焦显示器相对于透镜移动以达到所确定的焦距；并且优选地，其中所述HMD还包括电机，所述电机被配置为控制所述变焦显示器相对于所述透镜的位置，并且其中为了指导所述变焦显示器移动，所述深度引擎被配置为：控制所述电机以便将所述变焦显示器放置在距所述透镜一定距离处，以达到所确定的焦距。8.根据权利要求1至7中任一项所述的系统，其中所述图像数据还指示所述用户的景深，并且其中为了生成所述人工现实内容，所述深度引擎被配置为：模糊在所述用户的所述景深之外的所述人工现实内容的部...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：