公开了一种包括多个相机和处理器的可穿戴显示系统。可以布置灰度相机和彩色相机以提供与两个相机相关联的中心视场和与两个相机中的一个相机相关联的外围视场。两个相机中的一个或多个可以是全光相机。可穿戴显示系统可以使用至少一个全光相机获取光场信息，并使用第一光场信息和从灰度相机和彩色相机获取的图像立体地确定的第一深度信息来创建世界模型。可穿戴显示系统可以使用至少一个全光相机和世界模型来跟踪头部姿势。当对象满足深度标准时，可穿戴显示系统可以使用一个或两个全光相机跟踪中心视场和外围视场中的对象。相机跟踪中心视场和外围视场中的对象。相机跟踪中心视场和外围视场中的对象。
【技术实现步骤摘要】
【国外来华专利技术】具有无源深度提取的轻型交叉显示设备
[0001]本申请总体上涉及一种包括至少一个全光相机的可穿戴交叉现实显示系统。
技术介绍
[0002]计算机可以控制人类用户界面以创建X Reality(X现实，XR或交叉现实)环境，在该环境中，由计算机生成用户所感知的一些或全部XR环境。这些XR环境可以是虚拟现实(VR)、增强现实(AR)、或混合现实(MR)环境，其中的一些或所有XR环境可以由计算机部分使用描述环境的数据来生成。例如，该数据可以描述虚拟对象，该虚拟对象可以以用户的感觉或感知为物理世界的一部分的方式渲染，以使得用户可以与虚拟对象进行交互。由于数据是通过用户接口设备(诸如例如头戴式显示设备)渲染和呈现的，因此用户可以体验这些虚拟对象。数据可以显示给用户看，或者可以控制被播放给用户听的音频，或者可以控制触觉(或触知)界面，从而使用户能够体验到用户感觉或感知为感觉到虚拟对象的触摸感觉。
[0003]XR系统可以被用于跨科学可视化、医学培训、工程设计和原型、远程操纵和远程呈现以及个人娱乐领域的许多应用。与VR相比，AR和MR包括与物理世界的真实对象相关的一个或多个虚拟对象。虚拟对象与真实对象交互的体验显著地增强了用户使用XR系统的乐趣，并且也为呈现有关如何改变物理世界的现实且易于理解的信息的各种应用打开了大门。
技术实现思路
[0004]本申请的方面涉及一种包括至少一个全光相机的可穿戴交叉现实显示系统。在此描述的技术可以一起使用、单独使用、或以任何合适的组合使用。
[0005]根据一些实施例，提供了一种可穿戴显示系统，所述可穿戴显示系统包括：头戴式装置，包括一个具有全局快门的第一相机和一个具有滚动快门的第二相机，所述第一相机和所述第二相机被定位为提供中心视场的重叠视图；以及处理器，其被可操作地耦合到所述第一相机和所述第二相机，并被配置为：执行补偿例程以针对滚动快门图像失真来调整使用所述第二相机获取的图像；以及部分地使用根据使用所述第一相机获取的图像和经调整的图像立体地确定的深度信息来创建世界模型。
[0006]在一些实施例中，所述第一相机和所述第二相机可以不对称地向内成角度。
[0007]在一些实施例中，所述第一相机的视场可以大于所述第二相机的视场。
[0008]在一些实施例中，所述第一相机可以向内成20度到40度之间的角度，并且所述第二相机向内成1度到20度之间的角度。
[0009]在一些实施例中，所述第一相机可以具有每像素1弧分到5弧分之间的角像素分辨率。
[0010]在一些实施例中，所述处理器还可以被配置为执行尺寸缩小例程以调整使用所述第二相机获取的图像。
[0011]在一些实施例中，所述尺寸缩小例程可以包括通过分箱由所述第二相机获取的图
像中的像素来生成尺寸缩小的图像。
[0012]在一些实施例中，所述补偿例程可以包括：将使用所述第一相机获取的第一图像与使用所述第二相机获取的第二图像进行比较以检测所述第二图像的至少一部分的偏斜；以及调整所述第二图像的所述至少一部分以补偿检测到的偏斜。
[0013]在一些实施例中，将使用所述第一相机获取的第一图像与使用所述第二相机获取的第二图像进行比较可以包括：在由所述第一相机获取的第一图像与由所述第二相机获取的第二图像之间执行逐行比较。
[0014]在一些实施例中，所述处理器还可以被配置为：基于功率节约标准或世界模型完整性标准中的至少一者，禁用所述第二相机或调制所述第二相机的帧速率。
[0015]在一些实施例中，所述第一相机或所述第二相机中的至少一个可以包括全光相机；以及所述处理器还可以被配置为：部分地使用由所述第一相机或所述第二相机中的至少一个获取的光场信息来创建世界模型。
[0016]在一些实施例中，所述第一相机可以包括全光相机；以及所述处理器还可以被配置为：使用使用所述全光相机获取的深度信息来执行世界模型更新例程。
[0017]在一些实施例中，所述处理器可以被机械耦合到所述头戴式装置。
[0018]在一些实施例中，所述头戴式装置可以包括被机械耦合到所述处理器的显示设备。
[0019]在一些实施例中，本地数据处理模块可以包括所述处理器，所述本地数据处理模块通过通信链路被可操作地耦合到显示设备，并且其中，所述头戴式装置包括所述显示设备。
[0020]根据一些实施例，可以提供一种使用可穿戴显示系统来创建世界模型的方法，所述可穿戴显示系统包括：头戴式装置，包括一个具有全局快门的第一相机和一个具有滚动快门的第二相机，所述第一相机和所述第二相机被定位为提供中心视场的重叠视图；以及处理器，被可操作地耦合到所述第一相机和所述第二相机；其中，所述方法包括使用所述处理器来进行：执行补偿例程以针对滚动快门图像失真来调整使用所述第二相机获取的图像；以及部分地使用根据使用所述第一相机获取的图像和经调整的图像立体地确定的深度信息来创建所述世界模型。
[0021]根据一些实施例，可以提供一种可穿戴显示系统，所述可穿戴显示系统包括：头戴式装置，具有被定位为提供中心视场的重叠视图的灰度相机和彩色相机；以及处理器，被可操作地耦合到所述灰度相机和所述彩色相机并被配置为：使用根据由所述灰度相机和所述彩色相机获取的图像立体地确定的第一深度信息来创建世界模型；以及使用所述灰度相机和所述世界模型来跟踪头部姿势。
[0022]根据一些实施例，可以提供一种使用可穿戴显示系统跟踪头部姿势的方法，所述可穿戴显示系统包括：头戴式装置，具有被定位为提供中心视场的重叠视图的灰度相机和彩色相机；以及处理器，被可操作地耦合到所述灰度相机和所述彩色相机；其中，所述方法包括使用所述处理器来进行：使用根据由所述灰度相机和所述彩色相机获取的图像立体地确定的第一深度信息来创建世界模型；以及使用所述灰度相机和所述世界模型来跟踪头部姿势。
[0023]根据一些实施例，可以提供一种可穿戴显示系统，所述可穿戴显示系统包括：框
架；被机械耦合到所述框架的第一相机和被机械耦合到所述框架的第二相机，其中，所述第一相机和所述第二相机被定位为提供与所述第一相机和所述第二相机两者相关联的中心视场，并且其中，所述第一相机和所述第二相机中的至少一个包括全光相机；以及处理器，被可操作地耦合到所述第一相机和所述第二相机，并被配置为：确定对象是否在所述中心视场内；在所述对象在所述中心视场内时，确定所述对象是否满足深度标准；在被跟踪的对象在所述中心视场内且不满足所述深度标准时，使用根据由所述第一相机和所述第二相机获取的图像立体地确定的深度信息来跟踪所述对象；以及在被跟踪的对象在所述中心视场内并且满足所述深度标准时，使用根据由所述第一相机或所述第二相机中的一个相机获取的光场信息所确定的深度信息来跟踪所述对象。
[0024]根据一些实施例，提供一种使用可穿戴显示系统跟踪对象的方法，所述可穿戴显示系统包括：框架；被机械耦合到所述框架的第一相机和被机械耦合到所述框架的第二相机，其中，所述第一相机和所述第二相机被定位为提供与本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种可穿戴显示系统，所述可穿戴显示系统包括：头戴式装置，包括一个具有全局快门的第一相机和一个具有滚动快门的第二相机，所述第一相机和所述第二相机被定位为提供中心视场的重叠视图；以及处理器，其被可操作地耦合到所述第一相机和所述第二相机，并被配置为：执行补偿例程以针对滚动快门图像失真来调整使用所述第二相机获取的图像；以及部分地使用根据使用所述第一相机获取的图像和经调整的图像立体地确定的深度信息来创建世界模型。2.根据权利要求1所述的可穿戴显示系统，其中，所述第一相机和所述第二相机不对称地向内成角度。3.根据权利要求2所述的可穿戴显示系统，其中，所述第一相机的视场大于所述第二相机的视场。4.根据权利要求2所述的可穿戴显示系统，其中，所述第一相机向内成20度与40度之间的角度，并且所述第二相机向内成1度与20度之间的角度。5.根据权利要求1所述的可穿戴显示系统，其中，所述第一相机具有每像素1弧分到5弧分之间的角像素分辨率。6.根据权利要求1所述的可穿戴显示系统，其中，所述处理器还被配置为执行尺寸缩小例程以调整使用所述第二相机获取的图像。7.根据权利要求6所述的可穿戴显示系统，其中，所述尺寸缩小例程包括通过对由所述第二相机获取的图像中的像素进行分箱来生成尺寸缩小的图像。8.根据权利要求1所述的可穿戴显示系统，其中：所述补偿例程包括：将使用所述第一相机获取的第一图像与使用所述第二相机获取的第二图像进行比较以检测所述第二图像的至少一部分的偏斜；以及调整所述第二图像的所述至少一部分以补偿所检测到的偏斜。9.根据权利要求8所述的可穿戴显示系统，其中：将使用所述第一相机获取的第一图像与使用所述第二相机获取的第二图像进行比较包括：在由所述第一相机获取的第一图像与由所述第二相机获取的第二图像之间执行逐行比较。10.根据权利要求1所述的可穿戴显示系统，其中：所述处理器还被配置为：基于功率节约标准或世界模型完整性标准中的至少一者，禁用所述第二相机或调制所述第二相机的帧速率。11.根据权利要求1所述的可穿戴显示系统，其中：所述第一相机或所述第二相机中的至少一个包括全光相机；以及所述处理器还被配置为：部分地使用由所述第一相机或所述第二相机中的所述至少一个获取的光场信息来创建世界模型。12.根据权利要求1所述的可穿戴显示系统，其中：所述第一相机包括全光相机；以及
所述处理器还被配置为：使用使用所述全光相机获取的深度信息来执行世界模型更新例程。13.根据权利要求1所述的可穿戴显示系统，其中，所述处理器被机械地耦合到所述头戴式装置。14.根据权利要求1所述的可穿戴显示系统，其中，所述头戴式装置包括被机械地耦合到所述处理器的显示设备。15.根据权利要求1所述的可穿戴显示系统，其中，本地数据处理模块包括所述处理器，所述本地数据处理模块通过通信链路被可操作地耦合到显示设备，并且其中，所述头戴式装置包括所述显示设备。16.一种使用可穿戴显示系统来创建世界模型的方法，所述可穿戴显示系统包括：头戴式装置，包括一个具有全局快门的第一相机和一个具有滚动快门的第二相机，所述第一相机和所述第二相机被定位为提供中心视场的重叠视图；以及处理器，被可操作地耦合到所述第一相机和所述第二相机；其中，所述方法包括使用所述处理器以：执行补偿例程以针对滚...
【专利技术属性】
技术研发人员：M，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。