眼球相机系统和用于显示系统校准的方法技术方案

实施例提供在几何形状、光学性能和/或运动方面模仿人眼的相机设计(例如，眼球相机)。眼球相机采用与人眼相同的角膜和瞳孔几何形状，并且具有配置有多种纹理、颜色或直径选项的虹膜和瞳孔。眼球相机的分辨率被设计为匹配典型的20/20人类视觉的敏锐度，并且焦距从0到4屈光度调节。一对眼球相机独立地安装在两个六足架上，以模拟人眼的凝视和辐辏。使用眼球相机基于如瞳孔位置和凝视的眼睛条件对感知的虚拟和真实世界进行校准和评估。眼球相机充当桥梁，将来自空间计算的数据(如眼睛跟踪、数字世界的3D几何形状、显示颜色准确性/均匀性、和显示光学质量(清晰度、对比度等))结合。对比度等))结合。对比度等))结合。

【技术实现步骤摘要】
【国外来华专利技术】眼球相机系统和用于显示系统校准的方法
[0001]相关申请的交叉引用
[0002]本申请是2019年7月12日提交的题为“EYEBALL CAMERA SYSTEM AND METHODS FOR DISPLAY SYSTEM CALIBRATION”的美国专利申请第62/873,641号的非临时申请并要求其权益，出于所有目的将其全部内容通过引用并入本文。

技术介绍

[0003]现代计算和显示技术促进了用于所谓“虚拟现实”或“增强现实”体验的系统的开发，其中数字产生的图像或其部分在可穿戴设备中以似乎或可能被认为是真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，但对其它实际的真实世界的视觉输入不透明；增强现实或“AR”场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围实际世界的可视化的增强。
[0004]可穿戴设备可以包括增强和/或虚拟现实眼镜。相机可以被耦合到眼镜。为了在增强和/或虚拟现实眼镜上查看真实世界对象的实际位置，需要校准相机。校准相机可以包括确定相机的内在和/或外在参数。内在参数表示从3D相机坐标到2D图像坐标的投影变换。内在参数可以包括焦距(f
x
，f
y
)、主点(principal point)和失真(distortion)系数。另一方面，外在参数表示从世界坐标系到相机的坐标系的变换。外在参数包括旋转矩阵和平移向量。外在参数可有助于确定相机中心的位置和相机在世界坐标中的航向(heading)。
[0005]因此，相机校准可以估计相机的镜头(lens)和图像传感器的参数。所确定的参数可用于校正镜头失真，以世界单位测量对象的大小，或在3D场景重建中确定相机在场景中的位置。
[0006]事实证明，人类视觉感知系统非常复杂，并且产生了VR、AR或MR技术，以促进虚拟图像元素在其它虚拟或真实世界图像中的舒适、自然感觉、丰富呈现具有挑战性。在此公开的系统和方法解决了与VR、AR和MR技术相关的各种挑战。

技术实现思路

[0007]实施例总体上涉及用于显示系统校准的图像显示系统和方法。实施例提供在几何形状、光学性能和/或运动方面模仿人眼的相机设计(例如，眼球相机)。眼球相机采用与人眼相同的角膜和瞳孔几何形状，并且具有配置有多种纹理、颜色或直径选项的虹膜和瞳孔。眼球相机的分辨率被设计为与典型的20/20人类视觉的敏锐度相匹配，并且在一些实现方式中将焦点从0到4屈光度(diopter)进行调节。一对眼球相机可以独立安装在两个六足架上，以模拟人眼的凝视和辐辏。因此，可以使用眼球相机基于如瞳孔位置和凝视的眼睛条件对感知的虚拟和真实世界进行校准和评估。眼球相机充当桥梁，将来自空间计算的数据(如眼睛跟踪、数字世界的3D几何形状、显示颜色准确性/均匀性、和显示光学质量(清晰度、对比度等)结合。
[0008]各种实施例提供了一种用于将校正应用于虚拟图像显示系统的系统。该系统包括：显示设备，其被配置为显示虚拟图像；图像捕获设备，其定位在显示设备的前面；以及处
理器，其耦合到显示设备和图像捕获设备，以从图像捕获设备接收图像数据。图像捕获设备具有类似于人眼的一个或多个特性。处理器被编程为(a)接收场景的第一图像；(b)确定与第一图像相关联的第一组视觉特性；(c)接收用图像捕获设备捕获的场景的第二图像；(d)确定与第二图像相关联的第二组视觉特性；(e)识别第一组视觉特性与第二组视觉特性之间的差异；(f)使用图像捕获设备的一个或多个特性确定要应用于虚拟图像显示系统的校正，以至少部分地校正差异；以及(g)基于图像捕获设备的一个或多个特性将校正应用于虚拟图像显示系统。
[0009]各种实施例提供了一种将校正应用于虚拟图像显示系统的方法。该方法包括由处理器从真实世界图像捕获设备接收场景的第一图像。处理器确定与第一图像相关联的第一组视觉特性。该方法进一步包括由处理器从图像捕获设备接收用图像捕获设备捕获的场景的第二图像，该图像捕获设备具有类似于人眼的一个或多个特性。图像捕获设备定位在显示设备的前面。该方法还包括由处理器确定与第二图像相关联的第二组视觉特性；并且由处理器识别第一组视觉特性与第二组视觉特性之间的差异。处理器使用图像捕获设备的一个或多个特性确定要应用于虚拟图像显示系统的校正，以至少部分地校正差异；并且基于图像捕获设备的一个或多个特性将校正应用于虚拟图像显示系统。
[0010]与传统技术相比，通过本公开实现了许多益处。例如，实施例提供了使用模拟人眼的一个或多个相机(例如，眼球相机)校准真实世界图像捕获设备和/或AR/VR显示系统的方法和系统。眼球相机的特性(诸如角膜位置、角膜几何形状、眼球位置、瞳孔大小、瞳孔位置、凝视距离、或凝视定向中的一个或多个)是已知的并且可以被控制。因此，可以使用一组已知且可控的参数来执行校准。例如，可以将凝视固定在无穷远处并使用数据校准设备。因此，实施例提供对AR/VR显示系统的更准确校准，从而产生更准确和无缝的AR/VR体验。
[0011]本说明书中描述的主题的一个或多个实现方式的细节在附图和以下描述中阐述。其它特征、方面和优点将从描述、附图和权利要求中变得明显。该概述和以下详细描述均不旨在定义或限制本专利技术主题的范围。
附图说明
[0012]图1示出根据本公开的一些实施例的用于校准显示设备的示例性系统；
[0013]图2A
‑
2B示出根据本公开的一些实施例的示例性图像捕获元件；
[0014]图3是示出根据本公开的一些实施例的相机装备的简化示意图；
[0015]图4是示出根据本公开的一些实施例的用于校准虚拟图像显示系统的方法的示例性框图；
[0016]图5是示出根据本公开的一些实施例的可以结合虚拟图像显示系统执行的各种校准的示例性框图；
[0017]图6是示出根据本公开的一些实施例的结合虚拟图像显示系统执行的眼睛跟踪验证的示例性框图；
[0018]图7是示出根据本公开的一些实施例的用于确定并应用校正到虚拟图像显示系统的方法的简化流程图；
[0019]图8是示出根据本公开的一些实施例的用于确定并应用校正到虚拟图像显示系统以调节显示颜色的方法的简化流程图；
[0020]图9是示出根据本公开的一些实施例的用于确定并应用校正到虚拟图像显示系统以调节几何属性的方法的简化流程图；以及
[0021]图10是示出根据本公开的一些实施例的用于确定并应用校正到虚拟图像显示系统以调节空间定位的方法的简化流程图。
具体实施方式
[0022]实施例涉及用于显示系统校准的图像显示系统和方法。空间计算通过结合数字光场、传感和计算，以空间交互的方式将数字世界内容叠加(overlay)在真实世界内容上。由空间计算技术呈现的数字内容优选与真实世界环境并且更重要的是与人眼
‑
大脑系统协同工作，这是系统成功的最终判断标准。因此，要开发此类空间计算系统，必须要具有人眼
‑
大脑系统的代理来校准和验证空间本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于将校正应用于虚拟图像显示系统的系统，所述系统包括：显示设备，其被配置为显示虚拟图像；图像捕获设备，其被定位在所述显示设备的前面，其中，所述图像捕获设备具有类似人眼的一个或多个特性；以及处理器，其被耦合到所述显示设备和所述图像捕获设备以从所述图像捕获设备接收图像数据，其中，所述处理器被编程为：接收场景的第一图像；确定与所述第一图像相关联的第一组视觉特性；接收用所述图像捕获设备捕获的所述场景的第二图像；确定与所述第二图像相关联的第二组视觉特性；识别所述第一组视觉特性与所述第二组视觉特性之间的差异；使用所述图像捕获设备的所述一个或多个特性来确定要应用于所述虚拟图像显示系统的校正，以至少部分地校正所述差异；以及基于所述图像捕获设备的所述一个或多个特性，将所述校正应用于所述虚拟图像显示系统。2.根据权利要求1所述的系统，其中，所述图像捕获设备的所述一个或多个特性包括以下中的一个或多个：角膜位置、角膜几何形状、眼球位置、瞳孔大小、瞳孔位置、凝视距离、或凝视定向。3.根据权利要求1所述的系统，其中，所述图像捕获设备的所述一个或多个特性是可配置的。4.根据权利要求1所述的系统，其中，所述显示设备包括与用户的第一眼睛相关联的第一显示器和与所述用户的第二眼睛相关联的第二显示器，以及其中，所述图像捕获设备包括定位在所述第一显示器的前面的第一图像捕获元件和定位在所述第二显示器的前面的第二图像捕获元件。5.根据权利要求4所述的系统，其中，所述第一图像捕获元件和所述第二图像捕获元件被配置为彼此独立地移动。6.根据权利要求4所述的系统，其中，所述第一图像捕获元件的一个或多个特性是独立于所述第二图像捕获元件的一个或多个特性而可配置的。7.根据权利要求1所述的系统，还包括：真实世界图像捕获设备，其被耦合到所述显示设备并被配置为捕获所述第一图像，其中，所述校正被应用于所述虚拟图像显示系统以校准所述真实世界图像捕获设备。8.根据权利要求1所述的系统，其中，所述第一组视觉特性和所述第二组视觉特性包括空间定位，其中，所述处理器进一步被编程为：确定所述第一图像中的点的空间定位；识别所述第一图像中的所述点的空间定位与所述第二图像中的对应点的空间定位之间的差异；确定要应用于所述虚拟图像显示系统的校正，以将所述第一图像中的所述点与所述第二图像中的所述对应点对齐；以及将所述校正应用于所述虚拟图像显示系统。
9.根据权利要求1所述的系统，其中，所述第一组视觉特性和所述第二组视觉特性包括颜色，其中，所述处理器进一步被编程为：确定所述第一图像中的区域的颜色；识别所述第一图像中的所述区域的颜色与所述第二图像中的对应区域的颜色之间的差异；确定要应用于所述虚拟图像显示系统的校正，以将所述第一图像中的所述区域的颜色与所述第二图像中的所述对应区域的颜色进行匹配；以及将所述校正应用于所述虚拟图像显示系统。10.根据权利要求9所述的系统，其中，所述校正包括以下中的一个或多个的校正：色调、饱和度、或对比度。11.根据权利要求1所述的系统，其中，所述第一组视觉特性和所述第二组视觉特性包括几何属性，其中，所述处理器进一步被编程为：确定所述第一图像中的对象的所述几何属性；识别所述第一图像中的所述对象的所述几何属性与所述第二图像中的对应对象的几何属性之间的差异；确定要应用于所述虚拟图像显示系统的校正，以将所述第一图像中的所述对象的所述几何属性与所述第二图像中的所述对应对象的所述几何属性进行匹配；以及将所述校正应用于所述虚拟图像显示系统。12.根据权利要求11所述的系统，其中，所述校正包括以下中的一个或多个的校正：所述第二图像中的所述对象的共线性、曲率、长度、宽度、广度、添加的标记、缺失标记、数量、形状、大小、空间分组、或空间定向。13.一种用于将校正应用于虚拟图像显示系统的方法，...

【专利技术属性】
技术研发人员：贾志恒，J，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：