经由眼睛跟踪扩大有效眼动范围的近眼显示器制造技术

近眼显示系统(100)包括显示面板(118)以及眼睛跟踪组件(106,108)，该显示面板(118)显示包括元素图像(22)的阵列的近眼光场帧(120)，该眼睛跟踪组件(106,108)跟踪用户眼睛(304)的姿态(320)。该系统进一步包括渲染组件(104)，以基于用户眼睛的姿态，定位近眼光场帧内的元素图像的阵列。近眼显示系统的操作方法包括：使用眼睛跟踪组件来确定用户眼睛的第一姿态(320)并且基于用户眼睛的第一姿态，确定形成近眼光场帧(120)的元素图像(122)的阵列的位移矢量(324)。该方法进一步包括在基于位移矢量的近眼光场帧内的位置(320)处，渲染元素图像的阵列。

Near eye display with eye tracking to expand the effective range of eye movement

【技术实现步骤摘要】
【国外来华专利技术】经由眼睛跟踪扩大有效眼动范围的近眼显示器
本公开一般地涉及近眼显示器，并且更具体地，涉及近眼显示器中有效眼动范围(eyebox)大小的改善。
技术介绍
头戴式显示器(HMD)和其他近眼显示系统可以利用近眼光场显示器或其他计算显示器来提供三维(3D)图形的有效显示。通常，近眼光场显示器采用一个或多个显示面板以及覆盖在一个或多个显示面板上的小透镜、针孔或其他光学功能部件的阵列。渲染系统渲染元素图像的阵列，每个元素图像代表从相应的视角或虚拟相机位置的对象或场景的图像或视图。这样的近眼光场显示器通常在眼动范围大小和视场(FOV)之间呈现出折衷，因为眼动范围大小与出瞳距离(eyerelief)和小透镜焦距的比率成比例。因此，为了提供令人满意的FOV，采用近眼光场显示器的常规近眼显示系统通常具有相对有限的眼动范围，鉴于下述情况，这通常是有问题：潜在用户群体中的瞳孔间距(IPD)的可变性和相对于显示器的用户眼睛的准确定位的可变性，这两者都可能导致用户的瞳孔落在眼动范围的边界之外，从而导致遮挡了旨在显示给用户眼睛的图像的至少一部分。附图说明通过参考附图，可以更好地理解本公开，以及其许多特征和优点对于本领域技术人员变得显而易见。在不同的图中使用相同的参考符号表示相似或相同的项目。图1是示出根据一些实施例的采用眼睛跟踪和相应的元素图像移位以提供动态的眼动范围调整的近眼显示系统的图。图2是示出根据一些实施例的图1的近眼显示系统中的动态眼动范围调整的方法的流程图。图3是示出根据一些实施例的基于眼睛姿态的动态眼动范围调整的示例的图。图4是示出根据一些实施例的基于眼睛姿态的动态眼动范围调整的另外的示例的图。图5是示出用于近眼显示系统中的眼睛跟踪的常规斜角配置的图。图6是示出根据一些实施例的近眼显示系统中的示例性眼睛跟踪组件的图。图7是示出根据一些实施例的近眼显示系统中的另一示例性眼睛跟踪组件的图。图8是示出根据一些实施例的图7的眼睛跟踪组件的配置的变型的图。图9是示出根据一些实施例的用于补偿由于眼睛跟踪组件的组件而导致的近眼光场显示中的被遮挡的元素图像的方法的图。具体实施方式图1-9示出了用于基于近眼显示系统中的用户眼睛姿态的动态眼动范围调整的示例性方法和系统。在至少一个实施例中，近眼显示系统采用计算显示器来向用户显示成像的近眼光场帧，以便为用户提供沉浸式虚拟现实(VR)或增强现实(AR)体验。每个近眼光场帧都由元素图像的阵列组成，每个元素图像代表来自不同的相应视点的对象或场景的视图。小透镜的阵列覆盖显示面板，并且操作以将元素图像的阵列作为单个自由立体图像呈现给用户。由于用于计算显示器的眼动范围尺寸或“大小”与出瞳距离和小透镜焦距的比率成比例，因此尝试增加眼动范围大小通常会导致视场(FOV)减小，反之亦然。为了在不相应地减小FOV的情况下提供改进的眼动范围大小，在至少一个实施例中，本文所述的近眼显示系统利用动态眼动范围技术，其中，利用眼睛跟踪组件来确定用户眼睛的姿态(位置和/或旋转)，并且基于该姿态，确定位移矢量，通过其元素图像的阵列将相对于在其中合并了它们的近眼光场帧被移位(即相对于显示面板的显示表面)，使得有效地移位计算显示器的眼动范围，以便适应用户眼睛的姿态。例如，可以为用户眼睛的默认假定姿态指定显示面板上的元素图像的阵列的默认位置。但是，如果用户眼睛偏离该默认姿态，则近眼显示系统通过引入以下中的一项或两项来补偿偏离的姿态：(1)元素图像的阵列的位置从默认位置起的相应位移，以适应平行于显示面板的平面(即XY平面)中的用户眼睛的姿态的位移，或(2)阵列的元素图像的大小的相应缩放，以适应用户眼睛的姿态沿垂直于显示面板的轴(即Z轴)的位移。当元素图像的阵列的位置的位移和/或元素图像的缩放经由小透镜阵列，有效地移位元素图像的投影方向时，元素图像的阵列的位置的位移有效地改变眼动范围。因此，响应于用户眼睛姿态的位移而动态地移位/缩放元素图像的阵列有效地提供了“更大”的眼动范围，无需相应地减小近眼显示系统的FOV。图1示出了根据至少一个实施例的结合了动态眼动范围位置调节的近眼显示系统100。在所图示的示例中，近眼显示系统100包括计算显示子系统102、渲染组件104以及一个或多个眼睛跟踪组件，诸如用于跟踪用户的左眼的眼睛跟踪组件106和用于跟踪用户的右眼的跟踪组件108中的一个或两个。计算显示子系统102包括安装在装置114(例如，护目镜、眼镜等)中的左眼显示器110和右眼显示器112，该装置114将显示器110、112分别放置在用户的左、右眼的前方。如视图116所示，每个显示器110、112包括至少一个显示面板118，以显示一系列或连续的近眼光场帧(在下文中，为便于参考，称为“光场帧”)，每个近眼光场帧都包括元素图像122的阵列120。为了便于参考，元素图像122的阵列120在本文中也可以被称为光场帧120。显示器110、112中的每一个进一步包括覆盖显示面板118的小透镜126的阵列124(也通称为微透镜)。通常，小透镜阵列124中的小透镜126的数量等于阵列120中的元素图像122的数量，但是在其他实施方式中，小透镜126的数量可以少于或大于元素图像122的数量。注意，尽管为了便于说明，图1的示例示出了5×4的元素图像122的阵列和相应的5×4的小透镜126的阵列120，在典型的实施方式中，光场帧120中的元素图像122的数量和小透镜阵列124中的小透镜126的数量通常会更高。此外，在一些实施例中，为显示器110、112中的每一个实现单独的显示面板118，而在其他实施例中，左眼显示器110和右眼显示器112共享单个显示面板118，显示面板118的左半部分用于左眼显示器110，而显示面板118的右半部分用于右眼显示器112。图1的截面图128图示沿覆盖显示面板118的小透镜阵列124的线A-A的截面视图，使得小透镜阵列124覆盖显示面板118的显示表面130，从而被设置在显示表面130和用户的相应的眼睛132之间。在这种配置中，每个小透镜126将显示表面130的相应区域聚焦到眼睛的瞳孔134上，每个这样的区域至少部分地与一个或多个相邻区域重叠。因此，在这样的计算显示配置中，当在显示面板118的显示表面130上显示元素图像122的阵列120，然后由眼睛132通过小透镜阵列124观察时，用户将元素图像122的阵列120感知为场景的单个图像。因此，当对用户的左眼和右眼并行执行该过程并在其间实现适当的视差时，结果是向用户呈现自由立体三维(3D)成像，具有相对宽的FOV和通常由这类计算显示器提供的浅形状因子。同样如图1所示，渲染组件104包括一组一个或多个处理器，诸如所示的中央处理单元(CPU)136和图形处理单元(GPU)138,140，以及一个或多个存储组件，诸如系统存储器142，以存储由处理器136,138,140访问和执行的软件程序或其他可执行指令，以便操纵处理器136,138,140中的一个或多个来执行本文所述的各种任本文档来自技高网...

【技术保护点】
1.在近眼显示系统(100)中，一种方法包括：/n使用所述近眼显示系统的眼睛跟踪组件(106,108)，确定用户眼睛的第一姿态(320)；/n基于所述用户眼睛的所述第一姿态，确定用于形成近眼光场帧(120)的元素图像的阵列的位移矢量(324)；/n在基于所述位移矢量的近眼光场帧内的位置(326)处，渲染所述元素图像(122)的阵列(120)；以及/n在所述近眼显示系统的显示面板(118)处显示所述近眼光场帧。/n

【技术特征摘要】
【国外来华专利技术】20170515 US 15/595,1471.在近眼显示系统(100)中，一种方法包括：
使用所述近眼显示系统的眼睛跟踪组件(106,108)，确定用户眼睛的第一姿态(320)；
基于所述用户眼睛的所述第一姿态，确定用于形成近眼光场帧(120)的元素图像的阵列的位移矢量(324)；
在基于所述位移矢量的近眼光场帧内的位置(326)处，渲染所述元素图像(122)的阵列(120)；以及
在所述近眼显示系统的显示面板(118)处显示所述近眼光场帧。


2.根据权利要求1所述的方法，其中，确定所述位移矢量包括：
确定从由所述第一姿态表示的所述用户眼睛的默认姿态(302)起的位移(322)；以及
基于从所述用户眼睛的所述默认姿态起的所述位移，将所述位移矢量确定为表示从所述近眼光场帧内的所述元素图像的阵列的默认位置(312)起的位移。


3.根据权利要求2所述的方法，其中，确定所述位移矢量包括：
基于下述等式，确定所述位移矢量：
SV_ELEM＝-EYE_SHIFT×(F_A/D_ER)
其中，SV_ELEM表示所述位移矢量，EYE_SHIFT表示从所述用户眼睛的所述默认姿态起的所述位移，F_A表示覆盖所述显示面板的小透镜阵列的小透镜的焦距，以及D_ER表示所述小透镜阵列与所述用户眼睛之间的距离。


4.根据权利要求1所述的方法，其中，确定所述用户眼睛的所述第一姿态包括：使用被设置在所述显示面板和覆盖所述显示面板的小透镜阵列(124)之间的成像相机(708)来捕获所述用户眼睛的成像。


5.根据权利要求4所述的方法，其中：
所述成像相机从所述用户眼睛遮挡所述近眼光场帧的元素图像；以及
渲染所述元素图像的阵列包括：渲染所述元素图像的阵列，使得与被遮挡的元素图像相邻的一个或多个元素图像具有增加的强度，以补偿由被遮挡的元素图像引起的强度损失。


6.根据权利要求1所述的方法，进一步包括：
确定所述用户眼睛沿垂直于所述显示面板的轴的位置；以及
基于所述位置，缩放所述阵列的元素图像的大小。


7.在近眼显示系统(100)中，一种方法包括：
在第一时间，使用所述近眼显示系统的眼睛跟踪组件(106,108)，确定用户眼睛相对于所述近眼显示系统的显示面板(118)的第一姿态(302)；
渲染并且显示包括元素图像(122)的第一阵列的第一近眼光场帧(120)，其中，所述第一阵列在所述第一近眼光场帧内具有基于所述用户眼睛的所述第一姿态的第一位置(312)；
在第二时间，使用所述眼睛跟踪组件，确定所述用户眼睛相对于所述显示面板的第二姿态(320)，所述第二姿态不同于所述第一姿态；以及
渲染并且显示包括元素图像(122)的第二阵列的第二近眼光场帧(120)，其中，所述第二阵列在所述第二近眼光场帧内具有基于所述用户眼睛的所述第二姿态的第二位置(326)，所述第二位置不同于所述第一位置。


8.根据权利要求7所述的方法，其中：
所述第一姿态是默认姿态(302)，以及所述第一位置是默认位置(312)；以及
渲染并且显示所述第二近眼光场帧包括：
确定由所述第二姿态表示的从所述默认姿态起的位移(322)；
基于从所述用户眼睛的所述默认姿态起的所述位移来确定位移矢量(324)；以及
基于所述位移矢量，将所述第二位置确定为从所述第一位置起的位移。


9.根据权利要求8所述的方法，其中，确定所述位移矢量包括：
基于下述等式来确定所述位移矢量：
SV_ELEM＝-EYE_SHIFT×(F_A/D_ER)
其中，SV_ELEM表示所述位移矢量，EYE_SHIFT表示从所述用户眼睛的所述默认姿态起的所述位移，F_A表示覆盖所述显示面板的小透镜阵列的小透镜的焦距，以及D_ER表示所述小透镜阵列与所述用户眼睛之间的距离。


10.根据权利要求7所述的方法，其中，确定所述用户眼睛的所述第一姿态并且确定所述用户眼睛的所述第二姿态包括：使用设置在所述显示面板和覆盖所述显示面板的小透镜阵列之间的成像相机(708)来捕获所述用户眼睛的成像。


11.根据权利要求10所述的方法，其中：
渲染并且显示所述第一近眼光场帧包括：渲染所述第一近眼光场帧，使得与被所述成像相机遮挡的元素图像相邻的所述第一阵列的一个或多个元素图像具有增加的强度，以补偿由被遮挡的元素图像引起的强度损失；以及
渲染并且显示所述第二近眼光场帧包括：渲染所述第二近眼光场帧，使得与由所述成像相机遮挡的元素图像相邻的所述第二阵列的一个或多个元素图像具有增加的强度，以补偿由被遮挡的元素图像引起的强度损失。


12.一种近眼显示系统(100)，包括：
显示面板(118)，用于显示包括元素图像...

【专利技术属性】
技术研发人员：约翰·D·佩罗特，帕特里克·卢尔，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US