焦面显示制造技术

本申请涉及焦面显示。头戴式显示器(HMD)使用空间可编程的聚焦元件来调整虚拟场景的光的相位。虚拟场景的深度被近似到一个或更多个焦面，且焦面的形状然后被调整以最小化焦面到虚拟场景中的特征的距离。由此形成的焦面的形状是连续的分段平滑三维曲线。为每个焦面生成相位函数，其当由空间可编程的聚焦元件执行时再现对应于每个焦面的聚焦模式，这使波阵面弯曲并成形以产生符合场景几何形状的聚焦模式。式。式。

【技术实现步骤摘要】
焦面显示
[0001]本申请是申请日为2018年1月8日，申请号为201880018483.4，专利技术名称为“焦面显示”的申请的分案申请。
[0002]背景
[0003]本公开总体上涉及增强来自电子显示器的图像，并且特别地涉及改变光学器件的焦距以增强图像。
[0004]头戴式显示器(HMD)可以用于模拟虚拟环境。传统的双目HMD用在虚拟场景中呈现给观看用户的信息来改变对视觉辐辏(vergence)的刺激，同时对调节(accommodation)的刺激如由观察光学系统(viewing optics)创建的，保持固定在显示器的视距处。持续的视觉辐辏调节冲突(VAC)与视觉不适相关联，激发了用于实现接近恰当的调节提示的许多建议。
[0005]视觉辐辏是两只眼睛在相反方向上的同时移动或旋转以获得或维持与眼睛的调节有关联的双眼单视(single binocular vision)。在正常条件下，改变眼睛的焦点以看在不同距离处的对象自动引起视觉辐辏和调节。例如，当现实对象移动得更靠近看该现实对象的用户时，用户的眼睛向内旋转以保持逼近该对象。当对象变得更靠近用户时，眼睛必须通过减小焦强或焦距来“适应”于更近的距离，这通过每只眼睛改变它的形状来自动实现。因此，在现实世界中的正常条件下，视觉辐辏深度对应于用户正在看的地方，这也等于用户的眼睛的焦距。
[0006]然而，一些三维(3D)电子显示器常常出现视觉辐辏和调节之间的冲突。例如，当虚拟对象被再现在3D电子显示器上以移动得更靠近看该对象的用户时，用户的每只眼睛向内旋转以保持逼近该对象，但是每只眼睛的焦强或焦距没有减小；因此，用户的眼睛不如在现实世界中一样的适应。不是减小焦强或焦距以适应于更近的视觉辐辏深度，而是眼睛保持调节在与3D电子显示器相关的距离处。因此，对于显示在3D电子显示器上的对象，视觉辐辏深度常常不等于人眼的焦距。在视觉辐辏深度和焦距之间的这个差异被称为“视觉辐辏调节冲突”。只经历视觉辐辏或调节(而不是同时经历两者)的用户可能经历某种程度的疲劳或恶心，这对于虚拟现实系统创建者是不希望有的。
[0007]概述
[0008]头戴式显示器(HMD)使用空间可编程的聚焦元件(例如在相位调制模式中操作的空间光调制器)来调整从电子显示器接收的虚拟场景的光的相位。例如，头戴装置(headset)接收虚拟场景的虚拟场景数据，该虚拟场景数据包括在虚拟场景中的不同部分或点的场景几何数据或深度值。在虚拟场景的光由观看虚拟场景的用户的眼睛接收到之前，空间光调制器(SLM)调整虚拟场景的光的聚焦模式或波阵面(wavefront)。虽然传统的头戴式显示器通常实现单个固定焦面(focal surface)，但是SLM作为具有在空间上变化的焦距的可编程透镜来进行操作，允许HMD的显示的不同像素的虚拟图像(从HMD的出射光瞳)看起来形成在虚拟场景内的不同深度处，从而使合成焦面成形以符合虚拟场景几何形状。
[0009]为了确定在虚拟场景中的焦面的位置，虚拟场景的深度值的范围基于场景几何数据来被近似到一组一个或更多个离散深度值。在一个实施例中，虚拟场景中的场景点基于
它们的相关深度值被聚集，以识别对应于每个集群(cluster)的平均深度值的该组一个或更多个离散深度值。虚拟场景的深度然后被分割成在虚拟场景内的一个或更多个离散深度值中的每一个处的一个或更多个焦平面(focal plane)。因此，对于每个焦平面，焦平面的形状被调整以最小化焦平面到集群中的每个场景点的距离。这将焦平面的形状扭曲(warp)到开始将焦平面称为焦面是合理的情况，因为焦平面被弯曲、扭曲和/或调整以符合在虚拟场景中的最接近焦平面的一组场景点、部分或特征。由此产生的焦面的形状是连续的分段平滑三维曲线，与具有位于固定焦深处的平坦表面的多焦点显示不同。因此例如，场景可以被分割成三个焦面(近、中间、远)，每个焦面被不同地弯曲或扭曲以分别符合在虚拟场景中的(近、中间、远)对象。
[0010]给定一组焦面，为每个焦面生成相位函数。相位函数当由SLM执行时使SLM再现对应于每个焦面的聚焦模式。这通过SLM将相位延迟添加到来自电子显示器的光的波阵面来实现。相位延迟使波阵面的形状被弯曲并扭曲成每个焦面的形状，从而产生符合场景几何形状的聚焦模式。
[0011]根据本专利技术的实施例在针对方法、存储介质和系统的所附权利要求中被具体公开，其中在一个权利要求类别(例如方法)中提到的任何特征也可以在另一个权利要求类别(例如系统、计算机程序产品)中被要求保护。在所附权利要求中的从属性或往回引用仅为了形式原因而被选择。然而，也可以要求保护由对任何前面的权利要求的有意往回引用(特别是多项引用)而产生的任何主题，使得权利要求及其特征的任何组合被公开并可以被要求保护，而不考虑在所附权利要求中选择的从属性。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例和特征的组合的形式或以与所附权利要求的任何特征的任何组合的形式被要求保护。
[0012]在实施例中，一种系统包括：
[0013]至少一个处理器；
[0014]电子显示元件，其被配置为显示虚拟场景；以及
[0015]存储器，其包括指令，该指令当由至少一个处理器执行时使至少一个处理器：
[0016]基于为虚拟场景获得的场景几何形状来将虚拟场景分割成在虚拟场景中的一组焦面，每个焦面与一组最近场景点相关联；
[0017]调整每个焦面的形状以最小化在对于焦面的一组最近场景点中的每个场景点与焦面之间的距离；
[0018]为每个焦面生成相位函数，用于调整与焦面的所调整的形状一致的虚拟场景的光的波阵面；以及
[0019]光学块(optics block)，其包括空间可编程的聚焦元件，该聚焦元件被配置为：
[0020]从电子显示元件接收虚拟场景的光的波阵面；
[0021]针对该组焦面中的每个焦面，基于与焦面相关联的相位函数来调整波阵面；以及
[0022]经由系统的出射光瞳来向用户提供对于每个焦面的虚拟场景的光的所调整的波阵面。
[0023]在实施例中，存储器包括指令，该指令当由至少一个处理器执行时还使至少一个处理器：
[0024]聚集虚拟场景中的场景点，每个场景点与对应于虚拟场景中的场景点的位置的场景几何数据相关联；以及
[0025]基于所聚集的场景点和相关联的场景几何数据来确定该组焦面中的每一个焦面的位置。
[0026]在实施例中，存储器还包括指令，该指令当由至少一个处理器执行时使得至少一个处理器：
[0027]对于每个相位函数，确定待显示在电子显示元件上的虚拟场景的彩色图像。
[0028]在实施例中，每个焦面的所调整的形状是在空间上变化的分段平滑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：基于虚拟场景的场景几何数据来将所述虚拟场景分割成一组焦面，所述场景几何数据识别在所述虚拟场景中的一个或更多个对象的深度；对于所述一组焦面中的一个焦面，调整所述焦面的形状，以最小化在所述焦面与所述虚拟场景中到所述焦面的一个或更多个最近对象之间的距离；以及对于所述焦面，生成相位函数，所述相位函数用于空间光调制器调整所述虚拟场景的光的波阵面，所述相位函数当由所述空间光调制器应用时在所述波阵面中引入相位延迟，使得再现对应于所述焦面的所调整的形状的聚焦模式。2.根据权利要求1所述的方法，其中，所述空间光调制器被配置成：接收所述虚拟场景的光的波阵面；针对所述焦面，基于所述相位函数，调整所述波阵面；以及将针对所述焦面的所述虚拟场景的光的所调整的波阵面提供给头戴式显示器的出射光瞳。3.根据权利要求1所述的方法，其中，基于所述场景几何数据来将所述虚拟场景分割成所述一组焦面还包括：将所述虚拟场景中的所述一个或更多个对象的深度值聚集到一个或更多个聚集深度值；以及确定最小化在所述焦面与所述一个或更多个聚集深度值中的聚集深度值之间的距离的所述焦面的深度。4.根据权利要求3所述的方法，其中，基于所述场景几何数据来将所述虚拟场景分割成所述一组焦面还包括：在所述焦面与所述一个或更多个聚集深度值之间应用非线性最小二乘法优化。5.根据权利要求1所述的方法，其中，基于所述场景几何数据来将所述虚拟场景分割成所述一组焦面还包括：将所述一个或更多个对象的深度值的范围近似到一组离散深度值，所述一组焦面中的每个焦面对应于不同的离散深度值。6.根据权利要求5所述的方法，其中，所述一组离散深度值中的每一个对应于一组聚集深度值的平均深度值。7.根据权利要求1所述的方法，其中，所述空间光调制器被包括在具有电子显示器的头戴式显示器中，所述电子显示器被配置成显示所述虚拟场景，以及其中，所述电子显示器和所述空间光调制器基于对应的相位函数对所述一组焦面中的每个焦面的波阵面的调整进行时间多路复用，以生成提供给经由所述头戴式显示器观看所述虚拟场景的用户的所述虚拟场景的合成图像。8.根据权利要求1所述的方法，其中，所述相位函数通过引入与所述焦面的调整的形状相关联的相位延迟来针对所述焦面移动所述虚拟场景的光，并且其中，所述焦面是连续变化的形状或不连续的表面中的至少一种。9.一种方法，包括：通过头戴式显示器，基于关于虚拟场景的场景几何形状来将所述虚拟场景分割成第一焦平面和第二焦平面，所述第一焦平面与第一组最近场景点相关联，以及所述第二焦平面
与第二组最近场景点相关联；调整所述第一焦平面的第一形状以生成第一焦面，从而最小化在所述第一组最近场景点中的每个场景点与所述第一焦面之间的距离；调整所述第二焦平面的第二形状以生成第二焦面，从而最小化在所述第二组最近场景点中的每个场景点与所述第二焦面之间的距离；以及为所述第一焦面和所述第二焦面中的每一个生成相位函数，以用于空间光调制器调整所述虚拟场景的光的波阵面，所述相位函数当由所述空间光调制器应用时在所述波阵面中引入相位延迟，使得再现对应于所述第一焦面或所述第二焦面的所调整的形状的聚焦模式。10.根据权利要求9所述的方法，其中，所述头戴式显示器还包括被配置成显示所述虚拟场景的电子显示器，以及其中，所述电子显示器和所述空间光调制器基于对应的相位函数对所述第一焦面或所述第二焦面的波阵面的调整...

【专利技术属性】
技术研发人员：亚历山大，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：