具有变化位置的多焦平面制造技术

描述了用于使用多个焦平面来显示深度图像(深度加纹理)的系统和方法。在一个实施例中，深度图像(其可以是深度视频的帧，由视频加深度序列组成)被映射到图像平面的第一集合。深度图像(或深度视频的后续帧)被映射到图像平面的第二集合。第一集合和第二集合中的每个图像平面具有指定深度，并且第一集合和第二集合在至少一个深度上不同。第一集合中的每个图像平面在其相应深度处显示，并且随后第二集合中的每个图像平面在其相应深度处显示。第一集合和第二集合的显示可以以足够高的速率循环交替以避免可感知的闪烁。交替以避免可感知的闪烁。交替以避免可感知的闪烁。

【技术实现步骤摘要】
具有变化位置的多焦平面
本申请为2019年1月16日递交的题为“具有变化位置的多焦平面”的中国专利申请No.201980018130.9的分案申请，该申请通过引用整体结合在此。相关申请的交叉引用
[0001]本申请是以下专利申请的非临时提交并且基于35 U.S.C.
§
119(e)要求以下专利申请的权益：2018年01月19日提交、名称为“具有变化位置的多焦平面”的美国临时专利申请序列号62/619,401，该美国临时专利申请通过引用整体结合在此。

技术介绍

[0002]多焦平面(MFP)显示器创建离散焦平面的堆叠(stack)，从而沿着观看者的视轴根据层组成3D场景。通过以不同深度和空间角度从焦平面向用户投影那些像素来形成3D场景的视图，用户的眼点可以看到这些像素。
[0003]多焦平面可以通过空间复用2D显示器的堆叠来实现，或者通过在空间渲染相应多焦图像帧的可见部分的同时由高速变焦元件(VFE)以时间复用方式顺序切换单个2D显示器的焦距来实现。图2中示出了MFP近眼显示器的实例。图2示出了由用户的左眼202和右眼204观看的显示器。为每只眼睛提供相应的目镜206、208。目镜聚焦由相应的图像堆叠210、212形成的图像。图像堆叠在距目镜的不同距离处形成不同的图像。对于用户的眼睛，图像看起来源于不同的虚像平面，例如图像平面214、216、218。
[0004]多焦平面(MFP)显示器是支持3D渲染场景中的自然适应的有吸引力的方式。由于各种技术原因，近眼显示器(NED)通常仅能够支持相对少量的MFP，从而限制了图像质量。在许多现有方法中，焦平面的位置是固定的，从而创建永久平均误差分布，相比于在焦平面之间的信息，更支持在焦平面处或附近的信息。
[0005]相对于从眼点的观察方向，多个焦平面主要是互补的，而不是相加的。然而，当观察从离散焦平面编译的视图时，加性效应可以平滑可见的量化步长和轮廓。
[0006]注意，在(虚拟)焦平面的堆叠中的每个图像在不同深度处被渲染，并且眼睛使那些没有被观察到的焦平面图像模糊。这意味着MFP显示器不需要基于眼睛跟踪(用于捕获调节深度)来模拟模糊，这是该方法的相当大的益处。盒式滤波器。
[0007]可以通过将对应于每个图像的深度图切片成窄深度区域(切片)并将对应的像素投影到每个深度区域中间的(平坦)焦平面中来形成焦平面图像的近似。
[0008]当观察焦平面的堆叠时，合成视图由从观察者的眼点可见的不同焦平面上的信息形成。切片成深度区域导致MFP在空间(x
‑
y)方向上彼此完成，而不是沿着深度维度(z维度)相加。
[0009]结果，如图3所示，平滑的3D表面在深度维度上被量化。
[0010]盒式滤波器以严格的方式在空间(x
‑
y)和深度(z)维度上分离图像信息。由于仅使用离散数量的焦平面，深度维度被大量量化，导致呈现3D形状的低精度。
[0011]较大数量的焦平面意味着更好的深度精度，但是也更难以实现。由于技术原因，焦
平面的数量实际上被限制为仅少数。
[0012]焦平面的精度通常对于与焦平面处于相同深度的像素是最佳的。在焦平面之间，精度较低，导致显示的图像内容的模糊，即使当基于深度的混合被用于内插深度值并且减少所渲染的视图中的深度量化效应时。帐篷式滤波器。
[0013]所谓的基于深度的混合可用于减少深度维度中的量化误差，否则其可能对于人眼是可见的。深度混合涉及使用基于深度的函数来对用于构建每个焦平面的像素进行加权。
[0014]一种已知的深度混合函数是所谓的帐篷式滤波器，它是分段线性的锯齿形混合函数(图4B)。对于盒式滤波器，图4A中示出了相应的函数。除了上述混合滤波器之外，还建议了其它变化，包括在“Xinda Hu，“Development of the Depth
‑
Fused Multi
‑
Focal
‑
Plane Display Technology”，PhD论文，亚利桑那大学(2014)”中描述的那些。焦平面的数量。
[0015]对于任何人，最多二十八个焦平面被认为足以覆盖从无穷远到4屈光度(25cm)的深度范围，对应于焦平面的1/7屈光度间隔。对于具有平均视力的人，十四个焦平面可能就足够了。
[0016]因此，对于高质量的深度感知，焦平面的理想数量是相当高的。另一方面，显示大量焦平面受到各种技术原因的限制。然而，焦平面的智能产生和定位允许更少的焦平面来重建高保真视图。
[0017]当仅使用几个焦平面时，考虑到人眼特性，它们被良好地定位是有益的。因为深度感知的精度与距观看者的距离成反比地降低，所以通常通过放置作为屈光深度的函数的几个深度平面来获得更高的精度。另外，焦平面的表观数量可以通过深度混合来增加。
[0018]由于各种技术原因，在实际应用中的焦平面的数量受到限制。在基于堆叠物理显示器的MFP显示器中，增加显示器的数量会引起透明度方面的问题(由于显示器材料特性)并且增加显示器结构的厚度。在基于(物理或虚拟显示器的)时间复用的实现中，增加复用显示器的数量降低了每个MFP的亮度(通过降低它们的开关比)，再次限制了MFP的最大数量。
[0019]无论实施方式如何，焦平面的数量实际上被限制为相对较少(例如，4至6)。本文描述的示例性实施例允许即使在相对少量的焦平面可用时也实现良好质量的深度成像。

技术实现思路

[0020]在示例性实施例中，提供了一种多焦平面(MFP)显示器，其中焦平面的位置随时间变化。深度混合函数和焦平面位置以时间相关但内容无关的方式变化。作为示例，可以使用一类正弦深度混合函数，其提供良好的空间分离，并且支持在变化的位置中容易地形成焦平面。
[0021]一些实施例提供了一种用于使用时变焦平面位置将焦平面图像的视频序列渲染到多焦平面显示器的方法。在一个这样的方法中，选择焦平面集合以用于经由多焦平面显示器显示视频序列，其中焦平面集合中的每个焦平面与焦距相关联。焦平面的集合被划分成多个子集，其中在一个周期中单独选择子集以渲染视频序列的连续帧。使用所述多焦平面显示器来渲染具有相关联的深度信息的视频帧的时间序列。为了渲染视频帧的时间序
列，可以执行包括以下步骤的方法。对于每个视频帧，基于子集的循环排序来选择子集中的一个。基于所选择的子集选择或生成混合函数集合。基于视频帧、视频帧的相关联的深度信息和混合函数的集合，为所选择的子集中的焦平面中的每一个焦平面生成焦平面图像。使用所生成的焦平面图像在多焦平面显示器上显示视频帧。可以以时间复用的方式显示所生成的焦平面图像。
[0022]在一些这样的实施例中，视频帧的显示包括向多焦平面显示器提供所生成的焦平面图像和相关联的焦距。
[0023]在一些实施例中，显示视频帧的步骤包括调整可变焦透镜以允许显示所生成的焦平面图像中的每一个焦平面图像，其中调整基于与所选择的焦平面子集的相应焦平面相关联本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于显示具有对应深度信息的视频的方法，包括：获得指示焦平面的时变数量的信息，焦平面的数量对于所述视频中的至少两个不同帧是不同的；对于所述视频中的每个帧，将所述图像帧映射到具有不同的相关联的深度的图像平面的集合，所述集合中的图像平面的数量基于针对相应帧的焦平面的时变数量；以及在多焦平面显示设备中的对应焦平面处，渲染所述集合中的所述图像平面中的每个图像平面。2.根据权利要求1所述的方法，其中，指示焦平面的所述时变数量的所述信息是从服务器获得的。3.根据权利要求1所述的方法，其中，指示焦平面的所述时变数量的所述信息是基于所述视频的内容来确定的。4.根据权利要求1所述的方法，还包括从服务器获得指示所述焦平面的所述深度的信息。5.根据权利要求1所述的方法，还包括基于所述视频的内容来确定所述焦平面的所述深度。6.根据权利要求1所述的方法，其中将所述图像帧映射到所述图像平面是通过使用一组混合函数来执行的。7.根据权利要求6所述的方法，其中，所述混合函数中的至少一个是正弦混合函数。8.根据权利要求1所述的方法，其中，所述图像平面以交错的顺序在所述对应的焦平面处被渲染，使得在至少两个图像平面在对应的两个焦平面处被渲染之后，至少第三图像平面在所述两个焦平面之间的深度处被渲染。9.一种用于显示具有对应深度信息的视频的显示设备，所述设备包括至少一个处理器，所述至少一个处理器被配置为执行一种方法，所述方法包括：获得指示焦平面的时变数量的信息，焦平面的数量对于所述视频中的至少两个不同帧是不同的；对于视频中的每个帧，将所述图像帧映射到具有不同的相关联的深度的数个图像平面，针对相应帧的图像平面的数量基于焦平面的所述时变数量；以及在多焦平面显示设备中的对应的焦平面处，渲染所述图像平面中的每一个。10.根据权利要求9所述的显示设备，其中，指示焦平面的所述时变数量的所述信息是从服务器获得的。11.根据权利要求9所述的显示设备，其中，指示焦平面的所述时变数量的所述信息是基于所述视频的内容来确定的。12.根据权利要求9所述的显示设备，还被配置为从服务器获得指示所述焦平面的所述深度的信息。13.根据权利要求9所述的显示设备，还被配置为基于所述视频的内容来确定所述焦平面的所述深度。14.根据权利要求9所述的显示设备，其中将所述图像帧映射到所述图像平面是使用一组混合函数来执行...

【专利技术属性】
技术研发人员：塞波，
申请(专利权)人：PCMS控股公司，
类型：发明
国别省市：