具有稀疏采样超分辨率的近眼显示制造技术

近眼显示系统(100)包括用于显示包括元素图像(122)的阵列和小透镜阵列(124)的近眼光场帧(120)的显示面板(118)，该小透镜阵列(124)将整体光场帧呈现给用户的眼睛(132)。该系统还包括渲染组件(104)，该渲染组件(104)至少部分地基于源图像(202)的稀疏采样来生成元素图像(122)的阵列以减少在元素图像的阵列的每个单独元素图像内包含的图像数据的重叠。近眼显示系统(100)的操作的方法包括基于主体对象的当前视点的稀疏采样来生成形成整体光场帧(120)的元素图像(122)的阵列以减少在该阵列的每个单独元素图像内包含的图像数据的重叠。

Near-Eye Display with Sparse Sampling Super-Resolution

【技术实现步骤摘要】
【国外来华专利技术】具有稀疏采样超分辨率的近眼显示
技术介绍
头戴式显示器(HMD)和其他近眼显示系统可以利用整体光场显示器或其他计算显示器来提供三维(3D)图形的有效显示。通常，整体光场显示器采用一个或多个显示面板和覆盖一个或多个显示面板的小透镜、针孔或其他光学特征的阵列。渲染系统渲染元素图像阵列，每个元素图像表示来自对应透视或虚拟相机位置的对象或场景的图像或视图。这种整体光场显示器通常表现出分辨率和良视距(eyerelief)(即，用户眼睛可以获得全视野的距离)之间的折衷。采用整体光场显示器的传统近眼显示系统通常由于小透镜投影仪阵列中的重叠而牺牲空间分辨率。附图说明通过参考附图，可以更好地理解本公开，并且其众多特征和优点对于本领域技术人员而言是显而易见的。在不同附图中使用相同的附图标记表示相似或相同的项。图1是示出根据一些实施例的采用姿势检测和稀疏采样以提供增加的显示分辨率的近眼显示系统的图。图2是示出近眼显示系统中的传统计算显示器的图。图3是示出根据一些实施例的用于在图1的近眼显示系统中使用的示例低填充因子显示器的图。图4是示出根据一些实施例的用于在图1的近眼显示系统中使用的另一示例低填充因子显示器的图。图5是示出根据一些实施例的用于在图1的近眼显示系统中使用的另一示例低填充因子显示器的图。图6是示出根据一些实施例的用于在图1的近眼显示系统中渲染具有增加的分辨率的光场帧的稀疏采样的方法的示例的流程图。图7是示出根据一些实施例的用于渲染光场帧的示例稀疏采样操作的图。图8是示出根据一些实施例的光场超分辨率的示例的图。具体实施方式图1至图8示出了用于近眼显示系统中的整体光场帧的稀疏采样超分辨率渲染的示例方法和系统。在至少一个实施例中，近眼显示系统采用计算显示器向用户显示影像的整体光场帧，以便向用户提供沉浸式虚拟现实(VR)或增强现实(AR)体验。每个整体光场帧由元素图像的阵列组成，每个元素图像表示来自不同对应视点的对象或场景的视图。小透镜阵列覆盖显示面板并且操作以将元素图像的阵列作为单个自动立体图像呈现给用户。由于计算显示器的分辨率表现出分辨率和良视距(即，用户的眼睛可以获得全视野的距离)之间的折衷，所以采用整体光场显示器的近眼显示系统通常由于小透镜投影仪阵列中的重叠而牺牲空间分辨率。为了提供改进的分辨率，在至少一个实施例中，本文描述的近眼显示系统利用低填充因子显示器的稀疏采样，以通过去除投影仪阵列元件内的图像数据中的重叠来恢复一些丢失的分辨率。作为示例，每个投影仪阵列元件可以被配置为对源图像的略微不同的子区域进行采样，因此相对于彼此具有唯一图像数据。因此，可以通过低填充因子显示器来获得源图像的稀疏采样，以减少在小透镜投影仪阵列处接收的图像数据的重叠，并且恢复由于近眼系统的观看距离减小而导致的空间分辨率的损失(例如，小于10毫米(mm)对传统光场显示器的10-40mm镜头焦距对传统放大镜显示器的40+mm)。图1示出了根据至少一个实施例的并入了整体光场帧的稀疏采样超分辨率渲染的近眼显示系统100。在所描绘的示例中，近眼显示系统100包括计算显示子系统102和渲染组件104。计算显示子系统102包括安装在装置114(例如，护目镜、眼镜等)中的左眼显示器110和右眼显示器112，该装置114将显示器110、112分别放置在用户的左眼和右眼的前面。如视图116所示，显示器110、112中的每一个包括至少一个显示面板118，以显示整体光场帧(下文中，为了便于参考，“光场帧”)的序列或连续，每个帧包括元素图像122的阵列120。为了便于参考，元素图像122的阵列120在本文中也可称为光场帧120。显示器110、112中的每一个还包括覆盖显示面板118的小透镜126(通常也称为“微透镜”)的阵列124。通常，小透镜阵列124中的小透镜126的数量等于阵列120中的元素图像122的数量，但是在其他实施方式中，小透镜126的数量可以比元素图像122的数量更少或更多。注意，尽管图1的示例示出了元素图像122的5×4阵列和小透镜126的对应的5x4阵列120以便于说明，在典型的实施方式中，光场帧120中的元素图像122的数量和小透镜阵列124中的小透镜126的数量通常要高得多。此外，在一些实施例中，为显示器110、112中的每一个实现单独的显示面板118，而在其他实施例中，左眼显示器110和右眼显示器112共享单个显示面板118，显示面板118的左半部分用于左眼显示器110并且显示面板118的右半部分用于右眼显示器112。图1的交叉视图128描绘了沿着覆盖显示面板118的小透镜阵列124的线AA的横截面视图，使得小透镜阵列124覆盖显示面板118的显示表面130，以便布置在显示器表面130和用户的对应眼睛132之间。在该配置中，每个小透镜126将显示表面130的对应区域聚焦到眼睛的瞳孔134上，每个这样的区域至少部分地与一个或多个相邻区域重叠。因此，在这样的计算显示配置中，当元素图像122的阵列120显示在显示面板118的显示表面130处然后由眼睛132通过小透镜阵列124观看时，用户感知元素图像122的阵列120作为场景的单个图像。因此，当对用户的左眼和右眼两者并行地执行该处理并且在其间实现适当的视差时，结果是向用户呈现自动立体三维(3D)图像。还如图1所示，渲染组件104包括一组一个或多个处理器，例如图示的中央处理单元(CPU)136和图形处理单元(GPU)138、140以及用于存储软件程序或其他可执行指令的一个或多个存储组件，例如系统存储器142，该软件程序或其他可执行指令由处理器136、138、140访问和执行以便操纵处理器136、138、140中的一个或多个以执行如本文所述的各种任务。这样的软件程序包括例如渲染程序144，其包括用于稀疏采样过程的可执行指令，如下所述。在操作中，渲染组件104从本地或远程内容源150接收渲染信息148，其中渲染信息148表示图形数据、视频数据或表示作为要渲染并显示在显示子系统102上的图像的主体对象或场景的其他数据。执行渲染程序144，CPU136使用渲染信息148将绘图指令发送到GPU138、140，GPU138、140继而利用绘图指令以使用各种众所周知的VR/AR计算/光场渲染过程中的任何一种并行渲染用于在左眼显示器110处显示的一系列光学帧151和用于在右眼显示器112处显示的一系列光学帧153。作为该渲染过程的一部分，CPU136可以从惯性管理单元(IMU)154接收姿势信息150，由此姿势信息150表示显示子系统102的当前姿势，并且控制一个或多个对光场帧151、153的渲染以反映来自当前姿势的对象或场景的视点。尽管这里在VR和/或AR显示器的上下文中描述了各种实施例，但是本领域技术人员将认识到，稀疏采样超分辨率渲染系统和方法被描述为类似地适用于用于捕获影像的光场相机系统。图2示出了传统计算显示器的横截面视图200。小透镜阵列124的每个小透镜126用作到用户的眼睛(例如，图1的眼睛132)上的单独“投影仪”，每个“投影仪”在从在显示面板118处显示的元素图像122的阵列120形成复合虚像202时与一个或多个相邻投影仪重叠。如该视图所示，有效折射面积(此处称为“填充因子”)接近本文档来自技高网...

【技术保护点】
1.一种近眼显示系统(100)，包括：渲染组件(104)，所述渲染组件(104)用于至少部分地基于源图像的稀疏采样来生成元素图像(122)的阵列，以减少在所述元素图像(122)的阵列的每个单独元素图像内所包含的图像数据的重叠；显示面板(118)，所述显示面板(118)用于显示包括所述元素图像(122)的阵列的整体光场帧(120)；和小透镜阵列(124)，所述小透镜阵列(124)用于向用户的眼睛(132)呈现所述整体光场帧(120)。

【技术特征摘要】
【国外来华专利技术】2017.05.26 US 62/511,5611.一种近眼显示系统(100)，包括：渲染组件(104)，所述渲染组件(104)用于至少部分地基于源图像的稀疏采样来生成元素图像(122)的阵列，以减少在所述元素图像(122)的阵列的每个单独元素图像内所包含的图像数据的重叠；显示面板(118)，所述显示面板(118)用于显示包括所述元素图像(122)的阵列的整体光场帧(120)；和小透镜阵列(124)，所述小透镜阵列(124)用于向用户的眼睛(132)呈现所述整体光场帧(120)。2.根据权利要求1所述的近眼显示系统，进一步包括：像素孔径掩模(404)，所述像素孔径掩模(404)被布置在所述显示面板(118)和所述小透镜阵列(124)之间，其中，所述像素孔径掩模(404)包括孔径(406、410、412)，所述孔径(406、410、412)被配置成相对于所述显示器(118)的实际填充因子减小所述显示面板(118)的有效填充因子。3.根据权利要求2所述的近眼显示系统，其中，所述像素孔径掩模(404)的所述孔径(406、410、412)暴露所述显示面板(118)的每个发光元件(402)的一部分，以用于向所述小透镜阵列(124)发送图像数据。4.根据权利要求3所述的近眼显示系统，其中，所述渲染组件(104)用于通过识别与每个发光元件(402)的所暴露的部分(408)相对应的源图像的区域来生成所述元素图像(122)的阵列。5.根据权利要求2所述的近眼显示系统，进一步包括：多个微透镜(502)，所述微透镜(502)被布置在所述显示面板(118)和所述像素孔径掩模(404)之间，其中，所述微透镜(502)被配置为增加到所述小透镜阵列(124)的光通过量。6.根据权利要求1所述的近眼显示系统，其中，所述渲染组件用于通过以下方式来生成所述元素图像(122)的阵列：生成所述元素图像(122)的阵列，使得所述阵列的每个单独元素图像包含相对于所述阵列中的所有其他元素图像唯一的唯一图像数据。7.根据权利要求1所述的近眼显示系统，其中，所述小透镜阵列(124)相对于所述显示面板(118)旋转，使得来自每个单独元素图像(802、804、806)的像素(810、812、814)的虚像相对于所述阵列中的所有其他元素图像在位置上平移。8.根据权利要求7所述的近眼显示系统，其中，来自每个单独元素图像(816、818、820)的像素(824)的虚像在所述阵列中的一个或多个相邻元素图像的像素的虚像之间被交织。9.一种渲染系统，包括：至少一个处理器(136、138、140)；输入端，所述输入端用于从至少一个姿势相关传感器(154)接收数据，所述数据指示主体对象相对于近眼显示面板(118)的当前视点；和存储组件(142)，所述存储组件(142)用于存储可执行指令集，所述可执行指令集被配置为操纵所述至少一个处理器以至少部分地基于所述主体对象(202)的稀疏采样来渲染包括元素图像(122)的阵列的整体光场帧(120)，以减少在所述元素图像的阵列的每个单独元素内所包含的图像数据的重叠。10....

【专利技术属性】
技术研发人员：约翰·D·佩罗特，帕特里克·卢尔，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US