一种近眼显示系统(100)包括覆盖显示面板(118)的小透镜(206)的阵列(202)。所述显示面板包括光投射元件(218)的阵列，每个光投射元件与相对应的小透镜的轴同轴。所述显示面板还包括光检测元件(202)的阵列和子像素元件(210,212,214,216,222,222,224,226,228,230)的阵列。所述系统还包括控制组件(160)，所述控制组件(160)被配置为激活所述光投射元件的阵列以朝向用户的眼睛投射光点(504)的图案(506)并且控制所述光检测元件的阵列以捕获表示来自所述眼睛的光点的投射图案的反射的图像(164)。所述系统还包括分析组件(162)，所述分析组件(162)用于确定所捕获的图像中的光点的至少一个子集的预期位置(514,524)和实际位置(512,522)之间的位移(516,526)，并且基于所述位移表征所述眼睛。
【技术实现步骤摘要】
【国外来华专利技术】针对眼睛表征基于反射波前分析的具有帧渲染的近眼显示器
本公开总体上涉及一种近眼显示器，并且更具体地，涉及一种用于计算的近眼显示器的帧渲染。
技术介绍
头戴式显示器(HMD)和其它近眼显示系统能够利用近眼光场的显示器或其它计算的显示器来提供三维(3D)图形的有效显示。一般地，近眼光场的显示器采用一个或多个显示面板以及覆盖所述一个或多个显示面板的小透镜的阵列、针孔、或其它光学特征。渲染系统渲染要素图像的阵列，其中每个要素图像表示来自相对应的透视或虚拟摄像机位置的对象或场景的图像或视图。一般地，要素图像的每个阵列是参考特定焦平面来渲染的，并且是基于用户的眼睛无实质像差的假定来渲染的。然而，如果用户的眼睛经受折射误差或其它像差，则所显示的影像可能出现模糊或失真。为了避免此类问题，能够将近眼显示设备设计成许可用户佩戴矫正眼镜，但是所得到的形状因数由于重量、惯性和大小原因通常是不切实际的。类似地，在用户的眼睛的当前适应状态与渲染要素图像的阵列的焦平面不一致的条件下产生不一致的深度提示，这对于用户可产生认知疲劳并且因此减损用户的体验。附图说明通过参考附图，可以更好地理解本公开，并且其许多特征和优点对于本领域的技术人员而言变得显而易见。在不同的附图中使用相同的附图标记指示类似或相同的项目。图1是图示根据一些实施例的基于经由波前失真估计的眼睛表征采用光场帧渲染的近眼显示系统的图。图2是根据一些实施例更详细地图示图1的近眼显示系统的显示面板和覆盖小透镜阵列的图。图3是图示根据一些实施例的用于基于波前失真估计表征用户的眼睛并且基于该眼睛表征控制影像渲染过程的方法的流程图。图4是图示根据一些实施例的在眼睛表征过程期间的显示面板和覆盖小透镜阵列的横截面视图的图。图5是图示根据一些实施例的从用户的眼睛捕获由图2的显示面板投射的光点图案的反射的图像的图。具体实施方式图1-图5图示用于在近眼显示系统中基于使用波前失真估计来表征用户的眼睛从而改进图像渲染的示例系统和技术。在至少一个实施例中，近眼显示系统采用由一个或多个显示面板组成的计算的显示器来向用户显示影像的近眼光场帧，以便给用户提供有沉浸式虚拟现实(VR)或增强现实(AR)体验。每个近眼光场帧由要素图像的阵列组成，其中每个要素图像表示来自不同的相对应视点的对象或场景的视图。小透镜的阵列覆盖每个显示面板并且操作为将要素图像的阵列作为单个自动立体图像呈现给用户。除了向用户显示AR或VR视频影像之外，显示面板还促进经由波前失真估计过程表征用户的一只或两只眼睛。为此，在至少一个实施例中，显示面板并入用于通过小透镜阵列朝向眼睛透射光点的图案的光投射元件(例如，红外(IR)光投射二极管)的阵列以及用于捕获来自眼睛的结构的光点图案的反射作为图案反射图像的光检测元件(例如，光电二极管)的阵列两者。在没有像差的眼睛中，作为光点图案的反射的结果而射出眼睛的波前将是完全平坦的，并且因此波前将直接击中小透镜阵列的小透镜。结果，所捕获的反射光点图案的图像中的光点的图案将与由光投射元件的阵列投射的光点图案中的光点的图案匹配。也就是说，在完美的眼睛中，所捕获的反射图案中的光点的实际位置将与假定完全平坦波前的相对应的光点的预期位置相一致。相比之下，眼睛的角膜、视网膜、或形状中的一个或多个方面的缺陷或其它眼睛像差使射出眼睛的波前失真。波前中的这些失真进而使波前的相对应的射线以一个角度照射小透镜阵列的相对应的小透镜，这进而使相对应反射光点的实际位置从反射图案图像中的相对应的预期位置移位。实际位置与反射光点的预期位置的位移的幅度与相对应的小透镜处的波前的位置区域的斜率成比例，同时位移的角度是基于此斜率的方向或角度的。鉴于这些原理，近眼显示系统能够根据反射光点的实际/预期位置位移确定波前的形状。近眼显示系统然后可以使用所识别的波前失真(也就是，波前的形状与平坦波前的偏差)中的一些或全部来表征用户的眼睛。对用户的眼睛的这种表征能够包括例如识别存在于用户的眼睛中的像差、识别用户的眼睛的当前适应状态等。近眼显示系统利用眼睛的表征来控制渲染过程的一个或多个方面用于在显示面板处显示光场帧的序列。为了图示，在一些实施例中，近眼显示系统控制光场帧的渲染以补偿用户的眼睛中所检测到的像差。以这种方式，近眼显示系统可以为各种缺陷的眼睛提供规定性校正，否则将要求用户佩戴眼镜、隐形眼镜或其它矫正透镜以用于矫正目的，并且因此消除用户在利用近眼显示系统的同时佩戴此类矫正透镜的需要。随着近眼显示系统将因此不再需要促进用户在使用期间佩戴眼镜，近眼显示系统能够实现将小透镜阵列和显示面板放置得更靠近用户的眼睛的配置，并且因此产生更小且更轻的形状因数。作为另一示例，在一些实施例中，近眼显示系统在指定焦平面的基础上渲染光场帧，并且近眼显示系统可以使用眼睛的表征来确定眼睛的当前适应状态，并且根据此当前适应状态选择用于渲染光场帧的适当的焦平面，使得在光场帧中给用户呈现有与当前适应状态一致的深度提示，并且因此使得能够为用户实现有效沉浸式体验。图1图示根据至少一个实施例的并入基于眼睛表征的图形渲染的近眼显示系统100。在所描绘的示例中，近眼显示系统100包括计算的显示子系统102、渲染组件104和一个或多个眼睛表征组件，诸如用于表征用户的左眼的眼睛表征组件106和用于表征用户的右眼的眼睛表征组件108中的一个或二者。计算的显示子系统102包括在装置114(例如，护目镜、眼镜等)中安装的左眼显示器110和右眼显示器112，所述装置114将显示器110、112分别放置在用户的左眼和右眼的前面。简要地参考图2，根据至少一个实施例描绘显示器110的展开视图。显示器112被类似地配置。如所示，显示器110包括至少一个显示面板118以显示一系列或连串的近眼光场帧(在下文中，为了易于参考称为“光场帧”)，其中的每一个均包括要素图像的阵列。为了易于参考，要素图像的阵列在本文中还可以被称为光场帧。显示器110还包括覆盖显示面板118的小透镜206(也通常称为“微透镜”)的阵列120。通常，小透镜阵列120中的小透镜206的数目等于光场帧中的要素图像的数目，但是在其它实施方式中小透镜206的数目可以少于或大于要素图像的数目。注意的是，虽然为了易于图示图1的示例图示小透镜206的5×4阵列120，但是在典型的实施方式中光场帧中的要素图像的数目和小透镜阵列120中的小透镜206的数目通常高得多。另外，在一些实施例中，单独的显示面板118被实现用于显示器110、112中的每一个，然而在其它实施例中左眼显示器110和右眼显示器112共享单个显示面板118，其中显示面板118的左半部分被用于左眼显示器110并且显示面板118的右半部分被用于右眼显示器112。如图2中所示，显示面板118实现显示元件204(例如，“像素”)的阵列202，其中每个显示元件204包括一个或多个彩色子像素，诸如在强度上被控制的红色、绿色、蓝色和白色子像素的集合，使得其组合光输出被眼睛感知为特定颜色的单个“像素”。以这种方式，渲染组件104能够控制阵列202，以显示表示场景的影像的光场帧的序列。另外，如在本文中更详细地描述的，近眼显示系统100通过小透镜阵列120来将光点图案投射到用户的眼睛，并且通过小透本文档来自技高网...
【技术保护点】
1.一种近眼显示系统(100)，包括：小透镜(206)的阵列(202)；显示面板(118)，所述显示面板(118)面向所述小透镜的阵列，所述显示面板包括：光投射元件(218)的阵列，其中，每个光投射元件与所述小透镜的阵列的相对应的小透镜的轴同轴；光检测元件(220)的阵列；以及子像素元件(210,212,214,216,222,222,224,226,228,230)的阵列；控制组件(160)，所述控制组件(160)耦合到所述显示面板并且被配置为激活所述光投射元件的阵列以朝向用户的眼睛投射光点(504)的图案(506)并且被配置为控制所述光检测元件的阵列以捕获表示来自所述眼睛的光点的投射图案的反射的图像(164)；以及分析组件(162)，所述分析组件(162)用于确定所捕获的图像中的光点的至少一个子集的预期位置(514,524)和实际位置(512,522)之间的位移(516,526)，并且用于基于所述位移来表征所述眼睛。
【技术特征摘要】
【国外来华专利技术】2017.06.15 US 62/520,295;2018.03.09 US 15/917,3751.一种近眼显示系统(100)，包括：小透镜(206)的阵列(202)；显示面板(118)，所述显示面板(118)面向所述小透镜的阵列，所述显示面板包括：光投射元件(218)的阵列，其中，每个光投射元件与所述小透镜的阵列的相对应的小透镜的轴同轴；光检测元件(220)的阵列；以及子像素元件(210,212,214,216,222,222,224,226,228,230)的阵列；控制组件(160)，所述控制组件(160)耦合到所述显示面板并且被配置为激活所述光投射元件的阵列以朝向用户的眼睛投射光点(504)的图案(506)并且被配置为控制所述光检测元件的阵列以捕获表示来自所述眼睛的光点的投射图案的反射的图像(164)；以及分析组件(162)，所述分析组件(162)用于确定所捕获的图像中的光点的至少一个子集的预期位置(514,524)和实际位置(512,522)之间的位移(516,526)，并且用于基于所述位移来表征所述眼睛。2.根据权利要求1所述的近眼显示系统，其中，所述分析组件通过基于所述位移检测所述眼睛中的折射像差来表征所述眼睛。3.根据权利要求1所述的近眼显示系统，其中，所述分析组件通过基于所述位移检测所述眼睛的适应状态来表征所述眼睛。4.根据权利要求1所述的近眼显示系统，还包括：渲染组件(104)，所述渲染组件(104)耦合到所述显示面板并且被配置成渲染光场帧(153)的序列，用于经由所述子像素元件的阵列显示给所述用户。5.根据权利要求4所述的近眼显示系统，其中，所述渲染组件基于所述眼睛的表征调整用于所述光场帧的序列的渲染过程的至少一个方面。6.根据权利要求5所述的近眼显示系统，其中：所述分析组件通过基于所述位移检测所述眼睛的像差来表征所述眼睛；并且所述渲染组件渲染所述光场帧的序列，以便补偿所检测到的像差。7.根据权利要求5所述的近眼显示系统，其中：所述分析组件通过基于所述位移检测所述眼睛的当前适应状态来表征所述眼睛；并且所述渲染组件基于...
【专利技术属性】
技术研发人员：约翰·D·佩罗特，帕特里克·卢尔，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。