【技术实现步骤摘要】
【国外来华专利技术】用于显示系统的基于深度的凹式渲染优先权要求本申请要求如下申请的优先权：于2018年3月16日提交的美国临时申请号62/644,365；于2017年3月22日提交的美国临时申请号62/475,012；于2017年4月17日提交的美国临时申请号62/486,407；以及于2017年8月1日提交的美国临时申请号62/539,934。出于所有目的，上述专利申请通过引用整体并入在此。通过引用并入本申请通过引用并入以下专利申请和出版物中每一种的全部：2014年11月27日提交的美国专利申请号14/555,585，2015年7月23日公开为美国公开号2015/0205126；2015年4月18日提交的美国申请号14/690,401，2015年10月22日公开为美国公开号2015/0302652；2014年3月14日提交的美国申请号14/212,961，现为2016年8月16日公布的美国专利号9,417,452；2014年7月14日提交的美国申请号14/331,218，2015年10月29日公开为美国公开号2015/0309263；2018年2月22日提交的美国申请号15/902,927；2017年3月22日提交的美国临时申请号62/475,012；以及2017年8月1日提交的美国临时申请号62/539,934。
本公开涉及显示系统，包括增强现实成像和可视化系统。
技术介绍
现代的计算和显示技术已经促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中，数字再现的图像或其部分以看起来像是或可...
【技术保护点】
1.一种系统，包括一个或多个处理器和一个或多个计算机存储介质，所述计算机存储介质存储指令，所述指令当由所述一个或多个处理器执行时，使所述一个或多个处理器执行包括以下的操作：/n基于经由一个或多个传感器检测到的信息，监视用户的眼睛运动；/n基于所述眼睛运动，确定所述用户的眼睛正在注视的注视点，其中，所述注视点是所述用户的视野中的三维位置；/n获得与一个或多个虚拟对象相关联的位置信息以呈现给所述用户，所述位置信息指示所述虚拟对象的三维位置；/n至少部分地基于至少一个虚拟对象与所述注视点的接近度来调节所述至少一个虚拟对象的分辨率；以及/n使得经由显示设备向所述用户呈现所述一个或多个虚拟对象，所述至少一个虚拟对象根据相应的调节的分辨率被渲染。/n
【技术特征摘要】
【国外来华专利技术】20170322 US 62/475,012;20170417 US 62/486,407;20171.一种系统，包括一个或多个处理器和一个或多个计算机存储介质，所述计算机存储介质存储指令，所述指令当由所述一个或多个处理器执行时，使所述一个或多个处理器执行包括以下的操作：
基于经由一个或多个传感器检测到的信息，监视用户的眼睛运动；
基于所述眼睛运动，确定所述用户的眼睛正在注视的注视点，其中，所述注视点是所述用户的视野中的三维位置；
获得与一个或多个虚拟对象相关联的位置信息以呈现给所述用户，所述位置信息指示所述虚拟对象的三维位置；
至少部分地基于至少一个虚拟对象与所述注视点的接近度来调节所述至少一个虚拟对象的分辨率；以及
使得经由显示设备向所述用户呈现所述一个或多个虚拟对象，所述至少一个虚拟对象根据相应的调节的分辨率被渲染。
2.根据权利要求1所述的系统，其中，调节虚拟对象的分辨率包括降低所述虚拟对象的呈现质量。
3.根据权利要求2所述的系统，其中，降低所述虚拟对象的呈现质量包括以下中的一项或多项：减少所述虚拟对象的多边形计数，调节用于生成所述虚拟对象的图元，调节所述虚拟对象上执行的操作，调节纹理信息，调节颜色分辨率或深度，以及调节渲染周期数或帧速率。
4.根据权利要求1所述的系统，其中，所述视野对应于所述显示设备的显示平截体。
5.根据权利要求1所述的系统，其中，所述视野包括多个区域，每个区域代表所述视野内的空间的体积，所述显示设备能够在所述视野中呈现虚拟对象，
其中，所述区域从所述视野内的初始深度延伸到所述视野内的终止深度，以及
其中，所述一个或多个虚拟对象与所述注视点的所述接近度对应于将要呈现所述虚拟对象的第一区域与所述注视点所在的第二区域分开的距离。
6.根据权利要求5所述的系统，其中，调节所述至少一个虚拟对象的分辨率包括从最初分配给所述至少一个虚拟对象的分辨率来降低分辨率，其中，所述接近度对应于将所述第一区域与所述第二区域分开的区域的总数。
7.根据权利要求5所述的系统，其中，所述注视点所在的所述第二区域被分配最大分辨率，并且其中，其余区域根据一个或多个下降率被分别被分配为从所述最大分辨率减小的分辨率。
8.根据权利要求5所述的系统，其中，所述操作进一步包括：
提供用户的视网膜视锥密度分布，
其中，单个深度平面上的下降率基本上与所述用户的视网膜视锥密度分布中的视锥密度的下降率一致。
9.根据权利要求5所述的系统，其中，所述区域具有三维多边形形状。
10.根据权利要求5所述的系统，其中，所述区域是同心椭圆形。
11.根据权利要求5所述的系统，其中，所述区域的形状随着距所述第二区域的距离而变化。
12.根据权利要求1所述的系统，进一步包括所述显示设备，所述显示设备包括：
多个堆叠的波导，其形成显示区域并通过所述显示区域提供周围环境的视图，其中，多个波导中的至少一些波导被配置为输出具有与其它波导不同的波前发散的光。
13.根据权利要求1所述的系统，其中，对于要距所述注视点更远的深度上呈现并且被确定为在所述用户的凝视的阈值角距离内的第一虚拟对象，所述操作进一步包括：
基于所述第一虚拟对象与所述注视点的接近度，调节所述第一虚拟对象的所述分辨率；以及
在向所述用户呈现所述第一虚拟对象期间，使所述第一虚拟对象模糊。
14.根据权利要求13所述的系统，其中，使所述第一虚拟对象模糊包括：
执行高斯模糊核与根据所调节的分辨率渲染的所述第一虚拟对象的卷积；以及
经由所述显示设备向所述用户呈现所述卷积的结果。
15.根据权利要求1所述的系统，其中，所述一个或多个传感器包括被配置为检测所述用户的眼睛的凝视方向的红外传感器、紫外传感器和可见波长光成像设备中的一个或多个。
16.一种显示系统，包括：
显示设备，其被配置为向用户呈现虚拟内容；
一个或多个处理器；以及
一个或多个计算机存储介质，其存储指令，所述指令当由所述系统执行时使所述系统执行包括以下的操作：
监视与所述用户的眼睛运动相关联的信息；
基于所监视的信息，确定所述显示设备的显示平截体内的注视点，所述注视点指示被所述用户的眼睛正在注视的三维位置；以及
基于所确定的注视点，在所述显示平截体内的三维位置处呈现虚拟内容，基于所述虚拟内容与所述注视点的接近度，在分辨率上调节所述虚拟内容。
17.根据权利要求16所述的系统，其中，所述操作进一步包括：
由所述显示设备向包括一个或多个处理器的外部系统提供所确定的注视点；以及
由所述显示设备并且从所述外部系统接收渲染的虚拟内容以用于呈现，基于所述虚拟内容与所述注视点的相应接近度，以分辨率来渲染所述虚拟内容。
18.根据权利要求16所述的系统，其中，基于与所述注视点的接近度来调节特定虚拟内容的分辨率包括：
基于所述接近度确定最大分辨率的降低，所述降低基于下降率；以及
基于所确定的降低来调节所述特定虚拟内容的分辨率。
19.根据权利要求16所述的系统，其中，所述显示设备包括多个波导，每个波导基于所述虚拟内容的三维位置呈现与相应的深度相关联的虚拟内容。
20.根据权利要求16所述的系统，其中，所述显示设备基于相对于所述注视点的凹式成像来呈现虚拟内容，所述凹式成像包含与(1)所述注视点和(2)虚拟内容相关联的深度信息。
21.一种方法，包括：
由一个或多个处理器的系统，
基于经由一个或多个传感器检测到的信息，监视显示设备的用户的眼睛取向；
基于所述眼睛取向，确定所述用户的眼睛正在注视的注视点，所述注视点代表相对于所述用户的视野的三维位置；
获得与一个或多个虚拟对象相关联的位置信息以呈现给所述用户，所述位置信息指示所述虚拟对象的三维位置；
至少部分地基于从至少一个虚拟对象到所述注视点的相应接近度来调节所述至少一个虚拟对象的分辨率；以及
使得经由所述显示设备向所述用户呈现所述一个或多个虚拟对象，所述至少一个虚拟对象根据相应的调节的分辨率被渲染。
22.根据权利要求21所述的方法，其中，调节虚拟对象的分辨率包括相对于最大可能呈现质量来降低所述虚拟对象的呈现质量。
23.根据权利要求22所述的方法，其中，降低所述虚拟对象的呈现质量包括：减少所述虚拟对象的多边形计数，减少与所述虚拟对象相关联的图元，或者减少与所述虚拟对象相关联的纹理信息。
24.根据权利要求21所述的方法，其中，针对经由所述显示设备呈现给所述用户的每一帧确定所述注视点。
25.根据权利要求21所述的方法，其中，所述视野包括区域，每个区域代表其中可以呈现虚拟对象的所述视野内的空间的体积；
其中，所述区域至少从所述视野内的初始深度延伸至所述视野内的终止深度；以及
其中，基于相对于所述注视点所位于的第二区域的将要呈现所述虚拟对象的第一区域来确定虚拟对象与所述注视点的接近度。
26.根据权利要求21所述的方法，其中，传感器包括红外传感器、紫外传感器和可见波长光成像设备中的一个或多个。
27.一种显示系统，包括：
框架，其被配置为安装在用户的头部上；
光调制系统，其被配置为输出光以形成图像；
一个或多个波导，其附接到所述框架，并被配置为接收来自所述光调制系统的所述光，并横跨所述一个或多个波导的表面输出所述光；
一个或多个处理器；以及
一个或多个计算机存储介质，其存储指令，所述指令当由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下的操作：
确定到达所述用户的眼睛的视网膜的光量；以及
基于到达所述视网膜的所述光量，调节要呈现给所述用户的虚拟内容的分辨率。
28.根据权利要求27所述的显示系统，进一步包括被配置为测量周围照明水平的向外定向的相机，其中，确定到达所述视网膜的所述光量包括测量所述周围照明水平。
29.根据权利要求28所述的显示系统，其中，确定到达所述视网膜的所述光量进一步包括确定由所述波导输出到所述用户的所述眼睛的光量。
30.根据权利要求27所述的显示系统，其中，所述操作进一步包括：
确定用户注视点；以及
获得所述虚拟内容的位置信息，所述位置信息指示所述虚拟内容的三维位置；
其中，调节所述虚拟内容的分辨率包括基于所述虚拟内容与所述注视点的接近度来改变所述虚拟内容的分辨率。
31.根据权利要求30所述的显示系统，其中，调节所述虚拟内容的分辨率包括基于所述虚拟内容在远离所述用户延伸的深度轴上与所述注视点的接近度来改变所述虚拟内容的分辨率。
32.根据权利要求27所述的显示系统，其中，所述一个或多个波导包括波导的堆叠，其中，所述波导的堆叠中的至少一些所述波导提供与所述波导的堆叠中的其它波导不同量的波前发散。
33.根据权利要求27所述的显示系统，其中，所述一个或多个波导包括：
入耦合衍射光学元件；
出耦合衍射光学元件；以及
光分配元件，其被配置为将来自所述入耦合衍射光学元件的光引导到所述出耦合衍射光学元件。
34.一种显示系统，包括：
一个或多个处理器；以及
一个或多个计算机存储介质，其存储指令，所述指令当由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下的操作：
确定到达所述显示系统的用户的眼睛的视网膜的光量；以及
基于到达所述视网膜的所述光量，调节要呈现给所述用户的虚拟内容的分辨率。
35.根据权利要求34所述的显示系统，其中，确定到达所述视网膜的所述光量包括确定周围照明水平。
36.根据权利要求35所述的显示系统，其中，确定到达所述视网膜的所述光量包括确定由所述显示系统输出以显示所述虚拟内容的光量。
37.根据权利要求34所述的显示系统，其中，确定到达所述视网膜的所述光量包括确定所述用户的所述眼睛的瞳孔的大小。
38.根据权利要求34所述的显示系统，其中，调节所述虚拟内容的分辨率包括：随着所述虚拟内容与所述用户注视点的距离增加，来降低所述虚拟内容的分辨率。
39.根据权利要求38所述的显示系统，其中，所述降低分辨率的趋势基本上类似于降低所述用户的所述视网膜中的视锥密度的趋势。
40.根据权利要求39所述的显示系统，其中，在用户视野内的最大分辨率的区域以与所述用户的所述眼睛的中央凹相对应的点为中心，
其中，对于放置在所述点+/-20°之外的虚拟内容，降低用户视野内的虚拟内容的所述分辨率。
41.根据权利要求38所述的显示系统，其中，降低分辨率包括在到达所述视网膜的所有光的水平上降低多边形计数。
42.根据权利要求38所述的显示系统，其中，调节分辨率包括将所述分辨率设置为两个分辨率水平中的一个分辨率水平。
43.根据权利要求42所述的显示系统，其中，调节所述虚拟内容的分辨率包括：随着减少到达所述视网膜的光量，减小颜色深度和对比度中的一个或二者。
44.根据权利要求34所述的显示系统，其中，所述操作进一步包括：
确定所述光量是否对应于明视照明水平、中视照明水平或暗视照明水平，
其中，调节所述虚拟内容的分辨率包括基于所述照明水平是否对应于明视照明水平、中视照明水平或暗视照明水平来设置所述分辨率。
45.根据权利要求34所述的显示系统，其中，调节所述虚拟内容的分辨率包括：在暗视照明水平下，使用单色显示所述虚拟内容。
46.根据权利要求34所述的显示系统，其中，调节所述虚拟内容的分辨率包括：随着到达所述眼睛的所述视网膜的所述光量减少，减小形成所述虚拟内容的图像的对比度。
47.根据权利要求34所述的显示系统，其中，所述操作进一步包括：
以多种分量颜色提供虚拟内容，
其中，调节所述虚拟内容的分辨率包括为不同的分量颜色提供不同的分辨率。
48.根据权利要求34所述的显示系统，其中，所述操作进一步包括：防止渲染与所述眼睛的视神经盲点相对应的虚拟内容。
49.根据权利要求34所述的显示系统，其中，调节所述虚拟内容的分辨率包括：防止渲染针对所述用户的每只眼睛的位于相对的外围区域内的虚拟内容，其中，所述相对的外围区域位于与所述眼睛所设置在其上的所述用户的一侧相对的所述用户的一侧上。
50.根据权利要求34所述的显示系统，其中，所述操作进一步包括使得经由显示设备向所述用户呈现所述虚拟内容，所述虚拟内容根据相关联的调节的分辨率被渲染。
51.一种由包括一个或多个处理器和头戴式显示器的显示系统执行的方法，所述方法包括：
确定到达所述显示系统的用户的眼睛的视网膜的光量；以及
基于到达所述视网膜的所述光量，调节要呈现给所述用户的虚拟内容的分辨率。
52.一种显示系统，包括：
框架，其被配置为安装在用户的头部上；
光调制系统，其被配置为输出光以形成图像；
一个或多个波导，其附接到所述框架，并被配置为接收来自所述光调制系统的所述光，并横跨所述一个或多个波导的表面输出所述光；
一个或多个处理器；以及
一个或多个计算机存储介质，其存储指令，所述指令当由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下的操作：
基于以下调节形成虚拟内容的分量颜色图像的分辨率：
所述虚拟内容与用户注视点的接近度；以及
所述分量颜色图像的颜色，其中，所述分量颜色图像的至少一个在分辨率上与另一颜色的分量颜色图像不同。
53.根据权利要求52所述的显示系统，其中，调节所述虚拟内容的分辨率包括基于所述虚拟内容在远离所述用户延伸的深度轴上与所述注视点的接近度来改变所述虚拟内容的分辨率。
54.根据权利要求52所述的显示系统，其中，所述一个或多个波导包括波导的堆叠，其中，所述波导的堆叠中的至少一些所述波导提供与所述波导的堆叠中的其它波导不同量的波前发散。
55.根据权利要求52所述的显示系统，其中，所述一个或多个波导包括：
入耦合衍射光学元件；
出耦合衍射光学元件；以及
光分配元件，其被配置为将来自所述入耦合衍射光学元件的光引导到所述出耦合衍射光学元件。
56.一种显示系统，包括：
一个或多个处理器；以及
一个或多个计算机存储介质，其存储指令，所述指令当由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下的操作：
基于以下调节形成虚拟内容的分量颜色图像的分辨率：
所述虚拟内容与用户注视点的接近度；以及
所述分量颜色图像的颜色，其中，所述分量颜色图像的至少一个在分辨率上与另一种颜色的分量颜色图像不同。
57.根据权利要求56所述的显示系统，其中，所述分辨率至少对应于颜色深度。
58.根据权利要求56所述的显示系统，其中，所述分辨率至少对应于多边形计数。
59.根据权利要求56所述的显示系统，其中，所述分量颜色图像包括红色分量颜色图像、绿色分量颜色图像和蓝色分量颜色图像；
其中，所述绿色分量颜色图像具有比所述红色分量颜色图像或所述蓝色分量颜色图像更高的分辨率。
60.根据权利要求59所述的显示系统，其中，所述红色分量颜色图像具有比所述蓝色分量颜色图像更高的分辨率。
61.根据权利要求56所述的显示系统，其中，调节所述虚拟内容的分辨率包括：随着周围光和由所述显示系统输出以显示所述虚拟内容的光中的一个或二者减少，来降低形成所述虚拟内容的图像的对比度。
62.根据权利要求56所述的显示系统，其中，所述操作进一步包括：防止渲染与所述显示系统的用户的眼睛的视神经盲点相对应的虚拟内容。
63.根据权利要求56所述的显示系统，其中，调节所述虚拟内容的分辨率包括：防止渲染针对所述用户的每只眼睛的位于相对的外围区域内的虚拟内容，其中，所述相对的外围区域位于与所述眼睛所设置在其上的所述用户的一侧相对的所述用户的一侧上。
64.根据权利要求56所述的显示系统，其中，所述操作进一步包括使得经由显示设备向用户呈现所述虚拟内容，所述虚拟内容根据相关联的调节的分辨率被渲染。
65.一种由包括一个或多个处理器和头戴式显示器的显示系统执行的方法，所述方法包括：
基于以下调节形成虚拟内容的分量颜色图像的分辨率：
所述虚拟内容与用户注视点的接近度；以及
所述分量颜色图像的颜色，其中，所述分量颜色图像的至少一个在分辨率上与另一种颜色的分量颜色图像不同。
66.一种显示系统，包括：
图像源，其包括用于提供第一图像流和第二图像流的空间光调制器；
观看组件，其包括用于从所述图像源接收所述第一图像流和所述第二图像流并将所述第一图像流和所述第二图像流输出给用户的光导光学器件；
一个或多个处理器，其与所述图像源通信；以及
一个或多个计算机存储介质，其存储指令，所述指令当由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下的操作：
使所述图像源将所述第一图像流输出到所述观看组件，其中，由所述第一图像流形成的图像具有第一像素密度；以及
使所述图像源将所述第二图像流输出到所述观看组件，其中，由所述第二图像流形成的图像具有比所述第一像素密度更大的第二像素密度，
其中，由所述第二图像流形成的所述图像对应于由所述第一图像流提供的图像的部分...
【专利技术属性】
技术研发人员：I·L·C·杨，L·E·埃德温，V·马瑟，T·M·达尔林普尔，J·舍费尔，C·卡尔里斯勒，郑惠全，吴哲宇，P·普雷斯勒，X·张，A·C·卡尔森，N·E·萨梅茨，N·U·罗柏纳，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。