显示系统和方法技术方案

一个实施例涉及一种用户显示设备，其包括可安装在所述使用者的头部上的外壳框架、可安装在所述外壳框架的透镜和耦合到所述外壳框架的投影子系统以至少部分地基于所述用户头部运动的检测和所述用户头部运动的预测中的至少一个来确定在所述用户的视场中显示对象出现的位置，并基于已确定的所述显示对象出现的位置将所述显示对象投影到所述用户。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术一般地涉及被配置以便于用于一个或多个用户的交互式虚拟或增强现实环境的系统和方法。
技术介绍
许多显示系统可以从与观看者或用户的头部姿势有关的信息(即，用户的头部朝向和/或位置)中受益。例如，头戴式显示器(或头盔显示器，或智能眼镜)至少松散地耦合到用户头部，并且因此在所述用户的头部移动时移动。如果所述用户的头部运动由显示系统检测到，被显示的数据可以更新以考虑头部姿势的变化。作为示例，如果佩戴头戴式显示器的用户浏览显示器上的3D对象的虚拟表示并围绕3D对象出现的区域走动，所述3D对象可以为每个视点来重新渲染，给予用户他或她正在围绕占据现实空间的对象走动的感知。如果头戴式显示器被用于为多个对象显示虚拟空间(例如，丰富的虚拟世界)，头部姿势的测量可以用来重新渲染场景，以匹配用户头部位置和朝向的动态改变，并提供虚拟空间的增强的沉浸感。尤其是对于用虚拟元素填充了用户视场的实质部分的显示系统，高的头部追踪的准确性以及从低的第一次检测到头部运动到更新由显示器发送到用户的视觉系统的光之间整个系统的延迟非常是至关重要的。如果延迟高，所述系统可以创建用户的前庭和视觉感觉系统之间的失配，并产生晕车或虚拟幻境头晕。一些头戴式显示器能够同时观看现实和虚拟的元素——通常被描述为增强的现实或混合的现实方法。在一个这样的配置中，通常被称为“视频透视”显示器，摄像机捕获现实场景的元素，计算系统叠加虚拟组件到被捕获的现实场景上，并且非透明显示器显示合成图像到眼睛。另一种配置是通常被称为“光透视”的显示器，其中，用户可以通过显示系统中的透明(或半透明)元素看以直接看到来自环境中的显示对象的光线。透明元素，通常被称为“组合器”，叠加来自显示器的光到用户的现实世界的视觉。在视频和光透视两种显示器中，检测头部姿势可以使得显示系统渲染虚拟对象以使得它们看上去占据了现实世界中的空间。当用户头部在现实世界中移动时，根据头部姿势来重新渲染虚拟对象，以使得虚拟对象看上去相对于现实世界仍然保持稳定。在这种光透视显示器的情况下，用户的现实世界视觉基本具有零延迟，而他或她的虚拟对象视觉具有的延迟取决于头部追踪速度、处理时间、呈现时间、和显示帧速率。如果系统延迟高，在快速头部运动期间，虚拟对象的显现位置将出现不稳定。除了头戴式显示系统之外，其他显示系统可从准确的和低延迟的头部姿势检测中获益。这些包括头部追踪显示系统，其中显示器不戴在用户身体上，但是，例如，安装在墙上或其它表面上。头部追踪显示器表现得像到现场的窗口，并为当用户相对所述“窗口”移动其头部时，场景重新渲染以匹配用户不断变化的视点。其它系统包括一个头戴式投影系统，其中，头戴式显示器将光投影到现实世界。
技术实现思路
本专利技术的实施例针对有助于一个或多个用户与虚拟现实和/或增强现实互动的设备、系统和方法。一个实施例针对在虚拟图像系统或增强现实系统中操作的方法，所述方法包括，对于被呈现给最终用户的多个帧中的至少一些中的每一个帧，确定所述最终用户的视场中的虚拟对象相对于最终用户的参考帧出现的位置，以及至少部分地基于已确定的所述最终用户的视场中的虚拟对象出现的位置调整至少一个后续帧的呈现。在时间上相对于先前呈现给所述最终用户的帧，虚拟对象可以被新引入所述最终用户的视场。新引入的虚拟对象可以被确定以有可能吸引所述最终用户的注意。相对于至少一个先前帧，虚拟对象可以处于帧中的一个新的方位。或者，相对于如先前呈现给所述最终用户的所述虚拟对象的先前方位，虚拟对象可以处于一个新的位置以呈现给所述最终用户。所述方法可以进一步包括基于指示最终用户对所述虚拟对象的注意的输入选择所述虚拟对象。指示最终用户对所述虚拟对象的注意的输入可至少部分地基于相对于先前呈现给最终用户的虚拟对象的方位，虚拟对象在呈现给最终用户的新方位的出现。或者，指示最终用户对所述虚拟对象的注意的输入可至少部分地基于呈现给所述最终用户的所述虚拟对象的方位相对于如先前呈现给最终用户的虚拟对象的方位多快地改变。至少一个后续帧的呈现的调整可以包括呈现该至少一个后续帧的中心被移向最终用户的视场中的虚拟对象已确定出现的位置的至少一个后续帧。或者，至少一个后续帧的呈现的调整可以包括呈现该至少一个后续帧的中心被移至最终用户的视场中的虚拟对象已确定出现的位置的至少一个后续帧。所述方法可以进一步包括至少部分地基于最终用户的视场中的虚拟对象的已确定出现的位置来预测最终用户头部运动的发生。方法可以进一步包括估计指示所预测的最终用户头部运动的所估计的速度的至少一个值，确定至少部分地补偿所预测的最终用户头部运动的所估计的速度的至少一个值，以及至少部分地基于已确定的值渲染至少一个后续帧。所述方法可以进一步包括估计所预测的最终用户头部运动中的速度的至少一个变化，其中，速度的至少一个变化发生在所预测的头部运动开始和所预测的头部运动结束之间，并且其中估计指示所预测的头部运动的估计速度的至少一个值包括估计指示所预测的速度的至少一个值，其至少部分地适应所预测的最终用户头部运动中的速度所估计的变化。估计所预测的最终用户头部运动中的速度的至少一个变化可包括，估计在所预测的头部运动开始后第一定义的时间和所预测的头部运动结束前的第二定义的时间之间的至少一个变化。所述方法可以进一步包括估计指示所预测的最终用户头部运动的所估计加速度的至少一个值，确定至少部分地补偿所预测的最终用户头部运动的所估计的加速度的至少一个值，以及至少部分地基于已确定的值渲染至少一个后续帧。所述方法可以进一步包括接收指示最终用户的身份的信息，以及基于所接收的指示最终用户的身份的信息来检索至少一个用于最终用户的用户特定的历史属性，其中用户特定的历史属性指示用于最终用户的先前头部运动速度、用于最终用户的先前头部运动加速度和用于最终用户的先前眼睛运动到头部运动的关系之中的至少一个。所述虚拟对象可以是虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟工具对象或物理对象的虚拟视觉表示之中的至少一个。另一个实施例针对增强现实系统中的操作方法，该方法包括：接收指示最终用户的身份的信息，至少部分地基于所接收的指示最终用户的身份的信息检索至少一个用于最终用户的用户特定的历史属性，以及至少部分地基于所检索的至少一个用于最终用户的用户特定的历史属性向最本文档来自技高网...

【技术保护点】
一种在虚拟图像系统或增强现实系统中操作的方法，所述方法包括：对于被呈现给最终用户的多个帧中的至少一些帧中的每一个帧，确定虚拟对象相对于所述最终用户的参考帧在所述最终用户的视场中出现的位置；以及至少部分地基于已确定的所述虚拟对象在所述最终用户的视场中出现的位置，调整至少一个后续帧的呈现。

【技术特征摘要】
【国外来华专利技术】2013.03.15 US 61/801,2191.一种在虚拟图像系统或增强现实系统中操作的方法，所述方法包括：
对于被呈现给最终用户的多个帧中的至少一些帧中的每一个帧，确定
虚拟对象相对于所述最终用户的参考帧在所述最终用户的视场中出现的位
置；以及
至少部分地基于已确定的所述虚拟对象在所述最终用户的视场中出
现的位置，调整至少一个后续帧的呈现。
2.如权利要求1所述的方法，其中相对于呈现给所述最终用户的先前
帧，在时间上新引入所述虚拟对象到所述最终用户的视场。
3.如权利要求2所述的方法，其中所述新引入的虚拟对象被确定以有
可能吸引所述最终用户的注意
4.如权利要求1所述的方法，其中所述虚拟对象相对于至少一个先前
帧中的方位处于帧中新的方位。
5.如权利要求1所述的方法，进一步包括：
基于指示所述最终用户对所述虚拟对象的注意的输入来选择所述虚
拟对象。
6.如权利要求5所述的方法，其中所述指示最终用户对所述虚拟对象
的注意的输入至少部分地基于：相对于先前呈现给所述最终用户的所述虚
拟对象的方位，呈现给所述最终用户的所述虚拟对象在新的方位出现。
7.如权利要求5所述的方法，其中所述指示最终用户对所述虚拟对象
的注意的输入至少部分地基于：相对于先前呈现给所述最终用户的所述虚
拟对象的位置，多快地改变所述虚拟对象呈现给所述最终用户的位置。
8.如权利要求1所述的方法，其中相对于先前呈现给所述最终用户的
所述虚拟对象的先前位置，所述虚拟对象以新的位置呈现给所述最终用户。
9.如权利要求1所述的方法，其中所述至少一个后续帧的呈现的调整
包括将所述至少一个后续帧的中心移向已确定的所述最终用户的视场中所
述虚拟对象所出现的位置来呈现所述至少一个后续帧。
10.如权利要求1所述的方法，其中所述至少一个后续帧的呈现的调整
包括将所述至少一个后续帧的中心移至已确定的所述最终用户的视场中所
述虚拟对象所出现的位置来呈现至少所述一个后续帧。
11.如权利要求1所述的方法，进一步包括：
至少部分地基于已确定的所述最终用户的视场中虚拟对象所出现的
位置，预测所述最终用户的头部运动的发生。
12.如权利要求11所述的方法，进一步包括：
估计指示所预测的所述最终用户头部运动的所估计的速度的至少一
个值；
确定至少部分地补偿所预测的所述最终用户头部运动的所估计的速
度的至少一个值；以及
至少部分地基于已确定的值渲染所述至少一个后续帧。
13.如权利要求12所述的方法，进一步包括：
估计所预测的所述最终用户头部运动中的速度的至少一个变化，其中
所述速度的至少一个变化发生在所预测的头部运动开始和所预测的头部运
动结束之间，并且其中估计指示所预测的头部运动的所估计的速度的至少
一个值包括估计指示所估计的速度的至少一个值，其至少部分地适应所预
测的所述最终用户头部运动的速度中所估计的变化。
14.如权利要求13所述的方法，其中估计所预测的所述最终用户头部
运动中的至少一个速度变化包括，估计在所预测的头部运动开始后第一定
义的时间和所预测的头部运动结束前的第二定义的时间之间的所述至少一
个变化。
15.如权利要求1所述的方法，进一步包括：
估计指示所预测的所述最终用户头部运动的所估计的加速度的至少
一个值；
确定至少部分地补偿所预测的所述最终用户头部运动的所估计的加
速度的至少一个值；以及
至少部分地基于已确定的值渲染所述至少一个后续帧。
16.如权利要求1所述的方法，进一步包括：
接收指示所述最终用户的身份的信息；以及
基于所接收的指示所述最终用户的身份的信息，检索用于所述最终用
户的至少一个用户特定的历史属性，其中所述用户特定的历史属性是指示
用于所述最终用户的先前头部运动速度、用于所述最终用户的先前头部运
动加速度以及用于所述最终用户的先前眼睛运动到头部运动的关系之中的
至少一个。
17.如权利要求1所述的方法，其中所述虚拟对象是虚拟文本对象、虚
拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表
对象、虚拟地图对象、虚拟工具对象或物理对象的虚拟视觉表示中的至少
一个。
18.一种在增强现实系统中操作的方法，所述方法包括：
接收指示所述最终用户的身份的信息；
至少部分地基于所接收的指示所述最终用户的身份的信息检索用于
所述最终用户的至少一个用户特定的历史属性；以及
至少部分地基于所检索的用于所述最终用户的至少一个用户特定的
历史属性向所述最终用户提供帧。
19.如权利要求18所述的方法，其中所接收的信息是指示所述最终用
户的眼睛的至少一部分的图像的图像信息。
20.如权利要求19所述的方法，其中向所述最终用户提供帧包括经由
至少一个光纤提供帧，并且接收指示所述最终用户的眼睛的至少一部分的
图像的图像信息包括经由还向所述最终用户提供帧的所述至少一个光纤所
述至少一个光纤接收所述图像信息。
21.如权利要求18所述的方法，其中所检索的用于所述最终用户的
至少一个用户特定的历史属性是提供用于所述最终用户的至少一个头部运
动属性的指示的至少一个属性，其中所述头部运动属性指示所述最终用户
的至少一个先前头部运动。
22.如权利要求18所述的方法，其中所检索的用于所述最终用户的至

\t少一个用户特定的历史属性是提供用于所述最终用户至少一个先前头部运
动的至少一个先前头部运动速度的指示的至少一个属性。
23.如权利要求18所述的方法，其中所检索的用于所述最终用户的至
少一个用户特定的历史属性是提供跨越所述最终用户至少一个先前头部运
动的范围内至少一部分的头部运动速度的变化的指示的至少一个属性。
24.如权利要求18所述的方法，其中所检索的用于所述最终用户的至
少一个用户特定的历史属性是提供所述最终用户至少一个先前头部运动的
至少一个先前头部运动加速度的指示的至少一个属性。
25.如权利要求18所述的方法，其中所检索的用于所述最终用户的至
少一个用户特定的历史属性是提供所述最终用户至少一个先前头部运动和
至少一个先前眼睛运动之间的关系的指示的至少一个属性。
26.如权利要求18所述的方法，其中所检索的用于所述最终用户的至
少一个用户特定的历史属性是提供所述最终用户至少一个先前头部运动和
至少一个先前眼睛运动之间的比率的指示的至少一个属性。
27.如权利要求18所述的方法，进一步包括：
预测所述最终用户头部运动的至少一个终点；以及
至少部分地基于所检索的用于所述最终用户的至少一个用户特定的
历史属性来向所述最终用户提供帧，包括渲染至少一个后续帧到至少一个
图像缓冲器，所述至少一个后续帧被移向所预测的头部运动的终点。
28.如权利要求27所述的方法，进一步包括渲染多个后续帧，以至
少部分适应用于所述最终用户的至少一个头部运动属性将其移向所预测的
头部运动的终点，所述头部运动属性指示所述最终用户的至少一个先前头
部运动。
29.如权利要求28所述的方法，其中指示所述最终用户的至少一个
先前头部运动的所述头部运动属性是用于所述最终用户的历史头部运动速
度。
30.如权利要求28所述的方法，其中指示所述最终用户的至少一个
先前头部运动的所述头部运动属性是用于所述最终用户的历史头部运动加

\t速度。
31.如权利要求28所述的方法，其中指示所述最终用户的至少一个先
前头部运动的所述头部运动属性是用于所述最终用户的头部运动和眼睛运
动之间的历史比率。
32.如权利要求27所述的方法，进一步包括至少部分地基于虚拟对象
在所述最终用户的视场中出现的位置，预测所述最终用户的头部运动的发
生。
33.如权利要求18所述的方法，进一步包括，当虚拟对象在时间上相
对于先前呈现给所述最终用户的帧被新引入所述最终用户的视场中时，确
定虚拟对象出现的位置。
34.如权利要求18所述的方法，进一步包括相对于先前呈现给所述最
终用户的虚拟对象的方位，确定所述虚拟对象在呈现给所述最终用户的新
方位中出现的位置。
35.一种在虚拟图像呈现系统中操作的方法，所述方法包括：
检测呈现给最终用户的帧中的一些像素之间的间隔将不同于所述帧
中其它像素之间的间隔的指示；
基于已检测到指示调整第一组像素；以及
提供具有已调整的第一组像素给至少一个后续帧的至少一部分以至
少部分地补偿呈现给最终用户的间隔的差异。
36.如权利要求35所述的方法，其中所述像素特征可被所述最终用户
感知。
37.如权利要求35所述的方法，其中所述像素集合的特征是所感知的
尺寸和所感知的亮度之中的至少一个。
38.如权利要求35所述的方法，进一步包括监测超过标称头部运动值
的头部运动。
39.如权利要求35所述的方法，进一步包括：
基于已检测的头部运动的方向选择所述帧的第一组像素，其中所述第
一组像素的方向与已检测的头部运动的方向相同；以及
增加至少一个后续帧的第一组像素的尺寸。
40.如权利要求35所述的方法，进一步包括调整第一组像素的可变的
聚焦组件。
41.如权利要求35所述的方法，进一步包括调整第一组像素的可变尺
寸的源。
42.如权利要求35所述的方法，进一步包括调整第一组像素的抖动。
43.如权利要求35所述的方法，进一步包括：
基于已检测的头部运动的方向选择所述帧的第一组像素，其中所述第
一组像素的方向与已检测的头部运动的方向相同；以及
响应于已检测的头部运动增加所述至少一个后续帧的第一组像素的
亮度。
44.如权利要求35所述的方法，进一步包括：
基于已检测的头部运动的方向选择所述帧的第一组像素，其中所述第
一组像素的方向与已检测的头部运动的方向相反；以及
响应于已检测的头部运动，减少所述至少一个后续帧的第一组像素的
尺寸。
45.如权利要求35所述的方法，进一步包括：
基于已检测的头部运动的方向选择所述帧的第一组像素，其中所述第
一组像素的方向与已检测的头部运动的方向相反；以及
响应于已检测的头部运动，减少所述至少一个后续帧的第一组像素的
亮度。
46.如权利要求35所述的方法，其中所述检测的指示基于检测所述用
户的头部运动属性已经超过头部运动属性的标称值。
47.如权利要求46所述的方法，其中所述头部运动属性是所述头部运
动的速度和所述头部运动的加速度之中的至少一个。
48.如权利要求35所述的方法，其中所述检测的指示基于通过惯性传
感器接收到的信号。
49.如权利要求35所述的方法，其中所述检测的指示基于通过成像器

\t接收到的信号。
50.如权利要求35所述的方法，其中所述至少一个后续帧的提供是基
于光栅扫描型帧、螺旋扫描型帧以及利萨茹扫描型帧之中的至少一个。
51.一种在虚拟图像呈现系统中操作的方法，所述方法包括：
渲染第一完整帧到图像缓冲器，其中所述第一完整帧包括用于像素的
顺序呈现以形成虚拟对象的图像的像素信息；
开始所述第一完整帧的呈现；以及
在完成所述第一完整帧的呈现之前通过对所述第一完整帧的更新的
呈现来动态的中断所述第一完整帧的呈现，在对所述第一完整帧的更新中
所述像素信息的一部分已经从所述第一完整帧改变。
52.如权利要求51所述的方法，其中所述已更新的第一完整帧的像素
信息在至少一个方面与所述第一完整帧的像素信息不同。
53.如权利要求51所述的方法，其中呈现所述已更新的第一完整帧来
代替所述第一完整帧的对应部分。
54.如权利要求53所述的方法，进一步包括呈现所述已更新的第一完
整帧的第二场来代替所述第一完整帧的对应场。
55.如权利要求53所述的方法，进一步包括呈现所述已更新的第一完
整帧的场的一部分来代替所述第一完整帧的对应场的对应部分。
56.如权利要求53所述的方法，进一步包括呈现光栅扫描的所述已更
新的第一完整帧的场的一部分来代替所述光栅扫描的所述第一完整帧的对
应场的对应部分。
57.如权利要求53所述的方法，进一步包括呈现所述已更新的第一完
整帧的线来代替所述第一完整帧的对应线。
58.如权利要求53所述的方法，进一步包括呈现所述已更新的第一完
整帧的螺旋线来代替所述第一完整帧的对应螺旋线。
59.如权利要求53所述的方法，进一步包括呈现所述已更新的第一完
整帧的线的一部分来代替所述第一完整帧的对应线的对应部分。
60.如权利要求53所述的方法，进一步包括呈现所述已更新的第一完

\t整帧的至少一个像素来代替所述第一完整帧的对应像素。
61.如权利要求53所述的方法，进一步包括呈现所述已更新的第一完
整帧的利萨茹图样扫描的一个完整周期来代替所述第一完整帧的利萨茹图
样扫描的一个完整周期的对应部分。
62.如权利要求51所述的方法，其中所述第一完整帧的呈现的所述动
态的中断是响应于已检测的所述最终用户的头部运动超过标称头部运动值。
...

【专利技术属性】
技术研发人员：B·T·朔文格特，S·A·米勒，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国;US