显示系统和方法技术方案

一个实施例涉及一种用户显示设备，其包括可安装在所述使用者的头部上的外壳框架、可安装在所述外壳框架的透镜和耦合到所述外壳框架的投影子系统以至少部分地基于所述用户头部运动的检测和所述用户头部运动的预测中的至少一个来确定在所述用户的视场中显示对象出现的位置，并基于已确定的所述显示对象出现的位置将所述显示对象投影到所述用户。

【技术实现步骤摘要】
显示系统和方法本申请是申请日为2014年3月14日、国际申请号为PCT/US2014/028977、中国国家阶段申请号为201480027589.2、专利技术名称为“显示系统和方法”的PCT申请的分案申请。
本专利技术一般地涉及被配置以便于用于一个或多个用户的交互式虚拟或增强现实环境的系统和方法。
技术介绍
许多显示系统可以从与观看者或用户的头部姿势有关的信息(即，用户的头部朝向和/或位置)中受益。例如，头戴式显示器(或头盔显示器，或智能眼镜)至少松散地耦合到用户头部，并且因此在所述用户的头部移动时移动。如果所述用户的头部运动由显示系统检测到，被显示的数据可以更新以考虑头部姿势的变化。作为示例，如果佩戴头戴式显示器的用户浏览显示器上的3D对象的虚拟表示并围绕3D对象出现的区域走动，所述3D对象可以为每个视点来重新渲染，给予用户他或她正在围绕占据现实空间的对象走动的感知。如果头戴式显示器被用于为多个对象显示虚拟空间(例如，丰富的虚拟世界)，头部姿势的测量可以用来重新渲染场景，以匹配用户头部位置和朝向的动态改变，并提供虚拟空间的增强的沉浸感。尤其是对于用虚拟元素填充了用户视场的实质部分的显示系统，高的头部追踪的准确性以及从低的第一次检测到头部运动到更新由显示器发送到用户的视觉系统的光之间整个系统的延迟非常是至关重要的。如果延迟高，所述系统可以创建用户的前庭和视觉感觉系统之间的失配，并产生晕车或虚拟幻境头晕。一些头戴式显示器能够同时观看现实和虚拟的元素——通常被描述为增强的现实或混合的现实方法。在一个这样的配置中，通常被称为“视频透视”显示器，摄像机捕获现实场景的元素，计算系统叠加虚拟组件到被捕获的现实场景上，并且非透明显示器显示合成图像到眼睛。另一种配置是通常被称为“光透视”的显示器，其中，用户可以通过显示系统中的透明(或半透明)元素看以直接看到来自环境中的显示对象的光线。透明元素，通常被称为“组合器”，叠加来自显示器的光到用户的现实世界的视觉。在视频和光透视两种显示器中，检测头部姿势可以使得显示系统渲染虚拟对象以使得它们看上去占据了现实世界中的空间。当用户头部在现实世界中移动时，根据头部姿势来重新渲染虚拟对象，以使得虚拟对象看上去相对于现实世界仍然保持稳定。在这种光透视显示器的情况下，用户的现实世界视觉基本具有零延迟，而他或她的虚拟对象视觉具有的延迟取决于头部追踪速度、处理时间、呈现时间、和显示帧速率。如果系统延迟高，在快速头部运动期间，虚拟对象的显现位置将出现不稳定。除了头戴式显示系统之外，其他显示系统可从准确的和低延迟的头部姿势检测中获益。这些包括头部追踪显示系统，其中显示器不戴在用户身体上，但是，例如，安装在墙上或其它表面上。头部追踪显示器表现得像到现场的窗口，并为当用户相对所述“窗口”移动其头部时，场景重新渲染以匹配用户不断变化的视点。其它系统包括一个头戴式投影系统，其中，头戴式显示器将光投影到现实世界。
技术实现思路
本专利技术的实施例针对有助于一个或多个用户与虚拟现实和/或增强现实互动的设备、系统和方法。一个实施例针对在虚拟图像系统或增强现实系统中操作的方法，所述方法包括，对于被呈现给最终用户的多个帧中的至少一些中的每一个帧，确定所述最终用户的视场中的虚拟对象相对于最终用户的参考帧出现的位置，以及至少部分地基于已确定的所述最终用户的视场中的虚拟对象出现的位置调整至少一个后续帧的呈现。在时间上相对于先前呈现给所述最终用户的帧，虚拟对象可以被新引入所述最终用户的视场。新引入的虚拟对象可以被确定以有可能吸引所述最终用户的注意。相对于至少一个先前帧，虚拟对象可以处于帧中的一个新的方位。或者，相对于如先前呈现给所述最终用户的所述虚拟对象的先前方位，虚拟对象可以处于一个新的位置以呈现给所述最终用户。所述方法可以进一步包括基于指示最终用户对所述虚拟对象的注意的输入选择所述虚拟对象。指示最终用户对所述虚拟对象的注意的输入可至少部分地基于相对于先前呈现给最终用户的虚拟对象的方位，虚拟对象在呈现给最终用户的新方位的出现。或者，指示最终用户对所述虚拟对象的注意的输入可至少部分地基于呈现给所述最终用户的所述虚拟对象的方位相对于如先前呈现给最终用户的虚拟对象的方位多快地改变。至少一个后续帧的呈现的调整可以包括呈现该至少一个后续帧的中心被移向最终用户的视场中的虚拟对象已确定出现的位置的至少一个后续帧。或者，至少一个后续帧的呈现的调整可以包括呈现该至少一个后续帧的中心被移至最终用户的视场中的虚拟对象已确定出现的位置的至少一个后续帧。所述方法可以进一步包括至少部分地基于最终用户的视场中的虚拟对象的已确定出现的位置来预测最终用户头部运动的发生。方法可以进一步包括估计指示所预测的最终用户头部运动的所估计的速度的至少一个值，确定至少部分地补偿所预测的最终用户头部运动的所估计的速度的至少一个值，以及至少部分地基于已确定的值渲染至少一个后续帧。所述方法可以进一步包括估计所预测的最终用户头部运动中的速度的至少一个变化，其中，速度的至少一个变化发生在所预测的头部运动开始和所预测的头部运动结束之间，并且其中估计指示所预测的头部运动的估计速度的至少一个值包括估计指示所预测的速度的至少一个值，其至少部分地适应所预测的最终用户头部运动中的速度所估计的变化。估计所预测的最终用户头部运动中的速度的至少一个变化可包括，估计在所预测的头部运动开始后第一定义的时间和所预测的头部运动结束前的第二定义的时间之间的至少一个变化。所述方法可以进一步包括估计指示所预测的最终用户头部运动的所估计加速度的至少一个值，确定至少部分地补偿所预测的最终用户头部运动的所估计的加速度的至少一个值，以及至少部分地基于已确定的值渲染至少一个后续帧。所述方法可以进一步包括接收指示最终用户的身份的信息，以及基于所接收的指示最终用户的身份的信息来检索至少一个用于最终用户的用户特定的历史属性，其中用户特定的历史属性指示用于最终用户的先前头部运动速度、用于最终用户的先前头部运动加速度和用于最终用户的先前眼睛运动到头部运动的关系之中的至少一个。所述虚拟对象可以是虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟工具对象或物理对象的虚拟视觉表示之中的至少一个。另一个实施例针对增强现实系统中的操作方法，该方法包括：接收指示最终用户的身份的信息，至少部分地基于所接收的指示最终用户的身份的信息检索至少一个用于最终用户的用户特定的历史属性，以及至少部分地基于所检索的至少一个用于最终用户的用户特定的历史属性向最终用户提供帧。所接收的信息可以是指示最终用户的眼睛的至少一部分的图像的图像信息。所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性，其提供了用于最终用户的至少一个头部运动属性的指示，其中头部运动属性指示最终用户的至少一个先前头部运动。或所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性，其提供了用于最终用户的至少一个先前头部运动的至少一个先前头部运动速度的指示。或者，所检索的至少一个用于最终用户的用户特定的历史属性可以是至少一个属性，其提供最终用户的跨越至少一个先前头部运动的范围内的至少一部分的头部运动速度的变化指示本文档来自技高网...

【技术保护点】
1.一种虚拟图像呈现系统中的操作方法，所述方法包括：将具有第一部分和第二部分的第一完整帧渲染到图像缓冲器，其中所述第一部分包括至少第一螺旋扫描线，并且所述第二部分包括至少第二螺旋扫描线，所述第二螺旋扫描线与至少第一螺旋扫描线交错；至少通过从图像缓冲器中检索第一完整帧的至少一部分并且利用虚拟图像呈现系统的投影机向用户的至少一只眼睛投射对应于第一完整帧的至少一部分的光线，在用户的视场中呈现虚拟内容的帧序列中的第一帧；至少部分地基于虚拟对象的预测位置来确定第一完整帧中的更新的第一部分，以用于在虚拟内容的帧序列中的第一帧之后的后续帧中显示给用户，其中虚拟对象被确定为在更新的第一部分中将其位置改变为预测位置；通过启动从图像缓冲器检索第一完整帧来准备帧序列中的后续帧；在完成第一完整帧的检索之前，至少部分地基于预测位置动态地中断检索用于后续帧的第一完整帧；检索更新的第一部分，而不检索用于后续帧的第一完整帧的第一部分；以及至少通过对更新的第一部分中的至少一些像素相对于后续帧中的其他像素的驱动信号的振幅施加改变，并且通过用后续帧中的更新的第一部分替换第一帧中的第一部分，来显示虚拟内容的后续帧。

【技术特征摘要】
2013.03.15 US 61/801,2191.一种虚拟图像呈现系统中的操作方法，所述方法包括：将具有第一部分和第二部分的第一完整帧渲染到图像缓冲器，其中所述第一部分包括至少第一螺旋扫描线，并且所述第二部分包括至少第二螺旋扫描线，所述第二螺旋扫描线与至少第一螺旋扫描线交错；至少通过从图像缓冲器中检索第一完整帧的至少一部分并且利用虚拟图像呈现系统的投影机向用户的至少一只眼睛投射对应于第一完整帧的至少一部分的光线，在用户的视场中呈现虚拟内容的帧序列中的第一帧；至少部分地基于虚拟对象的预测位置来确定第一完整帧中的更新的第一部分，以用于在虚拟内容的帧序列中的第一帧之后的后续帧中显示给用户，其中虚拟对象被确定为在更新的第一部分中将其位置改变为预测位置；通过启动从图像缓冲器检索第一完整帧来准备帧序列中的后续帧；在完成第一完整帧的检索之前，至少部分地基于预测位置动态地中断检索用于后续帧的第一完整帧；检索更新的第一部分，而不检索用于后续帧的第一完整帧的第一部分；以及至少通过对更新的第一部分中的至少一些像素相对于后续帧中的其他像素的驱动信号的振幅施加改变，并且通过用后续帧中的更新的第一部分替换第一帧中的第一部分，来显示虚拟内容的后续帧。2.根据权利要求1所述的方法，其中，所述第一完整帧的检索的所述动态中断至少部分地基于检测到的最终用户的头部运动，其中所述检测到的头部运动超过标称头部运动值。3.根据权利要求1所述的方法，进一步包括用经更新的第二螺旋扫描线代替所述第一完整帧的第二螺旋扫描线。4.如权利要求1所述的方法，还包括：使第二螺旋扫描线相对于第一螺旋扫描线相移以交错第一和第二螺旋扫描线。5.如权利要求1所述的方法，还包括：使第三螺旋扫描线相对于第二螺旋扫描线相移，以使第一、第二和第三螺旋扫描线交错。6.如权利要求1所述的方法，还包括：使第三螺旋扫描线相对于第四螺旋扫描线相移以交错第一、第二、第三和第四螺旋扫描线。7.如权利要求1所述的方法，还包括：至少部分或全部基于像素间隔值来调整更新后的第一部分中的至少一些像素相对于后续帧中的其他像素的感知亮度或强度，其中对驱动信号的振幅施加改变相对于后续帧中的其他像素产生更新的第一部分中的至少一些像素的不同分辨率。8.根据权利要求1所述的方法，其中所述动态中断发生在所述帧序列中的帧的呈现期间，并且所述第一部分或所述第二部分包括所述螺旋扫描线的迹线。9.根据权利要求1所述的方法，其中所述动态中断发生在线的呈现期间。10.根据权利要求1所述的方法，其中所述动态中断发生在螺旋扫描线的完整周期期间。11.如权利要求1所述的方法，还包括：在包括所述虚拟图像呈现系统中的一个或多个传感器的预测性头部跟踪模块处预测所述用户的至少一个预测的头部运动。12.如权利要求11所述的方法，还包括：用至少一个眼睛跟踪传感器检测用户的至少一只眼睛的移动；部分或全部地基于所述至少一个眼睛跟踪传感器检测到的移动确定用户关注或聚焦的指示；以及将虚拟对象或虚拟事件与用户的关注或聚焦的指示相关联。13.如权利要求12所述的方法，还包括：预测用户关注或聚焦的转变；以及部分或全部地根据用户聚焦的转变确定预测的头部运动。14.如权利要求12所述的方法，还包括：用虚拟图像呈现系统中的投影机将第一几何形状或图案的光束投射到用户的至少一只眼睛中；在所述虚拟图像呈现系统中的反射光接收器处接收来自所述用户的所述至少一只眼睛的具有第二几何形状或图案的反射光束；以及部分或全部地基于所述第一几何形状或图案和所述第二几何形状或图案，确定所述用户的所述至少一只眼睛的一个或多个运动特征。15.如权利要求14所述的方法，还包括：识别在用户的视场中呈现的一个或多个虚拟对象；从所述一个或多个虚拟对象中识别被预测为吸引的用户的关注或聚焦的虚拟对象；识别所述后续帧的一个或多个后续帧的中心；将中心移向虚拟对象的位置；以及部分地或全部地基于虚拟对象的位置调整在用户视场中呈现的一个或多个后续帧的视场。16.如权利要求11所述的方法，还包括：至少通过将一个或多个过渲染帧过渲染到图像缓冲器中并且从一个或多个过渲染帧中检索指示向用户显示的内容中的一个或多个改变的一个或多个期望部分，而在检测到用户的实际头部运动时不完整地检索第一个完整帧，来在用户的视场中显示帧序列。17.如权利要求11所述的方法，还包括：用更新的第一螺旋扫描线替换第一场中的第一螺旋扫描线，其中第一场对应于由投影机提供的视场中的内容的变化；以及通过用投影机将更新的第一部分和第二部分投影到用户的至少一只眼睛，在用户的视场中显示后续帧。18.一种虚拟图像呈现系统，包括：投影机，被配置为将光束投射到用户的至少一只眼睛；处理器，被配置为将具有第一部分和第二部分的第一完整帧渲染到图像缓冲器，其中所述第一部分包括至少第一螺旋扫描线，并且所述第二部分包括至少第二螺旋扫描线，所述第二螺旋扫描线与至少第一螺旋扫描线交错；所述投影机可操作地耦合到所述处理器，并且被配置为至少通过从所述图像缓冲器检索所述第一完整帧的至少一部分并且通过将对应于所述第一完整帧的所述至少一部分的所述光束投影到所述用户的所述至少一只眼睛，在所述用户的视野的一部分中显示帧序列中的第一帧；所述处理器进一步被配置为至少部分地基于虚拟对象的预测位置来确定所述第一完整帧中的经更新的第一部分，以用于将所述虚拟内容的所述帧序列中的所述第一帧之后的后续帧显示给所述用户，其中所述虚拟对象被确定为将其位置改变为所述更新的第一部分中的所述预测位置；所述处理器进一步被配置为通过发起从所述图像缓冲器检索所述第一完整帧来准备所述帧序列中的所述后续帧；所述处理器进一步被配置为至少部分地基于所述预测位置在完成所述第一完整帧的所述检索之前动态地中断所述后续帧的所述第一完整帧的所述检索；所述处理器进一步被配置为针对所述后续帧检索所述经更新的第一部分而不检索所述第一完整帧的所述第一部分；以及所述投影机进一步被配置为至少通过对所述经更新的第一部分中的至少一些像素相对于所述后续帧中的其他像素中的驱动信号的振幅施加改变，并且通过用后续帧的更新的第一部分替换第一帧中的第一部分，来显示所述虚拟内容的所述帧序列的所述至少一部分。19.如权利要求18所述的...

【专利技术属性】
技术研发人员：B·T·朔文格特，S·A·米勒，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国,US