使用交替采样的眼睛跟踪制造技术

眼睛跟踪系统可包括第一相机，该第一相机被配置为以第一采样率捕获右眼的第一多个视觉数据。该系统可包括第二相机，该第二相机被配置为以第二采样率捕获左眼的第二多个视觉数据。第二多个视觉数据可以在与第一多个视觉数据不同的采样时间期间被捕获。该系统可以基于第一和第二多个视觉数据中的至少一些视觉数据来估计在采样时间的右眼或左眼中的至少一个的视觉数据，在该采样时间期间，正在为其估计视觉数据的眼睛的视觉数据没有被捕获。可以基于所估计的视觉数据中的至少一些和第一或第二多个视觉数据中的至少一些视觉数据来确定眼睛的眼睛移动。确定眼睛的眼睛移动。确定眼睛的眼睛移动。

【技术实现步骤摘要】
【国外来华专利技术】使用交替采样的眼睛跟踪
[0001]相关申请的交叉引用
[0002]本申请要求于2020年7月23日提交的美国临时专利申请号63/055,807和于2020年7月29日提交的美国临时专利申请号63/058,383的优先权，其中的每一个以全部内容通过引用并入本文。


[0003]本公开涉及显示系统、虚拟现实和增强现实成像和可视化系统。

技术介绍

[0004]现代的计算和显示技术已经促进了用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的系统的发展，其中，以它们看起来是真实的或者可被感知为是真实的方式向用户呈现数字再现的图像或其一部分。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而对其他实际现实世界视觉输入不透明；增强现实或“AR”场景通常涉及数字或虚拟图像信息的呈现，以作为对用户周围现实世界的可视化增强；混合现实或“MR”与融合现实世界和虚拟世界有关，以产生物理和虚拟对象共存并实时交互的新环境。事实证明，人类的视觉感知系统非常复杂，产生促进虚拟图像元素尤其其他虚拟或现实图像元素的舒适、感觉自然、丰富的呈现的VR、AR或MR技术是具有挑战性的。本文公开的系统和方法解决了与VR、AR和MR技术有关的各种挑战。

技术实现思路

[0005]一种眼睛跟踪系统可包括：第一相机，其被配置为以第一采样率捕获用户的右眼的第一多个视觉数据；以及第二相机，其被配置为以第二采样率捕获用户的左眼的第二多个视觉数据。第二多个视觉数据可以在与第一多个视觉数据不同的采样时间期间被捕获。该系统可包括：处理电子器件，其被配置为基于第一和第二多个视觉数据中的至少一些视觉数据，在未捕获正在被估计的视觉数据的眼睛的视觉数据的采样时间期间，估计右眼或左眼中的至少一个的视觉数据。处理电子器件可以被配置为基于所估计的视觉数据中的至少一些和第一或第二多个视觉数据中的至少一些视觉数据来确定眼睛的眼睛移动。
[0006]在各种实施方式中，第一相机和第二相机的组合采样率可以是第一采样率和第二采样率的聚合。第一采样率和/或第二采样率可以是30Hz、40Hz、60Hz、100Hz、120Hz或另一采样率。第一和第二相机可以被配置为交替捕获第一和第二多个视觉数据。处理电子器件可以被配置为基于右眼的第一多个视觉数据中的至少一个视觉数据与左眼的第二多个视觉数据中的至少一个视觉数据之间的差异的确定来估计视觉数据。处理电子器件还可以被配置为基于对差异进行滤波来估计右眼或左眼的视觉数据。
[0007]在一些实施方式中，可穿戴显示系统可以包括前述段落中的任何一个的眼睛跟踪系统和/或本文所描述的眼睛跟踪系统中的任何一个以及被配置为呈现虚拟内容的显示器。处理电子器件可以使得显示器基于眼睛移动呈现虚拟内容。显示器可以是头戴式显示
器。
[0008]本说明书中描述的主题的一种或多种实施方式的细节在附图和以下描述中阐述。根据说明书、附图和权利要求书，其他特征、方面和优点将变得显而易见。该概述或以下详细描述均不旨在限定或限制本专利技术主题的范围。
附图说明
[0009]图1描绘了具有由人观看的某些物理对象和某些虚拟现实对象的混合现实场景的图示。
[0010]图2示意性地示出了可穿戴系统的示例。
[0011]图3示意性地示出了可穿戴系统的示例组件。
[0012]图4示意性地示出了用于将图像信息输出给用户的可穿戴设备的波导堆叠的示例。
[0013]图5示意性地示出了眼睛的示例。
[0014]图5A示意性地示出了用于确定眼睛的眼睛姿势的示例坐标系统。
[0015]图6是包括眼睛跟踪系统的可穿戴系统的示意图。
[0016]图7A和7B是示出捕获左眼和右眼的视觉数据的图。
[0017]图8是示出使用交替采样来捕获左眼和右眼的视觉数据的图。
[0018]图9是示出使用交替采样针对每只眼睛利用多个相机捕获左眼和右眼的视觉数据的图。
[0019]图10是示出用于眼睛跟踪的示例方法的流程图。
[0020]在所有附图中，参考标号可被重复使用以指示参考元件之间的对应关系。提供附图是为了说明本文描述的示例实施例，而无意于限制本公开的范围。
具体实施方式
[0021]现在将参考附图，在附图中，相同的附图标记始终指代相同的部分。除非另有说明，否则附图是示意性的，不一定按比例绘制。
[0022]可穿戴系统的3D显示器的示例
[0023]可穿戴系统(在本文中也称为增强现实(AR)系统)可被配置为向用户呈现2D或3D虚拟图像。图像可以是静止图像、视频的帧、或视频、或组合等。可穿戴系统的至少一部分可以被实现在可穿戴设备上，该可穿戴设备可以单独或组合地为用户交互来呈现VR、AR或MR环境。可穿戴设备可以互换地用作AR设备(ARD)。此外，出于本公开的目的，术语“AR”与术语“MR”可互换使用。
[0024]图1描绘了具有某些虚拟现实对象以及由人观看的某些物理对象的混合现实场景的图示。在图1中，描绘了MR场景100，其中，MR技术的用户看到现实世界的公园状的设置110，其特征在于背景中的人、树、建筑物、以及混凝土平台120。除了这些项目之外，MR技术的用户还感知到他“看到”了站在现实世界平台120上的机器人雕像130，以及飞行的卡通状的化身角色140，似乎是大黄蜂的化身，即使这些元素在现实世界中不存在。
[0025]为了使3D显示器产生真实的深度感，更具体地说，产生表面深度的模拟感，可能希望显示器的视场中的每个点都生成与其虚拟深度相对应的调节响应。如果对显示点的调节
响应不符合该点的虚拟深度(如由双目深度会聚提示和立体视觉确定)，则人眼可能会遇到适应冲突，从而导致成像不稳定、有害的眼睛疲劳、头痛、以及缺乏适应信息的情况下几乎完全缺乏表面深度(surface depth)。
[0026]可以通过具有显示器的显示系统来提供VR、AR和MR体验，在该显示器中，将与多个深度平面相对应的图像提供给观看者。图像对于每个深度平面可能是不同的(例如，提供场景或对象的稍有不同的呈现)，并且可能会被观看者的眼睛分别聚焦，从而有助于基于眼睛所需的适应向用户提供深度提示，为位于不同深度平面上的场景或基于观察不同深度平面上的不同图像特征失焦而聚焦不同图像特征。如本文其他地方所讨论的，这样的深度提示提供了对深度的可信感知。
[0027]图2示出了可被配置为提供AR/VR/MR场景的可穿戴系统200的示例。可穿戴系统200也可以称为AR系统200。可穿戴系统200包括显示器220以及支持显示器220的功能的各种机械和电子模块和系统。显示器220可以耦合到可由用户、穿戴者或观看者210穿戴的框架230。显示器220可以位于用户210的眼睛的前面。显示器220可以向用户呈现AR/VR/MR内容。显示器220可以包括佩戴在用户的头部上的头戴式显示器(HMD)。
[0028]在一些实施例中，扬声器240耦合到框架230并且邻近用户的耳道定位(在一些实施例中本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种可穿戴显示系统，包括：头戴式显示器，其被配置为通过向所述头戴式显示器的穿戴者的眼睛输出光来呈现虚拟内容；至少一个光源，其被配置为将光引导向所述穿戴者的所述眼睛；右眼睛跟踪相机，其被配置为以第一采样率捕获所述穿戴者的右眼睛的第一多个视觉数据；左眼睛跟踪相机，其被配置为以第二采样率捕获所述穿戴者的左眼睛的第二多个视觉数据，所述第二多个视觉数据在与所述第一多个视觉数据不同的采样时间期间被捕获；以及处理电子器件，其通信地耦接到所述头戴式显示器以及所述右眼睛跟踪相机和所述左眼睛跟踪相机，所述处理电子器件被配置为：基于所述第一多个视觉数据和所述第二多个视觉数据中的至少一些视觉数据，在所述第一多个视觉数据中的视觉数据未被捕获的采样时间，估计所述右眼睛的视觉数据；基于所述第一多个视觉数据和所述第二多个视觉数据中的至少一些视觉数据，在所述第二多个视觉数据中的视觉数据未被捕获的采样时间，估计所述左眼睛的视觉数据；确定所述右眼睛或左眼睛中的至少一个眼睛的眼睛移动，确定所述右眼睛的所述眼睛移动是基于所估计的所述右眼睛的视觉数据中的至少一些和所述右眼睛的所述第一多个视觉数据中的至少一些视觉数据，以及确定所述左眼睛的所述眼睛移动是基于所估计的所述左眼睛的视觉数据中的至少一些和所述左眼睛的所述第二多个视觉数据中的至少一些视觉数据；以及使得所述头戴式显示器基于所述右眼睛或所述左眼睛中的至少一个的所述眼睛移动来呈现所述虚拟内容。2.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述至少一个光源包括红外光源。3.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述至少一个光源包括：第一光源，其被配置为将光引导向所述左眼睛；以及第二光源，其被配置为将光引导向所述右眼睛。4.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述右眼睛跟踪相机和所述左眼睛跟踪相机的组合采样率包括所述第一采样率和所述第二采样率的聚合。5.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述第一采样率等于所述第二采样率。6.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述右眼睛跟踪相机和所述左眼睛跟踪相机被配置为交替捕获所述第一多个视觉数据和所述第二多个视觉数据。7.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述第一采样率和所述第二采样率包括30Hz。8.根据权利要求7所述的可穿戴显示系统，其中，所述右眼睛跟踪相机和所述左眼睛跟踪相机的组合采样率包括60Hz。9.根据前述权利要求中的任一项所述的可穿戴显示系统，其中，所述处理电子器件被
配置为：基于对所述右眼睛的所述第一多个视觉数据中的视觉数据和所述左眼睛的所述第二多个视觉数据中的视觉数据之间的差异的确定，估计所述右眼睛或所述左眼睛的所述视觉数据。10.根据权利要求9所述的可穿戴显示系统，其中，所述处理电子器件还被配置为：基于在所估计的视觉数据的所述采样时间期间所捕获的所述左眼睛的所述第二多个视觉数据中的视觉数据与在紧接在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述右眼睛的所述第一多个视觉数据中的视觉数据之间的第一差异，估计所述右眼睛的所述视觉数据；以及基于在所估计的视觉数据的所述采样时间期间所捕获的所述右眼睛的所述第一多个视觉数据中的视觉数据与在紧接在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述左眼睛的所述第二多个视觉数据中的视觉数据之间的第二差异，估计所述左眼睛的所述视觉数据。11.根据权利要求9至10中的任一项所述的可穿戴显示系统，其中，所述处理电子器件还被配置为：基于所述差异和在紧接在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述右眼睛的所述第一多个视觉数据中的视觉数据，估计所述右眼睛的所述视觉数据；以及基于所述差异和在紧接在所估计的视觉数据的所述采样时间之前的采样时间期间所捕获的所述左眼睛的所述第二多个视觉数据中的视觉数据，估计所述左眼睛的所述视觉数据。12.根据权利要求9至11中的任一项所述的可穿戴显示系统，其中，所述处理电子器件还被配置...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：