边界区域的闪烁追踪制造技术

本发明专利技术涉及边界区域的闪烁追踪。实施例涉及包括眼睛追踪系统的头戴式显示器。眼睛追踪系统包括源组件、相机和控制器。在一些实施例中，源组件是多个源并且定位成至少照射眼睛角膜的周边区域。在一些实施例中，源被掩蔽为特定形状。周边区域是眼睛上角膜过渡到巩膜的位置。在一些实施例中，相机可以检测反射光的偏振，并使用偏振来消除可能的反射位置的歧义。类似地，飞行时间也可用于消除潜在反射位置的歧义。控制器使用来自探测器的信息来追踪用户眼睛的位置。

Scintillation tracking in boundary region

【技术实现步骤摘要】
边界区域的闪烁追踪
本公开总体涉及眼睛追踪，并且具体地，涉及使用闪烁来进行眼睛追踪。
技术介绍
眼睛追踪指的是检测用户注视的方向的过程，其可以包括检测三维(3D)空间中的眼睛的定向。在例如虚拟现实(VR)和/或增强现实(AR)应用中使用的头戴式耳机背景中的眼睛追踪可以是重要特征。然而，头戴式显示器的功率预算和形状因数考虑因素会使设计精确的眼睛追踪系统变得困难。
技术实现思路
眼睛追踪系统被配置为使用闪烁来检测用户注视的方向。眼睛追踪系统包括多个发射器、相机和控制器。多个发射器用光图案照射眼罩，其中用户的眼睛位于眼罩内，并且光图案在眼睛的表面的部分上产生多次闪烁。眼睛的表面的部分包括眼睛的巩膜和眼睛的角膜之间的边界区域，其中每次闪烁与多个发射器的相应发射器相关联。相机捕获眼睛的部分的图像。捕获的图像包括由边界区域反射的多次闪烁的子集。控制器使用捕获图像识别眼睛的边界区域中的闪烁子集，并且部分地基于所识别的闪烁和眼睛的模型来估计眼睛的位置。在一些实施例中，眼睛追踪系统可以是头戴式显示器的一部分。例如，HMD用在人工现实环境中。附图说明图1是根据实施例的头戴式显示器(HMD)的图。图2是根据实施例的图1中所示的HMD的前刚性主体的横截面。图3是根据实施例的眼睛追踪系统的框图。图4示出根据实施例的投射到眼睛上的示例光图案。图5是示出根据实施例的反射位置的歧义消除的图。图6是示出根据实施例的眼睛追踪过程的流程图。图7是根据实施例的HMD系统的框图。附图仅出于说明的目的描绘了各种实施例。从以下讨论中，本领域技术人员将容易认识到，不脱离本文所述的原理的情况下，可以采用本文所示的结构和方法的替代实施例。具体实施方式概述实施例涉及包括眼睛追踪系统的头戴式显示器。眼睛追踪系统包括源组件、相机和控制器。在一些实施例中，源组件是多个源并且被定位成照射至少眼睛的边界区域。在一些实施例中，源被掩蔽为特定形状。边界区域是眼睛上角膜过渡到巩膜的位置。相机捕获从眼睛的目标区域反射的光图案的图像。在一些实施例中，相机可以检测反射光的偏振，并且眼睛追踪系统使用偏振来消除可能的反射位置的歧义。类似地，飞行时间也可用于消除潜在反射位置的歧义。控制器使用来自探测器的信息来追踪用户眼睛的位置。更具体地，控制器分析偏振信息以识别来自眼睛的边界区域的闪烁，并且基于所识别的闪烁，更新眼睛的模型以识别用户眼睛的位置。本专利技术的实施例可以包括人工现实系统或者与人工现实系统结合实施。人工现实是在呈现给用户之前已经以某种方式调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混合式现实、或其某些组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与捕获的(例如，真实世界)内容相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，并且其中的任何一个可以在单个频道或多个频道(诸如向观看者产生三维效果的立体视频)中呈现。另外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，其用于例如在人工现实中创建内容和/或以其他方式在人工现实中使用(例如，执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，包括连接到主计算机系统的头戴式显示器(HMD)、独立HMD、移动设备或计算系统、或者能够向一个或多个观看者提供人工现实内容的任何其他硬件平台。系统架构图1是根据实施例的HMD100的图。HMD100可以是人工现实系统的一部分。HMD100包括具有前侧120A、顶侧120B、底侧120C、右侧120D和左侧120E以及带110的前刚性主体105。在一些实施例中，HMD100的前侧120A的部分在可见光波段(～380nm至750nm)中至少部分透明，并且HMD100的位于HMD100的前侧120A和用户眼睛之间的部分至少部分透明(例如，部分透明的电子显示器)。前刚性主体105包括一个或多个电子显示器(图1中未示出)、惯性测量单元(IMU)130、一个或多个位置传感器125、以及一个或多个定位器135。在由图1所示的实施例中，位置传感器125位于IMU130内，并且IMU130和位置传感器125对用户都不可见。定位器135可以相对于彼此并且相对于参考点115位于前刚性主体105上的固定位置。在图1的示例中，参考点115位于IMU的中心。每个定位器135可以发射可由成像设备检测的光(例如，图7中所示的成像设备710，下面更详细地描述)。在一些实施例中，定位器135可包括无源元件(例如，回反射器)，其被配置为反射来自光源的可由成像设备检测的光。在图1的示例中，定位器135或定位器135的部分位于前刚性主体105的前侧120A、顶侧120B、底侧120C、右侧120D和/或左侧120E上。成像设备可以被配置为基于检测到的定位器135的位置来确定HMD100的位置(包括方向)，其可以用于确定要向用户显示的内容。例如，在HMD100是HMD系统的一部分的情况下，HMD100的位置可以用于确定位于不同位置的哪些虚拟对象对于HMD100的用户是可见的。图2是图1中所示的HMD100的前刚性主体105的横截面200。如图2所示，前刚性主体105包括电子显示元件205、光学块210和眼睛追踪系统215。为了说明的目的，图2示出了根据单眼220的前刚性主体105的横截面。尽管图2描绘了眼睛220的中心横截面与眼睛追踪系统215处于同一平面，但是眼睛220和眼睛追踪系统215的中心横截面不必在同一平面内。另外，与图2所示的那些分开的另一电子显示元件205和光学块210可包括在前刚性主体105中，以将内容呈现给用户的另一只眼睛。电子显示元件205向用户显示如由HMD100或其他设备生成的图像和/或视频。具体地，电子显示元件205朝向光学块210发射图像光。电子显示元件205的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机光-发光二极管显示器(AMOLED)、透明有机发光二极管显示器(TOLED)、一些其他显示器、或它们的一些组合。光学块210放大来自电子显示元件205的接收图像光，校正与图像光相关联的光学误差，并将校正后的图像光呈现给HMD100的用户。光学块210将放大的和/或校正的图像光引导到眼罩245，以呈现给佩戴HMD100的用户。眼罩245是空间中将被HMD100的用户的眼睛220占据的位置。在实施例中，光学块210包括一个或多个光学元件和/或不同光学元件的组合。例如，光学元件是光圈、菲涅耳透镜、凸透镜、凹透镜、滤光器或影响从电子显示元件205发射的图像光的任何其它合适的光学元件。在一些实施例中，光学块210中的一个或多个光学元件可以具有一个或多个涂层，例如抗反射涂层。通过光学块210放大图像光允许电子显示元件205在物理上更小，重量更轻并且比更大的显示器消耗更少的功率。另外，放大可以增加所显示内容的视野。本文档来自技高网...

【技术保护点】
1.一种眼睛追踪单元，包括：/n多个发射器，被配置为用光图案照射眼罩，其中，用户的眼睛位于所述眼罩内，并且所述光图案在所述眼睛的表面的部分上产生多次闪烁，所述部分包括所述眼睛的巩膜和所述眼睛的角膜之间的边界区域，其中，每次闪烁与所述多个发射器中的相应发射器相关联；/n相机，被配置为捕获所述眼睛的所述部分的图像，所捕获的图像包括由所述边界区域反射的所述多次闪烁的子集；以及/n控制器，被配置为：/n使用所捕获的图像识别所述眼睛的所述边界区域中的闪烁的所述子集，以及/n部分地基于所识别的闪烁和所述眼睛的模型估计所述眼睛的位置。/n

【技术特征摘要】
20180629 US 16/024,4791.一种眼睛追踪单元，包括：
多个发射器，被配置为用光图案照射眼罩，其中，用户的眼睛位于所述眼罩内，并且所述光图案在所述眼睛的表面的部分上产生多次闪烁，所述部分包括所述眼睛的巩膜和所述眼睛的角膜之间的边界区域，其中，每次闪烁与所述多个发射器中的相应发射器相关联；
相机，被配置为捕获所述眼睛的所述部分的图像，所捕获的图像包括由所述边界区域反射的所述多次闪烁的子集；以及
控制器，被配置为：
使用所捕获的图像识别所述眼睛的所述边界区域中的闪烁的所述子集，以及
部分地基于所识别的闪烁和所述眼睛的模型估计所述眼睛的位置。


2.根据权利要求1所述的眼睛追踪单元，其中，所述多个发射器被布置为环形配置。


3.根据权利要求1所述的眼睛追踪单元，其中，所述多个发射器是光学元件的一部分，并且来自电子显示器的光在到达所述眼罩之前穿过所述光学元件的部分，并且所述多个发射器位于所述光学元件的部分内。


4.根据权利要求1所述的眼睛追踪单元，其中，所述多个发射器包括至少一个点源发射器。


5.根据权利要求4所述的眼睛追踪单元，其中，所述多个发射器被掩蔽以具有圆形发射区域。


6.根据权利要求1所述的眼睛追踪单元，其中，所述边界区域由所述眼睛上所述角膜过渡到所述巩膜的位置限定。


7.根据权利要求1所述的眼睛追踪单元，其中，眼睛定向模块还被配置为：
检测反射光的偏振，以及
使用所述偏振来消除可能的反射位置的歧义。


8.一种眼睛追踪系统，包括：
多个发射器，被配置为用光图案照射眼罩，其中，用户的眼睛位于所述眼罩内，并且所述光图案在所述眼睛的表面的部分上产生多次闪烁，在所述眼睛的表面的部分处所述眼睛的角膜过渡到所述眼睛的巩膜，其中，每次闪烁与所述多个发射器的相应发射器相关联；
相机，被配置为捕获所述眼睛的所述部分的图像，所捕获的图像包括由所述眼睛的所述角膜过渡到所述巩膜的表面的部分反射的所述多次闪烁的子集；以及
控制器，被配置为部分地基于所述图像和所述眼睛的模型来估计所述眼睛的位置。


9.根据权利要求8所述的眼睛追...

【专利技术属性】
技术研发人员：罗伯特·达勒·卡文，亚历山大·乔布·菲克斯，安德鲁·约翰·欧德柯克，
申请(专利权)人：脸谱科技有限责任公司，
类型：发明
国别省市：美国;US