具有低延迟和低功率的眼睛跟踪系统技术方案

公开了一种低延迟、低功率眼睛跟踪的装置和方法。在一些实施例中，眼睛跟踪方法操作具有第一功耗水平的、跟踪用户的眼睛的位置的第一传感器。响应于检测到眼睛在一段时间内没有改变位置，该方法停止第一传感器的操作，而替代地操作检测眼睛的位置的改变的第二传感器。第二传感器的功耗水平低于第一传感器的功耗水平。一旦眼睛位置改变，第一传感器恢复操作。

Eye Tracking System with Low Delay and Low Power

【技术实现步骤摘要】
【国外来华专利技术】具有低延迟和低功率的眼睛跟踪系统
技术介绍
眼睛跟踪是跟踪人的一只或两只眼睛相对于人的头部的运动的过程。基于所获取的眼睛位置信息，可以将眼睛跟踪用作人机交互的一种输入。一种眼睛跟踪的方法基于视频眼电位计测(VOG)。VOG是一种基于视频的无创的测量眼睛动作的方法。光(例如，红外光)照射眼睛并从眼睛反射。摄像机感测所反射的光并记录眼睛的图像。基于眼睛的图像，眼睛跟踪系统识别瞳孔并跟踪瞳孔中心随时间的位置。然而，跟踪图像中的瞳孔所需的计算能力通常会引起延迟。此外，眼睛跟踪系统的光源、摄像机和处理器消耗显著的功率量。
技术实现思路
这里介绍的是低延迟、低功率的眼睛跟踪的装置和方法(共同地以及单独地为“这里介绍的技术”)。在一些实施例中，该方法操作跟踪用户眼睛的位置的第一传感器。响应于检测到眼睛在一段时间内没有改变位置，该方法停止第一传感器的操作，而代替地操作检测眼睛的位置的变化的第二传感器。第二传感器具有的功耗水平低于第一传感器的功耗水平。一旦眼睛位置改变，第二传感器恢复操作。由于第一传感器不需要一直运行，因此降低了总功耗。在一些其他实施例中，一种方法操作跟踪用户眼睛的位置的第一传感器和第二传感器。第二传感器具有第二功耗水平，其低于第一传感器的第一功耗水平。第一传感器还按照第一帧速率操作，该第一帧速率低于第二传感器操作的第二帧速率。该方法基于按照第一帧速率从第一传感器收集的信号来确定眼睛在关键帧处的位置。该方法还基于按照第二帧速率从第二传感器收集的信号，来确定眼睛在常规帧处的位置。由于第一传感器仅需要在关键帧处操作，因此降低了总功耗。根据附图和详细描述，所公开实施例的其他方面将是清楚的。提供本
技术实现思路
是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步解释。本
技术实现思路
不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在被用来限制所要求保护的主题的范围。附图说明通过示例而非限制的方式在附图中示出了本公开的一个或多个实施例，其中相同的附图标记指示类似的元件。图1示出了在其中可以使用虚拟现实(VR)或增强现实(AR)使能的头戴式显示设备(下文中的“HMD设备”)的环境的示例。图2图示出了HMD设备的示例的透视图。图3图示出了包括不同眼睛跟踪传感器的HMD设备的示例。图4图示出了使用基于触发的机制的眼睛跟踪的示例过程。图5图示出了在图4的过程期间正在眼睛跟踪设备的部件之间交换的信息。图6图示出了使用基于关键帧的机制的眼睛跟踪的示例过程。图7图示出了在图6的过程期间正在眼睛跟踪设备的部件之间交换的信息。图8图示出了可以被用来实现本文描述的任何一个或多个功能部件的系统的硬件架构的高级示例。具体实施方式在本说明书中，对“实施例”、“一个实施例”等的引用意指所描述的特定特征、功能、结构或特性被包括在这里介绍的至少一个实施例中。这些短语在本说明书中的出现并不一定都指同一个实施例。另一方面，所提及的实施例也不一定是相互排斥的。以下描述通常假设显示设备的“用户”是人。然而，注意，根据所公开实施例的显示设备可以潜在地由不是人类的用户使用，诸如机器或动物。因此，术语“用户”可以指代那些可能性中的任何可能性，除非可以从上下文中显而易见或另有说明。此外，术语“光学接收器”在此被用作通用术语，指人眼、动物眼睛或机器实现的光学传感器，其被设计来以类似于人眼的方式检测图像。因此，术语“眼睛跟踪”在本说明书中此后被用作一般术语，指代跟踪诸如人眼、动物眼睛或机器实现的光学传感器之类的光学接收器的移动或位置的过程。头戴式显示器(HMD)设备和其他近眼显示器(NED)系统可以包括跟踪用户的眼睛的运动的部件。如本文所公开的设备可以包括用于眼睛跟踪的两个不同传感器，例如第一传感器和第二传感器。第一传感器的功耗水平高于第二传感器的功耗水平。备选地，第一传感器可以具有高于第二传感器的延迟等级的延迟等级。通过在传感器之间动态切换并组合由传感器收集的信号，所公开的设备可以实现与传统眼睛跟踪系统相比具有更低功耗和更低延迟的准确眼睛跟踪。在一些实施例中，第一传感器是用于实施视频眼电位计测(VOG)的相机，并且第二传感器是用于收集眼电图(EOG)信号的EOG传感器。为了将功耗最小化，设备在指定的时间量内操作相机。在剩下的时间内，设备仅使用EOG信号来预测注视点(即，眼睛方向)。EOG传感器比VOG相机更节能，并且EOG信号的处理比VOG数据的处理需要更少的计算资源。如果需要眼睛位置的校准，则设备可以恢复相机的操作。图1至图7和相关文本描述了使用具有不同功耗水平的传感器进行眼睛跟踪的技术的某些实施例。然而，所公开的实施例不限于NED系统或HMD设备，并且具有各种可能的应用，诸如在计算机监视器系统、平视显示器(HUD)系统和视频游戏系统中。例如，设备可以基于检测到的眼睛位置执行中央凹形绘制(foveatedrendering)。对于中央凹形绘制，基于眼睛跟踪确定凝视点(也被称为注视点)。然后，可以以比用于图像其余部分的分辨率更高的分辨率绘制凝视点处的图像部分。备选地，可以模糊除了凝视点之外的其余图像。所有这些应用、改进或修改都被认为是在此公开的概念的范围内。图1示意性地示出了在其中可以使用HMD设备的环境的示例。在所图示的示例中，HMD设备10被配置为通过连接14向外部处理系统12传递数据并且从外部处理系统12传递数据，连接14可以是有线连接、无线连接或其组合。然而，在其他使用情况中，HMD设备10可以作为独立设备操作。连接14可以被配置为携带任何类型的数据，诸如图像数据(例如，静止图像和/或全动态视频，包括2D和3D图像)、音频、多媒体、语音和/或任何(多个)其他类型的数据。处理系统12可以是例如游戏机、个人计算机、平板计算机、智能电话或其他类型的处理设备。连接14可以是例如通用串行总线(USB)连接、Wi-Fi连接、蓝牙或蓝牙低功耗(BLE)连接、以太网连接、电缆连接、数字用户线(DSL)连接、蜂窝连接(例如3G、LTE/4G或5G)等、或其组合。另外，处理系统12可以经由网络18来与一个或多个其他处理系统16通信，网络18可以是或包括例如局域网(LAN)、广域网(WAN)、内联网、城域网(MAN)、全球互联网或其组合。图2示出了根据某些实施例的HMD设备20的透视图，该HMD设备20可以结合这里介绍的特征。HMD设备20可以是图1的HMD设备10的实施例。HMD设备20具有包括底盘24的保护性密封遮阳板组件22(下文中的“遮阳板组件22”)。底盘24是结构部件，显示元件、光学器件、传感器和电子器件通过该底盘被耦合到HMD设备20的其余部分。例如，底盘24可以由模制塑料、轻质金属合金或聚合物形成。遮阳板组件22分别包括左AR显示器26-1和右AR显示器26-2。AR显示器26-1和26-2被配置为例如通过将光投射到用户的眼睛中，来显示被覆盖在用户的真实世界环境的视图上的图像。左侧臂28-1和右侧臂28-2分别是经由柔性或刚性紧固机构(包括一个或多个夹具、铰链等)分别在底盘24的左右开口端处附接到底盘24的结构。HMD设备20包括被附接到侧臂28-1和28-2的可调节头带(或其他类型的头部组件)30，HMD设备20可以通过该头带而被佩戴在用户的本文档来自技高网...

【技术保护点】
1.一种眼睛跟踪的方法，包括：操作具有第一功耗水平的第一传感器，以跟踪用户的眼睛的位置；响应于检测到所述眼睛在一段时间内没有改变位置，停止所述第一传感器的操作；操作具有第二功耗水平的第二传感器，以检测所述眼睛的位置的改变，所述第二功耗水平低于所述第一功耗水平；以及响应于由所述第二传感器检测到所述眼睛的所述位置的所述改变，恢复所述第一传感器的操作。

【技术特征摘要】
【国外来华专利技术】2016.12.23 US 15/390,4101.一种眼睛跟踪的方法，包括：操作具有第一功耗水平的第一传感器，以跟踪用户的眼睛的位置；响应于检测到所述眼睛在一段时间内没有改变位置，停止所述第一传感器的操作；操作具有第二功耗水平的第二传感器，以检测所述眼睛的位置的改变，所述第二功耗水平低于所述第一功耗水平；以及响应于由所述第二传感器检测到所述眼睛的所述位置的所述改变，恢复所述第一传感器的操作。2.根据权利要求1所述的方法，其中所述第一传感器具有第一信号处理延迟，所述第一信号处理延迟高于所述第二传感器的第二信号处理延迟。3.根据权利要求1或2所述的方法，其中所述第一传感器具有第一眼睛跟踪准确度，所述第一眼睛跟踪准确度大于所述第二传感器的第二眼睛跟踪准确度。4.根据前述权利要求1至3中任一项所述的方法，其中所述第一传感器包括捕获所述用户的所述眼睛的图像的相机。5.根据前述权利要求1至4中任一项所述的方法，其中所述第二传感器包括眼电图传感器、光电二极管或低功率相机传感器。6.根据前述权利要求1至5中任一项所述的方法，还包括：基于所述第二传感器在两帧处的信号来估计眼睛位置，并计算两个眼睛位置之间的差异；以及当所述两个眼睛位置之间的所述差异超过阈值时，识别所述眼睛的所述位置的所述改变。7.根据前述权利要求1至6中任一项所述的方法，还包括：当所述第一传感器的所述操作恢复时，继续所述第二传感器的操作。8.一种用于眼睛跟踪的电子设备，包括：具有第一功耗水平的第一传感器，用以跟踪用户的眼睛的位置；具有第二功耗水平的第二传感器，用以跟踪所述用户的所述眼睛的位置，所述第二功耗水平低于所述第一功耗水平；以及处理器，所述处理器被配置为执行包括以下的过程：基于来自所述第一传感器的信号，检测所述眼睛在一段时间内没有改变位置；停止所述第一传感器的操作；触发所述第二传感器，以检测所述眼睛的位置的改变；以及响应于所述眼睛的所述位置的所述改变...

【专利技术属性】
技术研发人员：V·萨克拉尔，C·阿霍尔特，C·M·梅，B·周，N·巴赫，L·彻卡欣，J·金，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US