基于自适应单应性映射的眼睛凝视跟踪制造技术

本公开内容涉及基于多个相机和/或光源以及自适应单应性映射模型的眼睛凝视检测。学习模型包括在统一框架中同时地补偿随空间变化的凝视误差和头部姿势。各个方面包括使用在各种头部定位的仿真的数据来离线训练自适应单应性模型。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
随着包括移动设备、手持设备和有关技术、比如显示器的计算机已经演变，人类输入机制已经类似地发展。比如基于话音辨识、头部和骨骼跟踪以及手势检测的自然用户接口正在变得更加普遍，从而补充或者在一些情况下取代键盘、指示设备(鼠标或者触笔)和/或识别的符号/笔迹输入。眼睛凝视检测(眼睛跟踪)是另一种自然用户接口技术。眼睛跟踪技术的一种类型被称为基于交比(CR)的眼睛跟踪。这一技术利用平面投射的不变性以实现使用在未校准的设立中的单个相机对对象的远程凝视估计。一般而言，朝着用户投射红外线光，使得从用户的眼睛的角膜闪烁(反光)由相机感测到，并被处理以跟踪凝视。
技术实现思路
提供这一
技术实现思路
以简化的形式介绍以下在具体实施方式中进一步描述的概念的选集。这一
技术实现思路
未旨在于标识要求保护的主题内容的关键特征或者实质特征，它也未旨在于以将限制要求保护的主题内容的范围的任何方式来使用。作为简化假设的结果，已知的基于CR的眼睛凝视跟踪器的性能随着对象从初始(固定)校准定位移开而显著地下降。同时，实施如下系统不切实际，在该系统中，对象需要在现实使用中出现的许多可能x、y和z头部定位中的每个头部定位中校准眼睛跟踪。因此，希望有一种用于基于CR和其他眼睛凝视跟踪器的改进技术。简言之，这里描述的主题内容的各种方面涉及用于实现凝视检测的自适应单应性映射。在一个或多个方面中，至少四个光源生成从对象的眼睛的角膜反射作为反光，并且相机被配置为捕获包含反光的当前图像。经由变量——包括代表相对于校准定位的头部位置和/或凝视方向的变量——学习的自适应单应性映射模型被配置为匹配与反光对应的特征数据、与瞳孔有关的数据和/或凝视数据以输出代表的凝视信息。一个或多个方面涉及使用自适应单应性映射模型用于凝视检测，其中训练自适应单应性映射模型以补偿相对于校准定位的随空间变化的凝视误差和依赖于头部姿势的误差。在图像中捕获和从图像处理当前反光数据和与瞳孔有关的数据作为向自适应单应性映射模型提供的特征。基于与当前凝视信息对应的特征从自适应单应性映射模型接收数据。一个或多个方面涉及捕获包括对象的眼睛的图像，反光数据和与瞳孔有关的数据是作为特征从该图像提取的，以及使用特征作为向自适应单应性映射模型的输入以确定凝视方向。可以通过使用与在不同头部定位的预测的偏差校正值对应的至少一些仿真的数据来学习自适应单应性映射模型。可以通过获得包括与相对头部定位对应的运动矢量的第一预测器变量以及获得与凝视方向对应的第二预测器变量来学习自适应单应性映射模型。学习可以包括基于与多个头部定位和凝视方向对应的数据最小化目标函数。一般而言，自适应单应性映射模型使用缩放和平移用于预测以及单应性用于校正。其他优点将从在结合附图阅读时的以下具体描述中变得清楚。附图说明在附图中通过举例说明而不是限制本专利技术，在附图中，相似附图标记指示相似要素，并且在附图中：图1是图示根据一个或多个示例实施方式的示例部件的框图，这些部件包括可以在眼睛凝视检测中使用的经学习的自适应单应性映射模型。图2是根据一个或多个示例实施方式的如何捕获反光用于在凝视检测中使用以用作向用于凝视检测的经学习的自适应单应性映射模型的特征的表示。图3是根据一个或多个示例实施方式的如何使用反光和与瞳孔有关的数据(例如瞳孔中心)以从经学习的自适应单应性映射模型获得凝视信息的表示。图4是根据一个或多个示例实施方式的如何可以使用基于交比的变换以训练自适应单应性映射模型的表示。图5是根据一个或多个示例实施方式的在各种头部定位训练自适应单应性映射模型的表示。图6A和图6B以及图7A和图7B是根据一个或多个示例实施方式的仿真的训练数据如何可以基于由于头部移动所致的平滑缩放和平移变化的示例表示。图8是图示根据一个或多个示例实施方式的可以采取的用意从经学习的自适应单应性映射模型获得凝视信息的示例步骤的流程图。图9是以这里描述的各种实施例的一个或多个方面可以被实施到其中的移动和/或手持计算和/或通信设备的形式表示示例非限制计算系统或者操作环境的框图。具体实施方式这里描述的技术的各种方面主要地涉及用于在校准定位以更高准确性和在头部移动之下以更高鲁棒性实现凝视预测的自适应单应性映射。这利用在统一框架中同时地补偿随空间变化的凝视误差和依赖于头部姿势的误差的基于经学习的技术来实现。在一个或多个方面中，可以使用仿真的数据来离线训练自适应单应性映射模型从而节省数据收集的大量时间和工作；换言之，无需要求对象在许多各种可能头部定位执行校准。例如用于x、y的缩放项和平移项在实践中平滑地改变，因此仿真的数据可以包括关于偏差校正单应性在新头部定位如何改变的预测以用作真实数据(的至少部分)。如将理解的那样，自适应单应性映射基于预测器变量，这些变量捕获相对于校准定位的头部移动和在屏幕上的凝视的定位。可以通过在各种头部定位的系列独立于对象的校准、包括使用在定位的仿真/仿真的数据来收集用于训练自适应单应性映射的真实数据(ground truth data)。在在线操作期间，使用训练的模型以自适应地校正从随空间变化的凝视误差和依赖于头部姿势的误差引起的偏差。在实践中，这一实时操作比其他已知的眼睛凝视技术更准确和对头部移动更具鲁棒性。为此，基于经学习的自适应方式通过使用反光变换来同时地补偿随空间变化的误差和从头部移动引起的误差、例如通过考虑在反光图案之间的几何变换来补偿在反光之间的距离变化和/或反光图案的大小变化。所得模型不仅补偿对象的深度变化而且补偿与屏幕平面平行的移动。注意尽管可以通过对仿真的数据训练的学习过程获得自适应功能，然而关于系统设立的任何先验知识(如果可用)可以容易地被包含到系统中。应当理解这里的示例中的任何示例为非限制性的。例如尽管举例说明四个光源和一个相机，但是可以用任何数目的方式对任何数目的相机和光源(提供适当反光图案)进行定位。另外，用来检测眼睛凝视的算法等仅为示例，并且这里描述的技术独立于而不限于任何具体示例而且还能够随着开发新算法而加以适配。这样，本专利技术不限于这里描述的任何具体实施例、方面、概念、结构、功能或者示例。实际上，这里描述的实施例、方面、概念、结构、功能或者示例中的任何实施例、方面、概念、结构、功能或者示例为非限制性的，并且可以用一般地在眼睛凝视检测中提供益处和优点的各种方式使用本专利技术。图1是图示可以用来执行眼睛凝视检测的示例部件的一般框图。在图1中，示出计算设备102和显示器104。显示器104可以是耦合到计算设备的外部显示器或者包含到计算机设备、例如它的壳中的显示器。如图1中所示，示出多个IR光源106(1)-106(m)以及一个或多个IR光敏相机108(1)-108(n)。注意对于基于交比的眼睛凝视检测，单个相机通常足够，然而如果存在则可以用某种方式(例如平均)处理和组合来自多个相机的图像以比如减少噪声的影响。光源可以是个别光源、比如激光发光二极管(LED)和/或如下LED等，这些LED等透过衍射/反射光的光学元件投射、由此提供多个光源。注意IR光敏相机中的任何或者所有IR光敏相机可以与可见光相机组合。还注意一个(或多个)相机可以附着到设备、例如嵌于边缘中(例如由圆圈X代表的图2的相机208)或者物理地耦合到设备或者可以在设备外本文档来自技高网...

【技术保护点】
一种系统，包括：至少四个光源，被配置为生成从对象的眼睛的角膜反射作为反光；相机，被配置为捕获包含所述反光的当前图像；以及眼睛凝视检测器，包含或者耦合到凝视头部定位偏差校正器，所述眼睛凝视检测器被配置为接收包含所述反光的所述当前图像并且估计所述对象的眼睛的眼睛凝视，所述凝视头部定位偏差校正器被配置为接收所述对象的眼睛的所述眼睛凝视的所述估计并且通过匹配与所述对象的所述反光和与瞳孔有关的数据对应的特征数据来校正所估计的眼睛凝视中的偏差，以输出指示所述对象的眼睛当前凝视何处的校正的凝视信息，所述凝视偏差校正器使用经由一个或多个变量学习的自适应单应性映射，所述一个或多个变量包括表示相对于校准定位的头部位置的一个或多个变量。

【技术特征摘要】
【国外来华专利技术】2014.03.26 US 14/226,4671.一种系统，包括：至少四个光源，被配置为生成从对象的眼睛的角膜反射作为反光；相机，被配置为捕获包含所述反光的当前图像；以及眼睛凝视检测器，包含或者耦合到凝视头部定位偏差校正器，所述眼睛凝视检测器被配置为接收包含所述反光的所述当前图像并且估计所述对象的眼睛的眼睛凝视，所述凝视头部定位偏差校正器被配置为接收所述对象的眼睛的所述眼睛凝视的所述估计并且通过匹配与所述对象的所述反光和与瞳孔有关的数据对应的特征数据来校正所估计的眼睛凝视中的偏差，以输出指示所述对象的眼睛当前凝视何处的校正的凝视信息，所述凝视偏差校正器使用经由一个或多个变量学习的自适应单应性映射，所述一个或多个变量包括表示相对于校准定位的头部位置的一个或多个变量。2.根据权利要求1所述的系统，其中表示相对于校准定位的头部位置和凝视定位的所述变量至少部分基于仿真的数据。3.根据权利要求2所述的系统，其中所述仿真的数据被配置为收集用于通过校准来训练所述自适应单应性映射以获得在各种头部定位的预测器变量的真实数据。4.根据权利要求1所述的系统，其中表示相对于校准定位的头部位置的所述变量对应于至少部分通过仿射变换、相似性变换和/或单应性变换来编码的在各种所述头部位置之中的相对头部移动。5.一种方法，包括：估计凝视，包括使用自适应单应性映射以用于偏差校正，...

【专利技术属性】
技术研发人员：张正友，蔡琴，刘自成，黄嘉斌，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US