使用双目注视约束的眼睛凝视跟踪制造技术

本主题公开总体上指向基于双眼注视在相同的凝视位置上的眼睛凝视检测。在一方面，包括对象的左眼和右眼的图像被捕获，从图像中提取左亮点和右亮点以及左瞳孔中心信息和右瞳孔中心信息。使用左亮点数据和右亮点数据以及左瞳孔数据和右瞳孔数据与左偏差校正矩阵和右偏差校正矩阵一起来联合确定凝视位置。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
随着包括移动设备、手持式设备和诸如显示器的关联的技术的演进，人工输入机制也已类似地发展。诸如基于语音识别、头部和骨骼跟踪以及手势识别的自然的用户接口变得更加广泛，以补充或在一些情况下代替键盘、定点设备(鼠标或触笔)和/或公认的符号/手写输入。眼睛凝视检测是另一自然的用户接口技术。一种类型的眼睛跟踪技术被称为基于交比(CR)的眼睛跟踪。该技术利用平面投影的不变性，以使得使用未校准设置中的单个相机进行对象的远程凝视估计。通常，向用户投射红外光，来自用户眼睛的角膜反射(亮点)由相机感测并被处理以跟踪凝视。
技术实现思路
提供本
技术实现思路
以简要的形式引入一系列的代表性概念，其在下文具体实施方式中进一步被描述。本
技术实现思路
并不旨在标识要求保护的主题的关键特征或必要特征，也并不旨在以限制要求保护的主题的范围的任何方式使用。概括地说，本文描述的主题的各个方面指向基于从双眼获得的数据和将一只眼睛的数据与另一只眼睛的数据关联的约束的凝视检测技术。方面包括以联合误差最小化计算对象的当前凝视位置(其中在每只眼睛中捕获至少四个亮点)，包括计算当前左单应矩阵和当前右单应矩阵以与左瞳孔数据和右瞳孔数据一起用于联合误差最小化。在一方面，至少四个光源从对象的左眼和右眼生成作为成对的左亮点和右亮点的角膜反射。相机捕获包含左亮点和右亮点以及左瞳孔数据和右瞳孔数据的当前图像。双目计算校正器基于左亮点和右亮点计算左单应矩阵和右单应矩阵以与左瞳孔数据和右瞳孔数据一起用于凝视位置的联合计算。双目计算校正器还可以使用左偏差校正单应矩阵和右偏差校正单应矩阵。一个或多个方面指向捕获包括对象的左眼和右眼的图像，从图像中提取左亮点和右亮点以及左瞳孔中心信息和右瞳孔中心信息分别作为左亮点数据和右亮点数据以及左瞳孔数据和右瞳孔数据。左亮点数据和右亮点数据以及左瞳孔数据和右瞳孔数据与左偏差校正矩阵和右偏差校正矩阵一起使用来联合确定凝视位置。当结合附图时，其他优点从以下详细的描述中将变得显而易见。附图说明本专利技术以示例的方式被图示并且在附图中不受限制，其中相同的附图标记指示相似的元件并且其中：图1是图示根据一个或多个示例实施方式的包括可以用在眼睛凝视检测中的双目计算模型的示例部件的框图。图2是根据一个或多个示例实施方式的用在凝视检测中的左亮点和右亮点如何被捕获以与双目计算模型一起使用以用于凝视检测的表示。图3是根据一个或多个示例实施方式的用在凝视检测中的光源的几何形状以及左眼和右眼中的对应的亮点的表示。图4是根据一个或多个示例实施方式的如何使用亮点和瞳孔相关数据(例如，瞳孔中心)从学习的自适应单应映射模型获得凝视信息的表示。图5是根据一个或多个示例实施方式的可以如何使用基于交比的变换校准偏差校正模型的表示。图6是图示根据一个或多个示例实施方式的可以被采取以从自适应单应映射模型获得凝视信息的示例步骤的流程图。图7是表示移动电话和/或手持式计算设备和/或通信设备的形式的示例性非限制性计算系统或操作环境的框图，其中可以实施本文描述的各种实施例的一个或多个方面。具体实施方式本文描述的技术的各个方面总体上指向用来与基于交比(单应)技术一起使用的基于双目注视约束的眼睛凝视检测(其中，双目注视是使两个眼睛同时指向同一位置的过程)。在实践中，这在基于交比的方案中提供了对眼睛凝视跟踪更精确的估计。注意，当在给定场景中需要深度感知(3D眼睛凝视)时，双目注视约束尤其有用。在一个方面，通过每个凝视点处使用多个凝视位置作为亮点和瞳孔中心的基本事实针对用户校准左偏差校正单应矩阵和右偏差校正单应矩阵。注意，代替使用单眼，来自双眼的亮点和瞳孔数据(例如，瞳孔中心)与双眼的瞳孔数据一起被捕获，并且在每个凝视位置处用于计算偏差校正矩阵。在在线操作期间，在每帧中，鉴于包括对象的左眼和右眼的一组亮点和瞳孔中心的当前数据计算左交比单应矩阵和右交比单应矩阵。基于计算的单应矩阵和校准的偏差校正矩阵，当前凝视位置被联合计算。如将理解，联合计算是基于由它们的关系约束的对应的成对的左眼亮点和右眼亮点，也即每个左亮点和右亮点对通常从光源中的同一光源反射。此外，联合计算是基于由他们注视在同一凝视位置所约束的瞳孔数据(例如，瞳孔中心)。应当理解，本文中的任何的示例是非限制性的。例如，尽管例示了四个光源和相机，然而可以以任意多种方式定位任意数量的相机和光源(提供合适的亮点图案)。而且，用来检测眼睛凝视的算法等仅是示例，并且本文描述的技术独立于并且不限于任何特定的技术，并且进一步地能够随着新算法的开发而调整。如此，本专利技术不限于本文描述的特定的实施例、方面、概念、结构、功能或示例。相反，本文描述的任何的实施例、方面、概念、结构、功能或示例是非限制性的，并且可以以总体上在眼睛凝视检测上提供益处和优点的各种方式使用本专利技术。图1是图示可以用来执行眼睛凝视检测/跟踪的示例部件的总体框图。在图1中示出了计算设备102和显示器104。显示器104可以是耦合到计算设备的外部显示器或者合并到计算机设备中(例如，其外壳)的显示器。如在图1中所示，示出了多个IR光源106(1)-106(m)以及一个或多个IR光敏相机108(1)-108(n)。注意，对于基于交比的眼睛凝视检测，单个相机通常足够，然而，如果存在，来自多个相机的图像可以以一些方式处理和组合(例如，平均)以便减少噪声的影响。光源可以是通过衍射/反射光的光学元件投射的独立的光源(诸如激光发光二极管(LED)和/或LED等)，由此提供多个光源。注意，IR光敏相机中的一些或所有可以与可见光相机组合。另外注意，一个相机(或多个相机)可以附接到设备(例如，嵌入到边缘中(例如图2中的由被圆包围的X表示的相机208)或物理耦合到设备)或者可以在设备的外部(例如，图5的相机508)或者二者的组合。应当理解，在基于交比的眼睛跟踪中，至少需要4个光源来提供计算单应所需的亮点，并且布置这些光源以便它们中的任意一个和其他几个之间至少存在三个不同的方向，从而提供一个四边形，例如在图2中的典型布置，光源222-225的矩形图案。尽管如此，包括更多光源的其他布置是可行的，例如，可以提供诸如当其他亮点中的一个未被检测到时，至少提供4个亮点的好处。控制器110可以被用来控制IR光源106(1)-106(m)和/或IR光敏相机108(1)-108(n)的操作，但是在一个或多个实施方式中，光源和相机可以是“常开的”，由此，可推测除了具有开/关能力的电源之外，不再需要“控制器”。注意，使用IR光是因为它对人来说不可识别，然而，在一些场景中可能需要使用可见光，诸如，在对象的眼睛戴着阻挡特定可见光波长的隐形眼镜的情况下使用。因此，如本文所使用的，“光源”并不限于IR波长。通常，如本文所描述的，一个或多个相机108(1)-108(n)捕获图像，该图像被馈送到包括眼睛凝视检测器114的图像处理部件112，眼睛凝视检测器114耦合到双目计算校正器116(可以包括其他偏差校正)。图像处理部件112提供眼睛凝视检测输出118，诸如表示在被处理的给定帧等中用户当前正在凝视的位置的凝视坐标。这种输出118可以被缓存(诸如与其他输入配合使用(例如，鼠标点击或手势))，可以被操作系统使用(例如，移动光标)，可以被应本文档来自技高网...

【技术保护点】
一种方法，包括：接收对象的图像，其中使用相机和至少四个光源在每只眼睛中捕获至少四个亮点；以及以联合误差最小化来计算所述对象的当前凝视位置，包括计算当前左单应矩阵和当前右单应矩阵以与左瞳孔数据和右瞳孔数据一起用于所述联合误差最小化。

【技术特征摘要】
【国外来华专利技术】2014.03.26 US 14/226,1361.一种方法，包括：接收对象的图像，其中使用相机和至少四个光源在每只眼睛中捕获至少四个亮点；以及以联合误差最小化来计算所述对象的当前凝视位置，包括计算当前左单应矩阵和当前右单应矩阵以与左瞳孔数据和右瞳孔数据一起用于所述联合误差最小化。2.根据权利要求1所述的方法，其中计算所述当前左单应矩阵和所述当前右单应矩阵包括使用光源位置、左眼亮点位置和右眼亮点位置来最小化误差。3.根据权利要求1所述的方法，其中确定所述当前凝视位置包括将所述左单应矩阵与左偏差校正单应矩阵相乘以及将所述右单应矩阵与右偏差校正单应矩阵相乘。4.根据权利要求1所述的方法，进一步包括：输出所述当前凝视位置；以及使用所述当前凝视位置采取关于改变用户接口的状态的动作。5.一种系统，包括：至少四个光源，被配置成生成角膜反射，所述角膜反射包括分别来自对象的左眼和右眼的至少四对左亮点和右亮点；相机，被配置成捕获包含所述左亮点和所述右亮点以及左瞳孔数据和右瞳孔数据的当前图像；以及双目计算校正器，被配置成基于所述左亮点和所述右亮点计算左单应矩阵和右单应矩阵，以与所述左瞳孔数据和所述右瞳孔数据一起用于凝视位置的联合计算。6.根据权利要求5所述的系统，其中所述双目计算校正器进一步被配置成使用左偏差校正单应矩阵和右偏差校正单应矩阵。7.根据权利要求...

【专利技术属性】
技术研发人员：张正友，蔡琴，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US