用于注视跟踪模型的注视检测偏移制造技术

本文公开了涉及注视跟踪的示例。一个示例提供了一种计算设备，该计算设备包括含有图像传感器的眼睛跟踪系统、逻辑设备、以及包括指令的存储设备，所述指令能够被所述逻辑设备执行以通过经由所述眼睛跟踪该系统获得该眼睛的图像并从该眼睛的图像确定该眼睛的晶状体的中心的所确定的位置来跟踪眼睛注视方向。所述指令进一步能够被执行以通过向晶状体的中心的所确定的位置应用预定的亚像素偏移来在亚像素级别上调整晶状体的中心的所确定的位置以产生晶状体的中心的经调整的位置，从晶状体的中心的经调整的位置来确定注视方向，以及基于该注视方向在该计算设备上执行动作。

【技术实现步骤摘要】
【国外来华专利技术】用于注视跟踪模型的注视检测偏移背景注视跟踪可在许多应用中找到用途，包括但不限于：人机交互、视觉注意力分析、以及用于残疾人士的辅助技术。例如，人的注视方向可被跟踪以确定该人的注视与计算系统的图形用户界面相交的位置。所确定的位置随后可被用作用于与该图形用户界面交互的输入信号。概述本文公开了涉及注视跟踪的示例。一个示例提供了一种计算设备，该计算设备包括含有图像传感器的眼睛跟踪系统、逻辑设备、以及包括指令的存储设备，所述指令能够被所述逻辑设备执行以通过经由所述眼睛跟踪系统获得该眼睛的图像并从该眼睛的图像确定该眼睛的晶状体的中心的所确定的位置来跟踪眼睛注视方向。所述指令进一步能够被执行以通过向所述眼睛的晶状体的中心的所确定的位置应用预定的亚像素偏移来调整所述眼睛的晶状体的中心的所确定的位置，从晶状体中心的经调整的位置来确定注视方向，以及基于该注视方向在该计算设备上执行动作。提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。附图简述图1示出示例注视跟踪系统。图2示出示例注视跟踪过程流水线的示意表示。图3示出示例注视模型的几何表示。图4示出了用可见光相机和用红外相机获得的眼睛的示例图像。图5A-C示出了面部地标检测和头部姿态估计的示例输出。图6示出了表示虹膜检测过程期间的各步骤处的示例数据集的图像。图7示出了瞳孔中心的2D到3D几何形状的示例映射。图8示出了图像传感器上的所确定的眼睛晶状体中心的示例映射的示意图。图9示出了不向所确定的眼睛晶状体中心应用亚像素调整所可能带来的差错的示例的示意图。图10示出了向所确定的眼睛晶状体中心应用亚像素偏移(sub-pixeloffset)的示例方法。图11示出了用于确定用于眼睛晶状体中心的亚像素偏移的示例方法。图12示出了示例计算系统的框图。详细描述注视跟踪系统可利用图像传感器来获得人的眼睛的图像数据。例如，一些注视跟踪系统可利用人的眼睛的红外图像来定位对来自闪光光源(例如“朝该人的眼睛定向的红外光源”)的光(“闪光”)的角膜反射以确定人的注视方向。其它方法可使用可见或红外相机而无需这种闪光光源，如下面更详细地描述的。使用图像数据来跟踪注视可允许以在图像传感器像素的维度量级上的准确度来定位眼睛结构。然而，由于眼睛结构的所确定的位置和眼睛结构的实际位置之间的亚像素差异，定位眼睛结构的像素级准确度仍旧可能导致注视跟踪中的潜在差错。从而，公开了涉及在注视跟踪期间使用被应用于所确定的眼睛结构位置的亚像素偏移以及还涉及对这种亚像素偏移的确定的示例。在更详细地描述亚像素偏移之前，描述一种示例注视跟踪方法。然而，要理解，如本文公开的亚像素偏移可与任何适当的基于图像的注视跟踪方法一起使用。图1示出了一种注视跟踪系统100，其包括被用于获得观看计算设备108的显示器106的人104的图像的图像传感器102。该人的眼睛的图像可被用来确定注视方向，其可被用来确定人104的注视与显示器106相交的位置110。随后位置110可以被用作与显示在显示器106上的图形用户界面交互的位置信号。尽管是在较大格式显示器(例如，监视器或电视机)的上下文中描绘的，然而要理解，所公开的示例可与任何适当的计算设备一起使用，包括但不限于移动设备、可穿戴设备等。而且，要理解，图像传感器102可表示任何适当类型的图像传感器和/或图像传感器组合。例如，图像传感器102可表示可见光图像传感器、红外图像传感器、深度图像传感器、和/或这些传感器中的两种或更多种，无论是包围在共用外壳中还是在单独外壳中。这种图像传感器可被并入执行注视跟踪的计算设备，或可与该计算设备物理分开。图2示出可与注视跟踪系统100一起使用的注视跟踪流水线200的示意表示。注视跟踪流水线200利用采用面部模型的注视模型202和经由用户校准204被适配到个体用户的解剖特征的视觉轴偏移。用户校准204可被执行，例如以确定生物测定参数，诸如表示光轴和视觉轴之间的经校准的偏移的α眼睛和β眼睛，以及还有表示眼睛转动中心和面部锚点之间的经校准的偏移向量的注视模型202进一步将头部姿态206和根据虹膜(或瞳孔)跟踪208确定的虹膜(或瞳孔)位置用作为输入。头部姿态206可包括诸如头部转动矩阵R和面部锚点的信息，而虹膜位置可作为虹膜中心被确定。如下所述，这些输入可从图像数据(诸如捕捉用户的面部的二维可见或红外图像数据)确定。使用这些输入，注视模型202可被用来确定眼睛注视方向210。图2示出可与注视跟踪系统100一起使用的注视跟踪流水线200的示意表示。注视跟踪流水线200利用采用面部模型的注视模型202和经由用户校准204被适配到个体用户的解剖特征的视觉轴偏移。用户校准204可被执行，例如以确定生物测定参数，诸如表示光轴和视觉轴之间的经校准的偏移的α眼睛和β眼睛，以及还有表示眼睛转动中心和面部锚点之间的经校准的偏移向量的注视模型202进一步将头部姿态206和根据虹膜(或瞳孔)跟踪208确定的虹膜(或瞳孔)位置用作为输入。头部姿态206可包括诸如头部转动矩阵R和面部锚点的信息，而虹膜位置可作为虹膜中心被确定。如下所述，这些输入可从图像数据(诸如捕捉用户的面部的二维可见或红外图像数据)确定。使用这些输入，注视模型202可被用来确定眼睛注视方向210。图3示出可与图2的注视跟踪流水线一起使用以确定注视方向的示例注视模型300的几何表示。眼睛的简化表示被示出为眼球球体302。图像传感器304被配置成捕捉注视显示界面的屏幕306的眼睛的图像数据。在图3中，瞳孔中心p位于眼球球体302上，且眼球中心e表示眼球球体302的中心。光轴t可由穿过眼球中心e和瞳孔中心p的直线定义。对应于注视方向的视觉轴v可与t在水平方向上相差偏移角度α眼睛和/或在垂直方向上相差偏移角度β眼睛。视觉轴和光轴之间的偏移可能是由于人眼的中央凹不在眼睛的光轴上居中而导致的。对于每个人，在头部坐标系的中心在h时，若干生物测定参数可能是初始未知的，包括眼球中心e、眼睛半径r、α眼睛和β眼睛。这些参数可经由校准推断，如同上面提到的。在校准后，注视方向可使用这些参数来估计。例如，在时间t的眼球中心et可被从头部坐标转换到3D世界坐标如下：et＝ht+Rhte,其中ht和Rht分别表示时间t的头部中心和头部转动矩阵。如下面进一步描述的，被用来确定ht和Rht的3D头部姿态可从2D可见光谱图像估计。光轴方向tt可被表示为从et到pt的归一化向量，其中pt表示时间t的瞳孔中心。一旦光轴方向tt被确定，视觉轴方向vt(即注视方向)可通过将光轴t水平转动α眼睛度并垂直转动β眼睛度来找到。视觉轴方向vt可被计算如下：其中要注意，头部转动可在应用光轴和视觉轴之间的转动偏移之前被移除。任何适当类型的图像数据可被用来确定如本文所述的注视确定的生物测定参数。例如，在一些示例中，二维(2D)可见彩色或灰度图像数据可被用于检测虹膜，因为虹膜的边界可在可见光图像中显示强的特征轮廓。图4示出其中虹膜可见的示例可见光彩色RGB(红/绿/蓝)图像400。在其它本文档来自技高网...

【技术保护点】
一种计算设备，包括：包括图像传感器的眼睛跟踪系统；逻辑设备；以及包括指令的存储设备，所述指令能被所述逻辑设备执行以通过以下来跟踪眼睛注视方向：经由所述眼睛跟踪系统获得所述眼睛的图像，从所述眼睛的所述图像获得所述眼睛的晶状体的中心的所确定的位置，所述位置是在像素级别上确定的，通过向所述眼睛的所述晶状体的中心的所确定的位置应用预定的亚像素偏移来在亚像素级别上调整所述眼睛的所述晶状体的所述中心的所确定的位置以产生所述晶状体的所述中心的经调整的位置；根据所述晶状体的所述中心的经调整的位置来确定注视方向；以及基于所述注视方向在计算设备上执行动作。

【技术特征摘要】
【国外来华专利技术】2015.01.09 US 14/594,0281.一种计算设备，包括：包括图像传感器的眼睛跟踪系统；逻辑设备；以及包括指令的存储设备，所述指令能被所述逻辑设备执行以通过以下来跟踪眼睛注视方向：经由所述眼睛跟踪系统获得所述眼睛的图像，从所述眼睛的所述图像获得所述眼睛的晶状体的中心的所确定的位置，所述位置是在像素级别上确定的，通过向所述眼睛的所述晶状体的中心的所确定的位置应用预定的亚像素偏移来在亚像素级别上调整所述眼睛的所述晶状体的所述中心的所确定的位置以产生所述晶状体的所述中心的经调整的位置；根据所述晶状体的所述中心的经调整的位置来确定注视方向；以及基于所述注视方向在计算设备上执行动作。2.如权利要求1所述的计算设备，其特征在于，所述图像传感器包括可见光相机，并且其中所述指令能被执行以通过确定所述眼睛的虹膜的边界以及基于所述虹膜的边界来确定所述虹膜的中心来确定所述晶状体的所述中心的所确定的位置。3.如权利要求2所述的计算设备，其特征在于，所述指令进一步能被执行以向所述虹膜的所确定的中心应用所述亚像素偏移。4.如权利要求1所述的计算设备，其特征在于，所述图像传感器包括红外相机，并且其中所述指令能被执行以通过确定所述眼睛的瞳孔的边界以及基于所述瞳孔的边界来确定所述瞳孔的中心来确定所述眼睛的所述晶状体的所述中心的所确定的位置。5.如权利要求4所述的计算设备，其特征在于，所述指令进一步能被执行以向所述瞳孔的所确定的中心应用所述亚像素偏移。6.如权利要求1所述的计算设备，其特征在于，所述指令进一步能被执行以接收关于注视方向和用户界面上的预...

【专利技术属性】
技术研发人员：X·苗，M·J·康拉德，D·吴，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US