用于在数字图像数据中确定眼睛位置的方法、眼睛追踪器和计算机程序技术

一种眼睛追踪器获得表示主体的至少一只眼睛(E)的数字图像。眼睛追踪器接着根据搜索算法在数字图像中搜索瞳孔候选对象，并且基于所述搜索而在数字图像中确定至少一只眼睛(E)的位置。眼睛追踪器还获得光强度信息，该光强度信息表示在登记数字图像时将至少一只眼睛(E)暴露于光的光能(Q)的估计量。响应于光强度信息，眼睛追踪器确定瞳孔尺寸范围。搜索算法应用瞳孔尺寸范围，以使得所检测的瞳孔候选对象必须具有处于瞳孔尺寸范围内的尺寸才能作为主体的有效瞳孔被搜索算法接受。

【技术实现步骤摘要】
用于在数字图像数据中确定眼睛位置的方法、眼睛追踪器和计算机程序
本专利技术总的来说涉及注视数据的有效处置。明确地说，本专利技术涉及在眼睛追踪器中执行的方法、眼睛追踪器、头戴设备和眼睛追踪器布置，它们被配置成经由与主体物理分离的显示器而将视觉信息呈现给主体。本专利技术还涉及计算机程序产品和非易失性数据载体。
技术介绍
眼睛/注视追踪是测量眼睛相对于头部的运动或注视点的运动的过程。眼睛追踪器是用于测量眼睛位置和眼睛移动的装置。眼睛追踪器用于许多不同应用中。存在用于测量眼睛移动的各种方法。最流行的变化使用视频图像，从所述视频图像提取眼睛位置。其它方法使用搜索线圈或基于眼动图。最初，眼睛追踪技术用于对视觉系统的研究中，用于心理学中，用于心理语言学中，用于市场营销中以及用于产品设计中。今日，我们看到眼睛追踪器作为输入装置日益广泛在各种装置和设备(范围从智能电话到飞机)中用于人机互动。为了能够在消费型产品中实现处理效率高的眼睛追踪，重要的是，追踪算法能够以简单但仍可靠的方式识别主体的瞳孔。以下是已知眼睛追踪解决方案的实例。US2018/0300589涉及使用机器学习(即，级联回归和手工模型拟合)进行混合式眼睛中心定位以对计算机作出改进。提出了眼睛中心(虹膜)检测的系统和方法，它们使用级联回归器(回归森林的级联)以及用于训练级联回归器的系统和方法。眼睛是使用面部特征对准方法来检测的。通过使用先进的特征与强大的回归手段两者而提高定位的健全性。通过新增健全的圆拟合后处理步骤，定位变得更为精确。还提供一种方法，其对于眼镜中心定位使用简单手工方法来训练级联回归器而不需要手动注释的训练数据。US2015/0160726描述用于执行眼睛注视追踪的系统和方法。所述系统被配置成并且所述方法包括：针对单个同轴成像设备而优化场景的照射；在优化的照射下使用单个同轴成像设备而捕捉图像；以及处理所捕捉的图像以执行注视估计。还提供动态照射控制、眼睛候选对象检测和筛选以及注视估计技术。US2015/0098620公开使用机器学习(即，级联回归和手工模型拟合)进行混合式眼睛中心定位以对计算机作出改进。提出了眼睛中心(虹膜)检测的系统和方法，它们使用级联回归器(回归森林的级联)以及用于训练级联回归器的系统和方法。眼睛是使用面部特征对准方法来检测的。通过使用先进的特征与强大的回归手段两者而提高定位的健全性。通过新增健全的圆拟合后处理步骤，定位变得更为精确。最后，这里提供一种方法，其对于眼镜中心定位使用简单手工方法训练级联回归器而不需要手动标注的训练数据。这些已知的解决方案可提供可靠的眼睛追踪。然而，它们全部涉及需要相对多的处理资源的高度复杂的算法。这种复杂的算法又导致能量消耗。
技术实现思路
因此，本专利技术的一个目标是提供以高效率方式进行可靠的眼睛追踪的解决方案。根据本专利技术的一个方面，此目标由一种在眼睛追踪器中执行的方法实现，所述方法涉及以下步骤：获得表示主体的至少一只眼睛的数字图像；根据搜索算法在数字图像中搜索瞳孔候选对象；以及基于所述搜索而在数字图像中确定至少一只眼睛的位置。所述方法还涉及获得光强度信息，该光强度信息表示在登记数字图像时将至少一只眼睛暴露于光的光能的估计量。响应于光强度信息，确定瞳孔尺寸范围。所述范围由搜索算法应用以使得所检测的瞳孔候选对象的尺寸必须处于所述范围内，以便作为主体的有效瞳孔被搜索算法接受。此方法是有利的，这是因为此方法有效地将可能的瞳孔候选对象限制在极小的数量，通常是每个图像帧一个或两个。结果，可在后续追踪过程中节省处理资源。根据本专利技术的此方面的一个实施例，瞳孔尺寸范围的确定涉及使用基于光强度信息来定义瞳孔尺寸范围的眼睛模型。优选地，定义瞳孔尺寸范围的眼睛模型是基于至少一个参数进行的，该参数描述对将至少一只眼睛暴露于光的光能的估计量的变化作出响应的瞳孔行为。因此，可准确地预测瞳孔尺寸。根据本专利技术的此方面的另一实施例，瞳孔尺寸范围的确定基于一校准过程，该校准过程在获得表示将至少一只眼睛暴露于光的光能的估计量的光强度信息之前执行。校准过程涉及用第一强度和第二强度的光选择性地照射至少一只眼睛；以及针对第一强度和第二强度中的每一强度，登记至少一只眼睛的相应瞳孔尺寸。基于此，生成映射函数和/或查找表，其中所述映射函数和/或查找表描述将至少一只眼睛暴露于光的光能的估计量与至少一只眼睛在所述光能的估计量下展现的估计瞳孔尺寸之间的关系。优选地，瞳孔尺寸范围的确定包括考虑映射函数和/或查找表。结果，在任何给定的光照条件下确定估计瞳孔尺寸都是直接明了的。优选地，校准过程还涉及记录收缩时长，其中收缩时长表示第一时间点与第二时间点之间的时间间隔。在第一时间点，瞳孔具有初始尺寸，并且照射的强度从第一强度增大到第二强度。第二时间点是瞳孔在暴露于第二强度的照射时达到最终尺寸的时间点。类似地，校准过程还包括记录扩张时长，其中扩张时长表示第三时间点与第四时间点之间的时间间隔。在第三时间点，瞳孔具有初始尺寸，并且照射的强度从第二强度减小到第一强度。第四时间点是瞳孔在暴露于第一强度的照射时达到最终尺寸的时间点。因此，可快速地并以对主体最少干扰的方式得到眼睛模型的关键特征。根据本专利技术的此方面的又一实施例，映射函数和/或查找表的生成还涉及估计至少一只眼睛的最小瞳孔尺寸和/或最大瞳孔尺寸。这是有益的，因为这会为瞳孔尺寸范围设置固定的外部边界，并且因此限定搜索范围。根据本专利技术的此方面的又一实施例，所述方法包括经由布置在至少一只眼睛附近的光传感器而获得光强度信息。例如，光传感器可整合在主体佩戴的一副眼镜中。光传感器被配置成登记将至少一只眼睛暴露于光的光能的估计量。因此，传感器可为主体的估计瞳孔尺寸提供基础。或者，所述方法可包括经由表示至少一只眼睛的图像信号而获得光强度信息，其中所述图像信号表示在至少一只眼睛的表面中反射的光能的量。因此，此处，图像传达光传感器信息，而光传感器信息又为主体的估计瞳孔尺寸提供基础。作为另一替代方案，所述方法包括经由表示显示器的亮度的控制信号而获得光强度信息，其中所述显示器被布置成将视觉输入呈现给至少一只眼睛。换句话说，光传感器信息是通过曝光数据而间接获得的。甚至在主体的眼睛暴露于所讨论的光之前，这数据实际上就已是可用的。当然，这对于在给定时间点确定瞳孔尺寸的适当范围是有益的。优选考虑生成控制信号的时间点与将视觉输入呈现给至少一只眼睛的时间段之间的系统延迟来确定瞳孔尺寸范围。因此，可调整瞳孔尺寸范围以使瞳孔尺寸范围与将至少一只眼睛暴露于光的光的变化在时间上协调。根据本专利技术的此方面的又一实施例，控制信号是基于所记录的视频信号。此处，瞳孔尺寸范围的确定还包括确定基础时间点与将视觉输入呈现给至少一只眼睛的时间段之间的延长的系统延迟。所呈现的视觉内容是在基础时间点之后的时间点生成的。换句话说，眼睛追踪器知道至少一只眼睛的未来光暴露。接着，考虑延长的系统延迟来确定瞳孔尺寸范围。因此，可与将至少一只眼睛暴露于光的光的变化同步地调整瞳孔尺寸范围。根据本专利技术的此本文档来自技高网...

【技术保护点】
1.一种在眼睛追踪器(210)中执行的方法，所述方法包括：/n获得表示主体的至少一只眼睛(E)的数字图像(D

【技术特征摘要】
20190626 SE 1950791-21.一种在眼睛追踪器(210)中执行的方法，所述方法包括：
获得表示主体的至少一只眼睛(E)的数字图像(Dimg)，
根据搜索算法在所述数字图像(Dimg)中搜索瞳孔候选对象，以及
基于搜索而在所述数字图像(Dimg)中确定所述至少一只眼睛(E)的位置(PE)，
其特征在于：
获得光强度信息(DQ)，所述光强度信息(DQ)表示在登记所述数字图像(Dimg)时将所述至少一只眼睛(E)暴露于光的光能(Q)的估计量，并且响应于所述光强度信息(DQ)，
确定瞳孔尺寸范围(R-dP)，所述瞳孔尺寸范围(R-dP)将由所述搜索算法在所述搜索中应用，以使得所检测的瞳孔候选对象的尺寸必须处于所述瞳孔尺寸范围(R-dP)内才能作为所述主体的有效瞳孔被所述搜索算法接受。


2.根据权利要求1所述的方法，其中所述瞳孔尺寸范围(R-dP)的确定包括使用基于所述光强度信息(DQ)来定义所述瞳孔尺寸范围(R-dP)的眼睛模型。


3.根据权利要求2所述的方法，其中定义所述瞳孔尺寸范围(R-dP)的所述眼睛模型进一步基于至少一个参数，所述至少一个参数描述对将所述至少一只眼睛(E)暴露于光的光能(Q)的所述估计量的变化作出响应的瞳孔行为。


4.根据前述权利要求中任一项所述的方法，其中所述瞳孔尺寸范围(R-dP)的确定基于校准过程，所述校准过程是在获得表示将所述至少一只眼睛(E)暴露于光的光能(Q)的估计量的所述光强度信息(DQ)之前执行的，所述校准过程包括：
用第一强度(QL)和第二强度(QH)的光选择性地照射所述至少一只眼睛(E)，
针对所述第一强度(QL)和所述第二强度(QH)中的每一强度，登记所述至少一只眼睛(E)的瞳孔尺寸(dP)，并基于此
生成映射函数(235)和查找表(245)中的至少一个，其中所述映射函数(235)和所述查找表(245)描述将所述至少一只眼睛(E)暴露于光的光能(Q)的所述估计量与所述至少一只眼睛(E)在光能(Q)的所述估计量下展现的估计瞳孔尺寸之间的关系。


5.根据权利要求4所述的方法，其中所述校准过程还包括记录表示以下两者之间的时间间隔的收缩时长(LC)：
第一时间点(t1)，在所述第一时间点(t1)，所述瞳孔具有初始尺寸，并且照射的强度从所述第一强度(QL)增大到所述第二强度(QH)；以及
第二时间点(t1')，在所述第二时间点(t1')，所述瞳孔暴露于所述第二强度(QH)的照射时已达到最终尺寸。


6.根据权利要求4或5中任一项所述的方法，其中所述校准过程还包括记录表示以下两者之间的时间间隔的扩张时长(LD)：
第三时间点(t2)，在所述第三时间点(t2)，所述瞳孔具有初始尺寸，并且照射的强度从所述第二强度(QH)减小到所述第一强度(QL)；以及
第四时间点(t2')，在所述第四时间点(t2')，所述瞳孔暴露于所述第一强度(QL)的照射时已达到最终尺寸。


7.根据权利要求4到6中任一项所述的方法，其中所述映射函数(235)和所述查找表(245)中的所述至少一个的生成还包括估计所述至少一只眼睛(E)的最小瞳孔尺寸和最大瞳孔尺寸中的至少一个。


8.根据权利要求4到7中任一项所述的方法，其中所述瞳孔尺寸范围(R-dP)的确定包括考虑所述映射函数(235)和所述查找表(245)中的至少一个。


9.根据前述权利要求中任一项所述的方法，包括：
经由布置在所述至少一只眼睛(E)附近的光传感器(630)而获得所述光强度信息(DQ)，所述光传感器(630)被配置成登记将所述至少一只眼睛(E)暴露于光的光能(Q)的所述估计量。


10.根据权利要求1到8中任一项所述的方法，包括：
经由表示所述至少一只眼睛(E)的图像信号而获得所述光强度信息(DQ)，其中所述图像信号表示在所述至少一只眼睛(E)的表面中反射的光能的量。


11.根据权利要求1到8中任一项所述的方法，包括：
经由表示显示器(650、750、850)的亮度(L)的控制信号来获得所述光强度信息(DQ)...

【专利技术属性】
技术研发人员：理查德·安德尔森，
申请(专利权)人：托比股份公司，
类型：发明
国别省市：瑞典;SE