用于眼睛追踪的系统和方法技术方案

一种用于眼睛追踪的系统和方法包括：接收包括人的视网膜的至少一部分的输入图像；找到所述输入图像与参考图像之间的空间变换，所述参考图像包括所述人的视网膜的至少一部分；以及计算对应于所述空间变换的所述人的眼睛的取向变化。处理器可以根据所述取向变化计算与所述输入图像相关联的人眼的取向、与所述输入图像相关联的凝视方向、与所述输入图像相关联的凝视目标和/或与所述输入图像相关联的凝视线。

【技术实现步骤摘要】
【国外来华专利技术】用于眼睛追踪的系统和方法
本专利技术涉及基于人眼和视网膜的图像的眼睛追踪。
技术介绍
用于确定凝视方向的眼睛追踪(也称为凝视追踪)在不同领域中可能是有用的，包括诸如工业机器的装置的人机交互控制，在需要双手来完成除计算机操作之外的任务的航空和急诊室情形中，在虚拟、增强或扩展现实应用中，在计算机游戏中，在娱乐应用中以及在研究中，以便更好地理解对象的行为和视觉处理。事实上，凝视追踪方法可以用于人们使用眼睛的所有方式。人眼是由前段和后段组成的两件式单元。前段由角膜、虹膜和晶状体组成。后段由玻璃体、视网膜、脉络膜和称为巩膜的白色外壳组成。眼睛的瞳孔是位于虹膜中心的孔径，所述孔径使光进入眼睛。瞳孔的直径由虹膜控制。通过瞳孔进入的光落在视网膜上，视网膜是涂覆眼睛的外壳组织的最内侧感光层。小凹坑(即中央凹)位于视网膜上并且专门用于最大视觉敏锐度，这对于人类进行视觉细节至关重要的活动是必要的，例如阅读和识别对象。当在视网膜上形成世界的图像时，在中央凹上形成凝视目标的图像。即，中央凹的位置对应于凝视方向。存在基于视频的眼睛追踪器。典型地，基于视频的追踪使用角膜反射和瞳孔的中心作为用于重建眼睛的光轴的特征和/或作为用于追踪的特征，以便测量眼睛的运动。这些方法受到例如响应于环境光的图像质量和/或瞳孔大小变化的限制。此外，在这些方法中，测量对相机相对于眼睛的位置敏感。因此，即使相机的小的移动(称为‘滑动’)也会在眼睛方位估计中产生误差，并且因此在凝视目标估计中产生大的误差(特别是对于远离眼睛定位的目标)。转让给MIT的美国公开案2016/0320837(现为第10,248,194号专利)组合视网膜回射(RR)的图像以创建人视网膜的数字(或重构)图像。RR不是视网膜的一部分的图像。眼睛的已知凝视方向可用于确定每个RR的精确位置以实现图像重建。MIT公开案描述了捕获RR序列并将此序列与已知RR序列的数据库进行比较，以计算凝视方向。MIT公开案本身解释了仅从单个RR计算凝视方向是困难的，因为任何单个RR可能从一个以上凝视方向产生。因此，此方法不适用于实时凝视追踪。转让给Rochester大学的美国公开案2017/0188822描述了一种用于在扫描激光检眼镜检查过程中补偿对象眼睛的运动的方法。此公开案涉及对象经常注视相同凝视目标的情况。在此公开案中描述的方法不计算眼睛的实际定向或人的实际凝视方向，或对此的改变(例如在角度上)，并且不适合于确定未知凝视目标的凝视方向。迄今为止，精确的实时凝视追踪仍然是具有挑战性的任务。
技术实现思路
本专利技术的实施例提供了一种使用相机进行凝视追踪的系统和方法。所述相机通常被定位成使得眼睛的视网膜的至少一部分被成像，并且所述眼睛的取向变化可以基于两个图像的比较来计算。根据本专利技术的实施例，基于计算的取向变化来确定凝视方向(和/或其它信息，例如凝视目标和/或凝视线)。在本专利技术的实施例中，可以基于与已知凝视方向相关联的人的视网膜的另一图像来确定与未知凝视方向相关联的图像中的人的凝视方向。在一些实施例中，通过找到处于已知凝视方向的所述视网膜的图像与处于未知凝视方向的所述视网膜的匹配图像之间的空间变换来确定凝视方向。在其它实施例中，通过基于所述视网膜的所述图像计算人的中央凹的位置来确定凝视方向。这样，根据本专利技术的实施例，凝视追踪对相机相对于眼睛的位置变化较不敏感。因此，根据本专利技术的实施例的系统和方法不容易由于相机相对于用户眼睛的较小移动而产生错误。一种根据本专利技术的实施例的系统包括视网膜相机，所述视网膜相机由用于捕获人眼的图像的图像传感器和被配置成将源自人的视网膜的光聚焦在图像传感器上的相机镜头组成。所述系统还包括光源和处理器，所述光源产生从视网膜相机附近的位置发出的光，所述处理器用于计算由图像传感器捕获的两个图像之间的人眼的取向变化。处理器可以进一步基于所述两个图像之间的所述人眼的所述取向变化来计算以下中的一个或多个：所述人眼的取向、所述人的凝视方向、凝视目标和凝视线。所述系统可以进一步包括分束器(例如，偏振分束器)，所述分束器被配置成将来自光源的光引导到人眼。光源可以是偏振光源，并且所述系统还可以包括偏振器，所述偏振器被配置成阻挡源自光源并通过镜面反射而反射的光。根据本专利技术的实施例的方法用于有效地将视网膜图像与参考图像匹配，以提供有效且准确的凝视追踪，并用于其它应用，例如生物识别和医疗应用。附图说明现在将参考以下说明性附图，结合某些实例和实施例来描述本专利技术，从而可以更充分地理解本专利技术。在图中：图1A、1B和1C示意性地示出了根据本专利技术的实施例可操作的系统；图2A和2B示意性地示出了根据本专利技术的实施例的用于计算眼睛的取向变化的方法，从中可以确定人的凝视方向；图3A和3B示意性地示出了根据本专利技术的实施例的用于生物识别的方法的实例；图4A和4B示意性地示出了根据本专利技术的实施例的使图像与中央凹位置关联的图；图5A和5B是根据本专利技术的实施例的用于使用球体的旋转来确定人的凝视方向的方法的示意图；图6示意性地示出了一种根据本专利技术的实施例的用于比较参考图像和输入图像的方法；以及图7示意性地示出了一种根据本专利技术的实施例的用于基于来自人的双眼的输入来确定人的凝视方向的方法。具体实施方式如上所述，当人凝视目标时，通过瞳孔进入人眼的光落在眼球的内涂层即视网膜上。落在中央凹中心的图像部分是凝视目标的图像。对应于人的凝视的视线(也称为“凝视线”或“凝视线”)包括所述光线的原点及其方向。光线的原点可以假定在人的晶状体的光学中心(以下称为‘Tens中心’)，而光线的方向由连接光线的原点和凝视目标的线确定。人的两只眼睛中的每一只具有其自己的凝视线，并且在正常条件下，这两只眼睛在相同的凝视目标处相遇。镜头中心的位置可使用已知方法估计，例如通过识别图像中瞳孔的中心并测量图像中虹膜的大小。凝视线的方向源自眼睛的取向。当凝视目标在眼睛附近(例如，约30cm或更小)时，在计算凝视目标时，凝视线的原点及其方向在获得角度精度方面都是重要的。然而，当凝视目标位于更远离眼睛的位置时，在计算凝视目标时获得角度精度方面，光线的方向变得比光线的原点明显更重要。在极端情况下，当凝视无穷远时，原点对角度精度没有影响。作为3D空间中的任何刚性对象，眼睛姿态的完整描述具有六个自由度；涉及平移运动的三个位置自由度(例如x，y，z)和涉及旋转的三个定向自由度(例如偏航、俯仰、滚动)。可以在任何参考系中测量眼睛的取向和位置。通常，在本专利技术的实施例中，在相机的参考系中测量眼睛的取向和位置。因此，在整个说明书中，即使没有提到参考系，也是指相机参考系。本专利技术的实施例提供了一种用于找到眼睛取向的新颖解决方案，从所述眼睛取向可以导出凝视方向和/或凝视目标和/或凝视线。下文例示根据本专利技术的实施例的用于确定人的眼睛的取向的系统和方法。在以下描述中，将描述本专利技术的各个方面。本文档来自技高网...

【技术保护点】
1.一种方法，其包含：/n接收包括人的视网膜的至少一部分的输入图像；/n找到所述输入图像与参考图像之间的空间变换，所述参考图像包括所述人的视网膜的至少一部分；/n计算对应于所述空间变换的所述人的眼睛的取向变化；以及/n基于所述取向变化输出信号。/n

【技术特征摘要】
【国外来华专利技术】20190103 US 62/788,0681.一种方法，其包含：
接收包括人的视网膜的至少一部分的输入图像；
找到所述输入图像与参考图像之间的空间变换，所述参考图像包括所述人的视网膜的至少一部分；
计算对应于所述空间变换的所述人的眼睛的取向变化；以及
基于所述取向变化输出信号。


2.根据权利要求1所述的方法，其中所述参考图像与以下中的一个或多个相关联：人眼的已知取向、所述人的已知凝视方向、已知凝视目标以及已知凝视线，所述方法进一步包含基于所述参考图像和所述取向变化来计算以下中的一个或多个的步骤：与所述输入图像相关联的所述人眼的取向、与所述输入图像相关联的凝视方向、与所述输入图像相关联的凝视目标以及与所述输入图像相关联的凝视线。


3.根据权利要求1所述的方法，其包含在找到所述空间变换之前使所述输入图像和参考图像几何上不畸变。


4.根据权利要求2所述的方法，其包含：
基于所述空间变换计算所述人的中央凹在所述输入图像中的位置，以获得计算的中央凹位置；以及
基于计算的中央凹位置来确定与所述输入图像相关联的以下中的一个或多个：所述人的所述眼睛的取向、所述凝视方向、所述凝视目标和所述凝视线。


5.根据权利要求1所述的方法，其中所述参考图像包含拼接在一起以构建所述视网膜的全景图像的所述人的视网膜的部分的多个图像。


6.根据权利要求1所述的方法，其中找到所述输入图像与参考图像之间的空间变换的步骤包含：
尝试所述输入图像与参考图像之间的多个空间变换；
计算对应于每个空间变换的所述输入图像与参考图像之间的相似性度量；以及
基于所述相似性度量选择空间变换。


7.根据权利要求2所述的方法，其包含：
将所述空间变换转换为对应的球面旋转；以及
将所述球面旋转应用于与所述输入图像相关联的以下中的一个或多个：所述人的所述眼睛的取向、凝视方向、凝视目标以及凝视线。


8.根据权利要求7所述的方法，其中所述输入图像和所述参考图像是平面图像，所述方法包含：
将平面输入图像投影到球面以获得球面输入图像；
将平面参考图像投影到球面以获得球面参考图像；以及
找到所述球面参考图像与所述球面输入图像之间的球面旋转。


9.根据权利要求7所述的方法，其包含：
找到平面输入图像与平面参考图像之间的平面刚性变换；以及
将所述平面刚性变换转换成对应的球面旋转。


10.根据权利要求1所述的方法，其包含在找到所述空间变换之前处理所述输入图像和参考图像以使所述输入图像和参考图像变平。


11.根据权利要求2所述的方法，其包含：
找到所述输入图像与多个参考图像之间的多个空间变换；
计算所述多个空间变换的统计量；以及
基于所述统计量来确定与所述输入图像相关联的以下中的一个或多个：所述人的所述眼睛的取向、所述凝视方向、所述凝视目标以及所述凝视线的凝视方向。


12.根据权利要求1所述的方法，其进一步包含：
基于所述空间变换确定所述参考图像和输入图像源自同一人的视网膜。


13.根据权利要求12所述的方法，其中所述参考图像与第一已知凝视目标相关联并且所述输入图像与第二已知凝视目标相关联，所述方法进一步包含：
确定所述取向变化是否与和所述参考图像和输入图像中的每一个相关联的凝视目标一致。


14.一种方法，其包含：
接收包括人的视网膜的至少一部分的输入图像；
找到所述输入图像与参考图像之间的空间变换，所述参考图像包括所述人的视网膜的至少一部分；
至少向统计模型提供所述空间变换；
使用所述统计模型估计以下中的至少一个：所述人眼的取向变化、与所述输入图像相关联的所述人眼的取向、与所述输入图像相关联的凝视方向、与所述输入图像相关联的凝视目标以及与所述输入图像相关联的凝视线；以及
基于估计步骤输出信号；
其中
所述统计模型是在输入参数的集合上训练的，所述集合中的每一个至少包含训练参考图像与训练输入图像之间的空间变换，并且所述集合中的每一个与输出参数相关联，所述输出参数包含以下中的至少一个：所述人眼的取向变化、与所述训练输入图像相关联的眼睛的已知取向、与所述训练输入图像相关联的已知凝视方向、与所述训练输入图像相关联的已知凝视目标以及与...

【专利技术属性】
技术研发人员：奥里·魏茨，萨尔·维尔夫，
申请(专利权)人：伊梅里斯有限责任公司，
类型：发明
国别省市：以色列;IL