眼睛/注视追踪系统和方法技术方案

一种眼睛/注视追踪系统(100)分别在第一处理线路(110)和第二处理线路(120)中接收第一图像流(DIMG1)和第二图像流(DIMG2)。第一处理线路(110)具有至少一个第一处理器(P1、P11、P12)，其中至少一个第一处理器(P1、P11、P12)产生专门针对眼睛的数据的第一组分量(p1LG、p1LP、p1RG、p1RP)，用于产生眼睛/注视数据(DE/G)。第二处理线路(120)具有至少一个第二处理器(P2、P21、P22)，其中至少一个第二处理器(P2、P21、P22)产生专门针对眼睛的数据的第二组分量(p2LG、p2LP、p2RG、p2RP)，用于产生眼睛/注视数据(DE/G)。眼睛/注视数据(DE/G)描述对象(U)的眼睛位置和/或注视点。

Eye/Gaze Tracking System and System

【技术实现步骤摘要】
【国外来华专利技术】眼睛/注视追踪系统和方法
技术介绍
本专利技术总的来说涉及用于确定对象的眼睛位置和/或注视点的解决方案。更明确地说，本专利技术涉及根据权利要求1的前序部分的眼睛/注视追踪系统和对应方法。本专利技术还涉及计算机程序和非易失性数据载体。眼睛/注视追踪器具有许多使用领域。例如，用于残疾人辅助、生理和心理研究、消费产品、虚拟现实应用、汽车工业、航空电子设备和计算机游戏中。出于准确性和质量原因，通常优选的是，可尽可能精确地确定对象的眼睛位置和/或注视点并且以高频率更新所获取的数据或至少如所涉及的实施方式所需那样频繁地更新所获取的数据。使用立体或三维(3D)技术是提高眼睛/注视追踪器的准确性的一种方式。即，3D图像数据实现到对象和其眼睛的距离的准确测量。特别是，基于3D图像数据，可确定对象眼睛生物统计的重要特征，例如，角膜曲率，这转而将重要信息提供给追踪算法。下文是使用立体图像配准的解决方案的几个实例。WO2015/143073描述一种眼睛追踪系统，其中所述眼睛追踪系统具有图像显示器，所述图像显示器被配置成向用户展示外科领域的图像。图像显示器被配置成发射第一波长范围中的光。系统还包含右眼追踪器，其中右眼追踪器被配置成发射第二波长范围中的光并测量关于用户的右眼的第一注视点的数据。系统还含有左眼追踪器，其中左眼追踪器被配置成发射第二波长范围中的光并测量关于用户的左眼的第二注视点的数据。此外，光学组件设置在图像显示器与用户的右眼和左眼之间。光学组件被配置成引导第一波长范围和第二波长范围的光，以使得第一波长和第二波长共享左眼与图像显示器之间的左光路的至少一部分并共享右眼与图像显示器之间的右光路的至少一部分，而右眼追踪器和左眼追踪器对于用户来说并不是可见的。系统还包括至少一个处理器，其中至少一个处理器被配置成处理关于第一注视点和第二注视点的数据以确定所显示图像中用户的注视点所朝向的观看位置。US8,824,779公开具有用于追踪眼睛的阶梯式反射镜系统的单镜头立体光学器件设计，其隔离独立图像中的界标特征，确定眼睛中的瞳孔的位置，将界标与居中于瞳孔上的模板匹配，以数学方式追踪从所匹配的图像点透过角膜折射回到内部结构的光线，并且从光线对于不同立体视角的交叉点确定这些结构的位置。在以此方式确定眼睛结构在光学单元的坐标系统中的位置之后，本专利技术计算光轴并据此计算视线和视觉扭曲。除了提供较宽的视场，此专利技术还具有额外优点，这是因为立体图像容易相互偏移，并出于此原因，重建的瞳孔较准确地对准并居中。US7,747,068披露用于追踪眼睛的系统和方法。在一个实施例中，一种用于追踪眼睛的方法包含使用多个传感器而获取眼睛的立体图像，隔离从多个传感器获取的立体图像中的眼睛的内部特征，以及确定相对于所隔离的内部特征的眼睛注视方向。EP2774380描述一种用于确定立体注视追踪的解决方案，通过将所确定的右眼注视点和左眼注视点投射到左立体图像和右眼立体图像上而估算3D注视点。所确定的右眼注视点和左眼注视点基于一个或更多个被追踪眼睛注视点、基于被追踪注视点以及左立体图像与右立体图像的图像匹配以及指示被追踪注视点和/或图像匹配的可靠性的置信度评分来估算未被追踪眼睛注视点。上述解决方案中的至少一些可相比同等单道型眼睛/注视追踪器在确定眼睛和/或注视点位置方面提供更好的准确性。然而，因为立体系统产生大量的图像数据，所以处理能力的限制可导致难以达到足够高的采样频率来捕捉快速眼睛移动，例如，扫视。
技术实现思路
因此，本专利技术的目标是提供一种解决方案，其既能够配准高质量立体图像也能够捕捉快速眼睛移动。根据本专利技术的一个方面，所述目标由一开始描述的布置实现；其中，输入数据含有第一图像流和第二图像流。数据处理单元还含有第一处理线路和第二处理线路。第一处理线路包含至少一个第一处理器。第一处理线路被配置成接收第一图像流，并基于此，导出专门针对眼睛的数据的第一组分量，用于产生输出的眼睛/注视数据。类似地，第二处理线路包含至少一个第二处理器。第二处理线路被配置成接收第二图像流，并基于此，导出专门针对眼睛的数据的第二组分量，用于产生输出的眼睛/注视数据。此系统是有利的，这是因为鉴于每单位时间的特定处理能力，两个处理线路可以按照与单道型系统相同的采样频率操作。因此，可兼有高定位准确性和高采样频率。优选地，因此，眼睛/注视数据含有至少一个对象中的每一个对象的重复更新的眼睛位置和/或重复更新的注视点。根据本专利技术的此方面的一个实施例，眼睛/注视追踪系统还包括被配置成输出眼睛/注视数据的至少一个输出接口。因此，此数据可用于外部装置中，例如出于测量和/或控制的目的。根据本专利技术的此方面的另一实施例，第一图像流从第一视角描绘场景，并且第二图像流从不同于第一视角的第二视角描绘场景。因此，确保了对象和其眼睛的立体成像。根据本专利技术的此方面的另一实施例，第一处理线路和第二处理线路中的每一个包含主处理器，其中主处理器被配置成分别接收第一图像流和第二图像流并基于此而产生预处理数据。这可涉及确定在第一图像流和第二图像流中是否包含眼睛的图像。预处理数据转而形成用于确定专门针对眼睛的数据的第一组分量和第二组分量的基础。例如，预处理数据可各自含有第一图像流和第二图像流的重新缩放、图案识别算法的结果数据和/或分类算法的结果数据。因此，可使后续数据处理高效。根据本专利技术的此方面的另一实施例，第一处理线路和第二处理线路中的每一个含有至少一个后续处理器，其中至少一个后续处理器被配置成接收预处理数据并基于此而产生专门针对眼睛的数据的第一组分量和第二组分量。因此，专门针对眼睛的数据的第一组分量和第二组分量可描述至少一个闪烁的位置和/或至少一个对象的至少一个瞳孔的位置。因此，提供了用于眼睛/注视追踪的关键参数。优选地，闪烁检测和瞳孔检测依序执行。或者，处理方案可涉及并行处理。根据本专利技术的此方面的又一实施例，至少一个后续处理器被进一步配置成将至少一个闪烁中的至少一个与至少一个瞳孔中的至少一个匹配。因此，提供了用于执行眼睛/注视追踪的可靠基础。根据本专利技术的此方面的又一实施例，数据处理单元还含有至少一个后处理器，其中所述至少一个后处理器被配置成接收专门针对眼睛的数据的第一组分量和第二组分量。基于专门针对眼睛的数据的第一组分量和第二组分量，至少一个后处理器转而被配置成导出从系统输出的眼睛/注视数据。因此，来自两个图像流的信息被合并以形成眼睛/注视数据的高质量输出。根据本专利技术的此方面的其它实施例，第一处理线路和第二处理线路被配置成至少部分时间上并行地处理第一图像流和第二图像流。因此，可针对给定处理器能力而实施相对高的采样速率和更新频率。根据本专利技术的另一方面，所述目标由一种眼睛/注视追踪方法实现，所述方法包括：经由至少一个输入接口而接收表示场景的立体图像的输入数据；以及产生描述至少一个对象的眼睛位置和/或注视点的眼睛/注视数据。更精确地说，输入数据含有第一图像流和第二图像流。此外，所述方法包括：在含有至少一个第一处理器的第一处理线路中接收第一图像流；在第一处理线路中导出专门针对眼睛的数据的第一组分量，用于产生输出的眼睛/注视数据；在含有至少一个第二处理器的第二处理线路中接收第二图像流；以及在第二处理线路中导出专门针对眼睛的数据的第二组分量，用于产生输出的眼本文档来自技高网...

【技术保护点】
1.一种眼睛/注视追踪系统(100)，包括：至少一个输入接口(INT1、INT2)，被配置成接收表示场景的立体图像的输入数据(DIMG1、DIMG2)，以及数据处理单元(P)，含有：至少一个处理器(P1、P11、P12、P2、P21、P22、PP)，以及至少一个存储器(130)，所述至少一个存储器(130)含有可由所述至少一个处理器(P1、P11、P12、P2、P21、P22、PP)执行的指令(135)，因此所述数据处理单元(P)操作以基于所述输入数据(DIMG1、DIMG2)而产生描述以下各者中的至少一者的眼睛/注视数据(DE/G)：至少一个对象(U)的眼睛位置(ER(x,y,z)、EL(x,y,z))和注视点(GPR(x,y,z)、GPL(x,y,z))，其特征在于，所述输入数据(DIMG1、DIMG2)包括第一图像流和第二图像流；并且所述数据处理单元(P)含有：第一处理线路(110)，具有至少一个第一处理器(P1、P11、P12)，所述第一处理线路(110)被配置成接收所述第一图像流(DIMG1)，并基于此，导出专门针对眼睛的数据的第一组分量(p1LG、p1LP、p1RG、p1RP)，用于产生所述输出的眼睛/注视数据(DE/G)，以及第二处理线路(120)，具有至少一个第二处理器(P2、P21、P22)，所述第二处理线路(120)被配置成接收所述第二图像流(DIMG2)，并基于此，导出专门针对眼睛的数据的第二组分量(p2LG、p2LP、p2RG、p2RP)，用于产生所述输出眼睛/注视数据(DE/G)。...

【技术特征摘要】
【国外来华专利技术】1.一种眼睛/注视追踪系统(100)，包括：至少一个输入接口(INT1、INT2)，被配置成接收表示场景的立体图像的输入数据(DIMG1、DIMG2)，以及数据处理单元(P)，含有：至少一个处理器(P1、P11、P12、P2、P21、P22、PP)，以及至少一个存储器(130)，所述至少一个存储器(130)含有可由所述至少一个处理器(P1、P11、P12、P2、P21、P22、PP)执行的指令(135)，因此所述数据处理单元(P)操作以基于所述输入数据(DIMG1、DIMG2)而产生描述以下各者中的至少一者的眼睛/注视数据(DE/G)：至少一个对象(U)的眼睛位置(ER(x,y,z)、EL(x,y,z))和注视点(GPR(x,y,z)、GPL(x,y,z))，其特征在于，所述输入数据(DIMG1、DIMG2)包括第一图像流和第二图像流；并且所述数据处理单元(P)含有：第一处理线路(110)，具有至少一个第一处理器(P1、P11、P12)，所述第一处理线路(110)被配置成接收所述第一图像流(DIMG1)，并基于此，导出专门针对眼睛的数据的第一组分量(p1LG、p1LP、p1RG、p1RP)，用于产生所述输出的眼睛/注视数据(DE/G)，以及第二处理线路(120)，具有至少一个第二处理器(P2、P21、P22)，所述第二处理线路(120)被配置成接收所述第二图像流(DIMG2)，并基于此，导出专门针对眼睛的数据的第二组分量(p2LG、p2LP、p2RG、p2RP)，用于产生所述输出眼睛/注视数据(DE/G)。2.根据权利要求1所述的眼睛/注视追踪系统(100)，还包括被配置成输出所述眼睛/注视数据(DE/G)的至少一个输出接口(INT3)。3.根据权利要求1或2中任一项所述的眼睛/注视追踪系统(100)，其中所述眼睛/注视数据(DE/G)包括所述至少一个对象(U)中的每一个对象的重复更新的眼睛位置(ER(x,y,z)、EL(x,y,z))和重复更新的注视点(GPR(x,y,z)、GPL(x,y,z))。4.根据前述权利要求中任一项所述的眼睛/注视追踪系统(100)，其中所述第一图像流(DIMG1)从第一视角(α1)描绘所述场景，并且所述第二图像流(DIMG2)从不同于所述第一视角(α1)的第二视角(α2)描绘所述场景。5.根据前述权利要求中任一项所述的眼睛/注视追踪系统(100)，其中所述第一信号处理线路(110)和所述第二信号处理线路(120)中的每一个包括：主处理器(P1；P2)，被配置成分别接收所述第一图像流(DIMG1)和所述第二图像流(DIMG2)并基于此而产生预处理数据(R1L、R1R；R2L、R2R),所述预处理数据(R1L、R1R；R2L、R2R)形成用于确定专门针对眼睛的数据的所述第一组分量(p1LG、p1LP、p1RG、p1RP)和所述第二组分量(p2LG、p2LP、p2RG、p2RP)的基础。6.根据权利要求5所述的眼睛/注视追踪系统(100)，其中所述预处理数据(R1L、R1R；R2L、R2R)包括以下各者中的至少一者：所述第一图像流(DIMG1)和所述第二图像流(DIMG2)的相应重新缩放、图案识别算法的结果数据以及分类算法的结果数据。7.根据权利要求5或6中任一项所述的眼睛/注视追踪系统(100)，其中所述第一信号处理线路(110)和所述第二信号处理线路(120)中的每一个包括：至少一个后续处理器(P11、P12；P21、P22)，所述至少一个后续处理器(P11、P12；P21、P22)被配置成接收所述预处理数据(R1L、R1R；R2L、R2R)并基于此而产生专门针对眼睛的数据的所述第一组分量(p1LG、p1LP、p1RG、p1RP)和所述第二组分量(p2LG、p2LP、p2RG、p2RP)以便描述以下各者中的至少一者：至少一个闪烁的位置，以及所述至少一个对象(U)的至少一个瞳孔的位置。8.根据权利要求7所述的眼睛/注视追踪系统(100)，其中所述至少一个后续处理器(P11、P12；P21、P22)被进一步配置成将所述至少一个闪烁中的至少一个与所述至少一个瞳孔中的至少一个匹配。9.根据权利要求7或8中任一项所述的眼睛/注视追踪系统(100)，其中所述数据处理单元(P)含有至少一个后处理器(PP)，所述至少一个后处理器(PP)被配置成接收专门针对眼睛的数据的所述第一组分量(p1LG、p1LP、p1RG、p1RP)和所述第二组分量(p2LG、p2LP、p2RG、p2RP)，并基于此而导出所述眼睛/注视数据(DE/G)。10.根据前述权利要求中任一项所述的眼睛/注视追踪系统(100)，其中所述第一...

【专利技术属性】
技术研发人员：安德斯·达尔，奥斯卡·马蒂亚斯·丹尼尔森，
申请(专利权)人：托比股份公司，
类型：发明
国别省市：瑞典,SE