训练眼睛跟踪模型制造技术

公开了一种用于训练眼睛跟踪模型(710)的方法(300)、以及相应的系统(400)和存储介质。该眼睛跟踪模型被适配用于基于来自第一眼睛跟踪传感器(411)的传感器数据(709)来预测眼睛跟踪数据。该方法包括：接收(301)由该第一眼睛跟踪传感器在某个时刻获得的传感器数据；以及接收(302)由包括第二眼睛跟踪传感器(421)的眼睛跟踪系统(420)针对该时刻生成的参考眼睛跟踪数据。该参考眼睛跟踪数据是由该眼睛跟踪系统基于由该第二眼睛跟踪传感器在该时刻获得的传感器数据来生成的。该方法包括基于由该第一眼睛跟踪传感器在该时刻获得的该传感器数据以及所述生成的参考眼睛跟踪数据来训练(303)该眼睛跟踪模型。练(303)该眼睛跟踪模型。练(303)该眼睛跟踪模型。

【技术实现步骤摘要】
训练眼睛跟踪模型
[0001]本申请是申请日为2020年3月24日、申请号为202010212524.2、专利技术名称为“训练眼睛跟踪模型”的中国专利技术专利申请的分案申请。


[0002]本公开内容总体上涉及眼睛跟踪。

技术介绍

[0003]已经研发了用于监测用户正在看向哪个方向(或显示器上的哪个点)的多种不同技术。这通常被称为注视跟踪。此类技术通常涉及在眼睛图像中检测某些特征，并且然后基于这些检测到的特征的位置来计算注视方向或注视点。这种注视跟踪技术的示例是瞳孔中心角膜反射(PCCR)。基于PCCR的注视跟踪采用瞳孔中心的位置和闪光点(发光装置在角膜处的反射)的位置来计算眼睛的注视方向或显示器上的注视点。
[0004]在此背景下经常采用的另一个术语是“眼睛跟踪”。尽管在许多情况下可以将术语“眼睛跟踪”用作注视跟踪的别名，但眼睛跟踪并不一定涉及对(例如，注视方向或注视点的形式的)用户注视的跟踪。眼睛跟踪可以例如涉及对眼睛在空间中的位置的跟踪，而不是实际地跟踪眼睛的注视方向或注视点。
[0005]作为诸如基于PCCR的眼睛跟踪等常规技术的替代方案(或补充方案)，可以采用机器学习来训练用于执行眼睛跟踪的算法。例如，机器学习可以采用眼睛图像形式的训练数据以及相关联的已知注视点来训练该算法，使得经训练的算法可以基于眼睛图像来实时地执行眼睛跟踪。这种机器学习通常需要大量的训练数据来正常工作。可能需要花费相当多的时间和/或资源来收集训练数据。在许多情况下，对训练数据可能会有某些要求。训练数据应该例如优选地反映眼睛跟踪算法应该能够处理的所有那些类型的情况/情形。如果训练数据中仅表示了某些类型的情况/情形(例如，仅很小的注视角度、或仅被良好照亮的图像)，则眼睛跟踪算法针对此类情况/情形可以表现良好，但针对在训练阶段期间未涉及的其他情况/情形可能表现不那么良好。
[0006]期望提供新的方式来解决上述问题中的一个或多个问题。

技术实现思路

[0007]提供了具有在独立权利要求中定义的特征的方法、系统和计算机可读存储介质，以解决上述问题中的一个或多个问题。在从属权利要求中定义了优选的实施例。
[0008]因此，第一方面提供了用于训练眼睛跟踪模型的方法的实施例。该眼睛跟踪模型被适配用于基于来自第一眼睛跟踪传感器的传感器数据来预测眼睛跟踪数据。该方法包括：接收由该第一眼睛跟踪传感器在某个时刻获得的传感器数据；以及接收由包括第二眼睛跟踪传感器的眼睛跟踪系统针对该时刻生成的参考眼睛跟踪数据。该参考眼睛跟踪数据是由该眼睛跟踪系统基于由该第二眼睛跟踪传感器在该时刻获得的传感器数据来生成的。该方法包括基于由该第一眼睛跟踪传感器在该时刻获得的该传感器数据以及所生成的参
考眼睛跟踪数据来训练该眼睛跟踪模型。
[0009]如前面在
技术介绍
章节中所描述的，可能需要花费相当多的时间和/或资源来收集传统的训练数据。来自已工作的眼睛跟踪系统的参考眼睛跟踪数据可以用作这种传统训练数据的替代方案或补充方案，以训练眼睛跟踪模型。
[0010]将理解的是，眼睛跟踪数据(诸如预测眼睛跟踪数据或参考眼睛跟踪数据)可以例如指示眼睛在显示器上的注视点、和/或注视向量、和/或眼睛在空间中的位置。
[0011]第二方面提供了用于训练眼睛跟踪模型的系统的实施例。该眼睛跟踪模型被适配用于基于来自第一眼睛跟踪传感器的传感器数据来预测眼睛跟踪数据。该系统包括处理电路系统(或者一个或多个处理器)，该处理电路系统被配置用于：接收由该第一眼睛跟踪传感器在某个时刻获得的传感器数据；并且接收由包括第二眼睛跟踪传感器的眼睛跟踪系统针对该时刻生成的参考眼睛跟踪数据。该参考眼睛跟踪数据是由该眼睛跟踪系统基于由该第二眼睛跟踪传感器在该时刻获得的传感器数据来生成的。该处理电路系统被配置用于基于由该第一眼睛跟踪传感器在该时刻获得的该传感器数据以及所生成的参考眼睛跟踪数据来训练该眼睛跟踪模型。
[0012]该处理电路系统(或者一个或多个处理器)可以例如被配置用于执行如本文(换言之，在权利要求、
技术实现思路
、具体实施方式或附图说明中)所公开的第一方面的任何实施例中所定义的方法。该系统可以例如包括存储有指令的一个或多个非暂时性计算机可读存储介质(或者一个或多个存储器)，这些指令在由该处理电路系统(或者一个或多个处理器)执行时使该系统执行如本文所公开的第一方面的任何实施例中所定义的方法。
[0013]在本公开内容中针对根据第一方面的方法的实施例呈现的效果和/或优点同样可以适用于根据第二方面的系统的相应实施例。
[0014]第三方面提供了一种非暂时性计算机可读存储介质的实施例，该存储介质存储有用于训练眼睛跟踪模型的指令。该眼睛跟踪模型被适配用于基于来自第一眼睛跟踪传感器的传感器数据来预测眼睛跟踪数据。这些指令当由系统执行时使该系统执行以下操作：
[0015]·
接收由该第一眼睛跟踪传感器在某个时刻获得的传感器数据；
[0016]·
接收由包括第二眼睛跟踪传感器的眼睛跟踪系统针对该时刻生成的参考眼睛跟踪数据，其中，该参考眼睛跟踪数据是由该眼睛跟踪系统基于由该第二眼睛跟踪传感器在该时刻获得的传感器数据来生成的；以及
[0017]·
基于由该第一眼睛跟踪传感器在该时刻获得的该传感器数据以及所生成的参考眼睛跟踪数据来训练该眼睛跟踪模型。
[0018]该非暂时性计算机可读存储介质可以例如存储有指令，这些指令当由系统(或由该系统中包含的处理电路系统)执行时使该系统执行如本文(换言之，权利要求、
技术实现思路
、附图说明或具体实施方式中)所公开的第一方面的任何实施例中所定义的方法。
[0019]该非暂时性计算机可读存储介质可以例如设置在计算机程序产品中。换言之，计算机程序产品可以例如包括存储有指令的非暂时性计算机可读存储介质，这些指令当由系统执行时使该系统执行如本文所公开的第一方面的任何实施例中所定义的方法。
[0020]在本公开内容中针对根据第一方面的方法的实施例所呈现的效果和/或优点也可以适用于根据第三方面的非暂时性计算机可读存储介质的相应实施例。
[0021]应注意的是，本公开内容的实施例涉及权利要求中所引用的特征的所有可能的组
合。
附图说明
[0022]在下文中，将参考附图更详细地描述示例实施例，在附图中：
[0023]图1是眼睛的正视图；
[0024]图2是从眼睛的旁侧观察图1的眼睛的横截面图；
[0025]图3是根据一实施例的用于训练眼睛跟踪模型的方法的流程图；
[0026]图4是根据一实施例的用于训练眼睛跟踪模型的系统的示意性概览；
[0027]图5是示例眼睛跟踪系统的示意性概览；
[0028]图6是根据一实施例的用于训练眼睛跟踪模型的方法的流程图，该方法包括使用诸如图5中的眼睛跟踪系统等的眼睛跟踪系统；
[0029]图7示出了可以由眼睛跟踪模型预测的眼睛跟踪数据的示例；
[0030]图8示出了根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于训练眼睛跟踪模型(710)的方法(300)，其中，所述眼睛跟踪模型被适配用于基于来自第一眼睛跟踪传感器(411)的传感器数据(709)来预测眼睛跟踪数据，所述方法包括：接收(301)由所述第一眼睛跟踪传感器在某个时刻获得的传感器数据；接收(302)由包括第二眼睛跟踪传感器(421)的眼睛跟踪系统(420)针对所述时刻生成的参考眼睛跟踪数据，其中，所述参考眼睛跟踪数据是由所述眼睛跟踪系统基于由所述第二眼睛跟踪传感器在所述时刻获得的传感器数据来生成的；以及基于由所述第一眼睛跟踪传感器在所述时刻获得的所述传感器数据以及所述生成的参考眼睛跟踪数据来训练(303)所述眼睛跟踪模型。2.如权利要求1所述的方法，进一步包括：在所述时刻使用(601)所述第一眼睛跟踪传感器来获得传感器数据。3.如前述权利要求中任一项所述的方法，进一步包括：使用(602)所述眼睛跟踪系统来针对所述时刻生成所述参考眼睛跟踪数据。4.如前述权利要求中任一项所述的方法，其中，由所述眼睛跟踪模型预测的所述眼睛跟踪数据指示眼睛(100)的预测注视点(508)，并且其中，所述生成的参考眼睛跟踪数据指示所述眼睛的参考注视点(505)；和/或其中，由所述眼睛跟踪模型预测的所述眼睛跟踪数据指示所述眼睛的预测视线(701)，并且其中，所述生成的参考眼睛跟踪数据指示所述眼睛的参考视线(704)；和/或其中，由所述眼睛跟踪模型预测的所述眼睛跟踪数据指示所述眼睛在空间中的预测位置(702)，并且其中，所述生成的参考眼睛跟踪数据指示所述眼睛在空间中的参考位置(705)。5.如前述权利要求中任一项所述的方法，其中，训练所述眼睛跟踪模型包括：使用所述眼睛跟踪模型以及由所述第一眼睛跟踪传感器在所述时刻获得的所述传感器数据来针对所述时刻预测(801)眼睛跟踪数据；将目标函数至少应用(802)于由所述眼睛跟踪模型针对所述时刻预测的所述眼睛跟踪数据以及所述生成的参考眼睛跟踪数据；以及更新(803)所述眼睛跟踪模型。6.如权利要求5所述的方法，其中，将所述目标函数至少应用于由所述眼睛跟踪模型针对所述时刻预测的所述眼睛跟踪数据以及所述生成的参考眼睛跟踪数据包括：形成由针对所述时刻的所述预测的眼睛跟踪数据指示的预测注视点(508)与由所述生成的参考眼睛跟踪数据指示的参考注视点(505)之间的距离(509)；和/或形成由针对所述时刻的所述预测的眼睛跟踪数据指示的预测视线(701)与由所述生成的参考眼睛跟踪数据指示的参考视线(704)之间的偏差(707)；和/或形成由针对所述时刻的所述预测的眼睛跟踪数据指示的预测眼睛位置(702)与由所述生成的参考眼睛跟踪数据指示的参考眼睛位置(705)之间的距离(708)。7.如前述权利要求中任一项所述的方法，其中，所述第一眼睛跟踪传感器是成像装置，和/或其中，所述第二眼睛跟踪传感器是成像装置。8.如前述权利要求中任一项所述的方法，其中：所述眼睛跟踪系统包括发光装置(422，423，424)，所述发光装置输出一定波长范围内
的光(428，429)以照亮眼睛(100)，所述第二眼睛跟踪传感器基于所述波长范围内的光来提供传感器数据，所述第一眼睛跟踪传感器设置有用于抑制所述波长范围内的光的滤光片(415)。9.如前述权利要求中任一项所述的方法，其中，训练所述眼睛跟踪模型包括：使用所述眼睛跟踪模型以及由所述第一眼睛跟踪传感器在所述时刻获得的所述传感器数据来针对所述时刻预测(901)眼睛跟踪数据；以及响应于由所述眼睛跟踪模型针对所述时刻预测的所述眼睛跟踪数据与所述生成的参考眼睛跟踪数据之间的偏差(509，707，708)超过阈值，基于由所述眼睛跟踪模型针对所述时刻预测的所述眼睛跟踪数据以及所述生成的参考眼睛跟踪数据来训练(903)所述眼睛跟踪模型。10.如前述权利要求中任一项所述的方法，进一步包括：使用(1001)所述眼睛跟踪系统来检测眼睛(100)的特定触发动作，其中，所述触发动作包括：凝视；和/或跳视；和/或平稳跟随；其中，响应于检测到所述眼睛的所述特定触发动作而接收由所述第一眼睛跟踪传感器在所述时刻获得的所述传感器数据、和/或训练所述眼睛跟踪模型。11.如前述权利要求中任一项所述的方法，其中，所述眼睛跟踪模型是若干眼睛跟踪模型之一，所述眼睛跟踪模型与对应的潜在用户相关联，所述方法包括：检测(1101)用户的存在；选择(1102)...

【专利技术属性】
技术研发人员：卡尔，
申请(专利权)人：托比股份公司，
类型：发明
国别省市：