本发明专利技术公开了一种眼睛跟踪系统，其包括眼睛探测器模块，所述眼睛探测器模块被配置成接收用户的面部的数字图像并产生指定所述用户的眼睛的第一和第二位置的眼睛区域数据。瞳孔探测器模块接收所述眼睛区域数据并使用所述数字图像和所述眼睛区域数据来确定所述数字图像内的第一和第二瞳孔中心的位置。凝视探测器模块部分地基于所述第一和第二瞳孔中心的位置来确定用户凝视点。所述眼睛探测器模块、瞳孔探测器模块和凝视探测器模块中的至少一者被实施为先前训练的机器学习模型。者被实施为先前训练的机器学习模型。者被实施为先前训练的机器学习模型。
【技术实现步骤摘要】
【国外来华专利技术】用于使用机器学习技术进行眼睛跟踪的系统和方法
[0001]本专利技术总体上涉及眼睛跟踪系统和方法，且更具体地，涉及将机器学习技术应用于此类眼睛跟踪系统。
技术介绍
[0002]眼睛跟踪系统(如与台式计算机、膝上型计算机、平板计算机、虚拟现实头戴式耳机和包括显示器的其它计算装置结合使用的那些眼睛跟踪系统)通常包括一个或多个被配置成将红外光引导到用户眼睛的照明器和捕获图像以供进一步处理的图像传感器。通过确定用户瞳孔和由照明器产生的角膜反射的相对位置，眼睛跟踪系统可以精确地预测用户在显示器上的凝视点。
[0003]虽然当前已知的眼睛跟踪系统对于游戏目的是相当精确和反应灵敏的，但是有许多方法可以改进此类系统。例如，在眼睛跟踪系统中需要改进的鲁棒性以解决部分遮挡或在用户的眼镜存在图像处理挑战的情况下。
[0004]因此需要克服现有技术的这些和其它限制的系统和方法。
技术实现思路
[0005]本专利技术的各种实施例涉及尤其用于以下操作的系统和方法：i)使用先前训练的机器学习模型提供改进的眼睛跟踪；ii)通过在系统的正常使用期间对机器学习模型进行频繁的再训练来提供改进的眼睛跟踪校准，iii)使用被配置成用于眼睛探测和/或瞳孔探测的机器学习模型来提供改进的眼睛跟踪；iv)使用浅层人工神经网络(ANN)和卷积神经网络(CNN)的组合来提供改进的眼睛跟踪；以及v)使用包括传统和机器学习模型的混合方法提供改进的眼睛跟踪功能。
附图说明
[0006]以下将结合附图描述本专利技术，其中相同的数字表示相同元件，并且：
[0007]图1是示出了根据各种实施例的眼睛跟踪系统的概念性框图；
[0008]图2和3示出了根据各种实施例的眼睛跟踪系统的示意性框图；
[0009]图4是示出了根据各种实施例的眼睛跟踪方法的流程图；
[0010]图5A至5C示出了根据各种实施例的眼睛区域的确定；
[0011]图6A至6B示出了根据各种实施例的用户的角膜反射(CR)和瞳孔中心(PC)的成像；以及
[0012]图7示出了根据各种实施例的浅层神经网络；以及
[0013]图8示出了根据各种实施例的卷积神经网络(CNN)。
具体实施方式
[0014]本主题涉及用于使用人工智能(AI)技术和机器学习(ML)模型代替传统的眼睛跟
踪技术或与传统的眼睛跟踪技术结合来执行眼睛跟踪的改进的系统和方法。在这方面，下面的详细描述本质上仅仅是示范性的，并不旨在限制本专利技术或本文所述的本专利技术的应用和使用。此外，并不旨在受到前述
技术介绍
或以下详细描述中提出的任何理论的约束。为了简洁起见，与眼睛跟踪算法、图像传感器、机器学习系统和数字图像处理相关的传统技术和组件在此不详细描述。
[0015]首先参考图1，本专利技术通常在包括计算装置110(例如，台式计算机、平板计算机、膝上型计算机等)的系统100的上下文中实施，所述计算装置具有耦合到装置110、集成到所述装置中或以其它方式与所述装置相关联的眼睛跟踪组合件120。眼睛跟踪组合件120被配置成观察视场170内的用户180的面部区域181，并且通过以下详细描述的各种技术来跟踪用户的凝视(或“凝视点”)113在计算装置110的显示器112上的位置和移动。凝视点113可以例如通过指定相对于显示屏112上的任意参考点(例如，如图所示的左上角)的线性坐标(以像素、厘米或其它合适的单位)的元组(x，y)来表征。
[0016]在所示实施例中，眼睛跟踪组合件120包括一个或多个红外(IR)发光二极管(LED)121，其定位成对用户180的面部区域181进行照明。组合件120进一步包括一个或多个相机125，所述相机被配置成获取(以合适的帧速率)对应于用户面部区域181的数字图像(通常称为“图像数据”)。
[0017]在一些实施例中，可以在本地(即，在计算装置110内)处理图像数据以确定凝视点113。然而，在一些实施例中，使用远离计算装置110的一个或多个图像处理模块162来实现眼睛跟踪，例如，所述图像处理模块被托管在通过网络150(例如，因特网)通信地耦合到计算装置110的云计算系统160内。在此类实施例中，图像处理模块162执行确定凝视点所需的计算上复杂的操作，且然后通过网络将其发送回(作为眼睛和凝视数据)计算装置110。可以在本专利技术的上下文中采用的实例基于云的眼睛跟踪系统可以在例如在2019年6月7日提交的题为“用于减少基于云的眼睛跟踪系统中的计算和传输时延的装置和方法(Devices and Methods for reducing computational and transmission latencies in cloud based eye tracking systems)”的美国专利第16/434,830号中发现，其内容以引用的方式并入。
[0018]现在参考图2所示的框图并继续参考图1，根据各种实施例的眼睛跟踪系统200包括眼睛探测器模块210，所述眼睛探测器模块被配置成接收图像201(即，获取的用户面部区域181的图像)并如下面进一步详细描述的那样确定用户眼睛在图像201内的位置。然后将该眼睛位置数据211提供给瞳孔探测器模块(或简称为“瞳孔探测器”)220和角膜反射(CR)探测器(或简称为“CR探测器”)230。与此同时，图像201也可以直接(以原始形式)提供给瞳孔探测器220和CR探测器230，如图所示。
[0019]将瞳孔探测器220的输出221(例如，指定图像201中瞳孔中心(PC)的预测位置的数据)提供给凝视探测器模块(或简称为“凝视探测器”)240。类似地，将CR探测器230的输出231提供给凝视探测器240。然后凝视探测器240获取所接收的瞳孔和CR信息并产生凝视数据241，在一个实施例中，该凝视数据包括凝视坐标(x，y)(图1中的113)以及其它任选信息，如指定用户距眼睛跟踪组合件120的距离的值。
[0020]根据本专利技术，使用先前训练的机器学习模型而不是传统的眼睛跟踪技术(例如，传统的几何模型)来实现如图2所示的一个或多个模块210、220、230和240。例如，在一个实施例中，眼睛探测器210、瞳孔探测器220和/或CR探测器230被实施为执行对象检测的卷积神
经网络(CNN)。在一个实施例中，模块210、220、230和240中的一个或多个实施被配置成产生包括预测坐标(即，用户眼睛的CR和PC的坐标)的回归输出的You Only Look Once(YOLO)算法(例如，YOLO v3)。如本领域所公知的，可以使用各种编程语言和库来实现YOLO算法。在一个实施例中，例如，使用Tensor Flow库在云计算平台上实施YOLO对象检测。
[0021]根据各个实施例，凝视探测器240被实施为浅层ANN(例如，具有单个隐藏层的ANN)，该浅层ANN将瞳孔探测器220和CR探测器230产生的整数向量作为其输入，并且产生包括预测的凝视点坐标以及与该预测相关联的置信水平的回归输出。
本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种眼睛跟踪系统，其包含：眼睛探测器模块，所述眼睛探测器模块被配置成接收用户的面部的数字图像并产生指定所述用户的眼睛的第一和第二位置的眼睛区域数据；瞳孔探测器模块，所述瞳孔探测器模块被配置成接收所述眼睛区域数据并使用所述数字图像和所述眼睛区域数据来确定所述数字图像内的第一和第二瞳孔中心的位置；以及凝视探测器模块，所述凝视探测器模块被配置成部分地基于所述第一和第二瞳孔中心的位置来确定用户凝视点；其中所述眼睛探测器模块、瞳孔探测器模块和凝视探测器模块中的至少一者被实施为先前训练的机器学习模型。2.根据权利要求1所述的眼睛跟踪系统，其中所述凝视探测器模块被实施为人工神经网络(ANN)。3.根据权利要求1所述的眼睛跟踪系统，其中所述瞳孔探测器模块被实施为卷积神经网络(CNN)。4.根据权利要求3所述的眼睛跟踪系统，其中所述CNN是使用YOLO对象检测来实施。5.根据权利要求1所述的眼睛跟踪系统，其进一步包括角膜反射探测器模块，所述角膜反射探测器模块被配置成接收所述眼睛区域数据并使用所述数字图像和所述眼睛区域数据来确定所述数字图像内的至少一个角膜反射，其中所述凝视探测器部分地基于多个角膜反射的位置来确定所述用户凝视点。6.根据权利要求1所述的眼睛跟踪系统，其中通过在正常操作期间获取所述用户的图像来训练所述机器学习模型。7.根据权利要求1所述的眼睛跟踪系统，其中所述眼睛探测器模块和凝视探测器模块中的至少一者在远离所述用户的云计算平台上实施。8.一种眼睛跟踪系统，其包含：眼睛探测器模块，所述眼睛探测器模块被配置成接收用户的面部的数字图像并产生指定所述用户的眼睛的第一和第二位置的眼睛区域数据；以及凝视探测器模块，所述凝视探测器模块包括先前训练的卷积机器学习模型，被配置成部分地基于所述眼睛区域数据来确定用户凝视点。9.根据权利要求8所述的眼睛跟踪系统，其中所述先前训练的机器学习模型是卷积神经网络(CNN)。10.根据权利要求8所述的眼睛跟踪系统，其中所述眼睛探测器模块是使用YOLO对象检测来实施。11.根据权利要求8所述的眼睛跟踪系统，其中通过在正常操作期间获取所述用户的图像来训练所述先前训练的机器学习模型。12.根据权利要求8所述的眼睛跟踪系统，其中所述凝视探测器模块和眼睛探测器模块中的至少一者是使用远离所述用户的云计算平台来实施。13.一种眼睛跟踪方法，其包含：接收用户的面部的数字图像；产生指定所...
【专利技术属性】
技术研发人员：R，
申请(专利权)人：眼科技术数字系统公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。