本发明专利技术涉及一种注视点估计方法，该方法能够适用于任何连有摄像机和屏幕的设备，并使该设备实现与现有商业眼动仪相同的注视点估计功能，而不需要额外的侵入式或非侵入式硬件。本发明专利技术方法注视点估计准确率高且成本低，在人机交互和医学诊断等领域具有较大实用前景。所述方法包括下述步骤：将第一模型部署在连有摄像头和屏幕的设备上；在屏幕上提供移动标识点，获取随标识点移动的眼部数据以及移动标识点位置，对第一模型进行参数校准；将参数校准后的模型用于估计用户对屏幕注视点位置；所述第一模型基于深度可分离卷积模型实现，在训练时以眼部数据为输入，以对屏幕的注视点位置为输出；所述第一模型在部署时使用训练完成时的模型参数。模型参数。模型参数。
【技术实现步骤摘要】
一种注视点估计方法、装置、存储介质
[0001]本专利技术涉及深度学习和智能数据分析等
，特别是涉及一种注视点估计方法、装置及存储介质。
技术介绍
[0002]从人机交互到医学诊断、从心理学研究到计算机视觉，注视点估计在各个领域都有着许多广泛重要的应用。
[0003]瞳孔角膜反射法作为目前注视点估计最普遍使用的方法，需要额外的近红外光源照射，并使用摄像机来捕捉明瞳、暗瞳和明亮的角膜反射光斑的图像。这种基于瞳孔角膜反射的注视点估计方法依赖二维眼动特征，易受用户使用时的环境光照强度、是否佩戴眼镜、头动等影响因素的影响。视线估计的准确度随着用户头部远离校准位置而迅速下降，随校准时环境光照强度的变化程度而下降，有的用户佩戴眼镜时甚至不能获取到有效可用的二维眼动特征，所以该方法的实用性和应用范围都较为有限。
[0004]另一类注视点估计的方法就是基于外观(Appearance
‑
based)的方法，与基于模型(Model
‑
based)的方法通过建模眼部区域的几何结构来给出预测不同，基于外观(Appearance
‑
based)的方法直接从输入图像中预测出注视点坐标。此类方法采用脸部或眼部区域的图像来训练回归模型对注视点进行预测，通常还会引入额外的知识来简化模型，比如向回归模型中引入头部姿态信息或者只训练浅层模型。这种方式下模型参数较多，不易部署应用。
技术实现思路
[0005]本专利技术的主要目的在于提供一个注视点估计方法，该方法能够适用于任何连有摄像机和屏幕的设备，能够使该设备实现与现有商业眼动仪相同的注视点估计功能，而不需要额外的侵入式的或非侵入式的硬件。本专利技术的方法不仅提高了注视点估计效率，而且减少了成本，在人机交互和医学诊断等领域中科研或应用具有较大实用前景。
[0006]基于此，本专利技术的具体技术方案为：
[0007]第一方面，本专利技术实现了一种注视点估计方法，所述方法包括下述步骤：
[0008]S100、将第一模型部署在连有摄像头和屏幕的设备上；
[0009]S200、在屏幕上提供移动标识点，获取随标识点移动的眼部数据以及移动标识点位置，对第一模型进行参数校准；
[0010]S300、将参数校准后的模型用于估计用户对屏幕注视点位置；
[0011]所述第一模型基于深度可分离卷积模型实现，在训练时以眼部数据为输入，以对屏幕的注视点位置为输出；
[0012]所述第一模型在部署时使用训练完成时的模型参数。
[0013]优选地，在所述方法中，所述参数校准采用的数据包括追踪校准数据、点校准数据；所述追踪校准数据为标识点在屏幕上平滑运动时采集的眼部数据；所述点校准数据为
标识点在屏幕上不同位置依次出现时采集的眼部数据。
[0014]优选地，在所述方法中，所述参数校准包括设备/应用级校准；所述设备/应用级校准采用包含使用同个设备/应用的多个用户的数据，对第一模型进行参数校准。
[0015]优选地，在所述方法中，所述参数校准还包括个性化校准；所述个性化校准采用当前设备/应用用户的数据，对第二模型进行参数校准；所述第二模型取代第一模型的输出层；在对所述第二模型进行参数校准时，第一模型剩余层参数不变，获取第一模型输出层中关于当前用户数据的输入以及对应的输出，分别作为第二模型的输入和输出，对第二模型进行拟合训练；将第一模型的剩余层和训练完成的第二模型构成的模型作为参数校准后的模型。
[0016]优选地，在所述方法中，所述平滑运动包括旋转运动、折线段运动、曲线运动。
[0017]优选地，在所述方法中，所述追踪校准数据取自校准点出现后1.3s
‑
30s内的数据，所述点校准数据帧取自校准点出现后800
‑
1500ms内的数据。
[0018]优选地，在所述方法中，所述眼部数据包括眼部图像、眼部位置；所述眼部图像包括左眼图像，以及将左眼图像进行镜面翻转得到的右眼图像；单只眼的眼部图像为单只眼睛最小外接矩形框所包围的图像；单只眼的眼部位置采用单只眼睛的最小外接矩形框对角上的两个顶点位置表示。
[0019]优选地，在所述方法中，所述第一模型在训练时采用的眼部数据加入了从正态分布中随机提取的扰动。
[0020]第二方面，本专利技术基于上述方法实现了一种注视点估计装置，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述任一种方法的计算机程序。
[0021]第三方面，本专利技术实现了一种计算机可读存储介质，存储有能够被处理器加载并执行上述中任一种方法的计算机程序。
[0022]与现有技术相比，本专利技术具有下述有益效果：
[0023](1)第一模型采用基于深度可分离卷积模型实现，是一种轻量级神经网络，具有参数少且体量小的特点，使得模型更容易部署在各种计算资源有限的设备上，特别是各种智能设备。训练好的第一模型可以应用于任何设备/应用程序上，在具体应用时再对训练好的第一模型的参数进行参数校准，可以实现更好的注视点估计性能。
[0024](2)通过具体设备/应用程序中采集的平滑追踪校准数据和点校准数据两种校准数据进行迁移学习微调训练和验证，以实现参数校准，使得用于评估注视点的模型具有更好的适用性。
[0025](3)在设备/应用级参数校准后，再进行个性化参数校准，能够进一步提高用于评估注视点的模型的适用性和准确性。
[0026](4)通过针对性的采集数据，滤除可能包含眼跳的数据帧，提高模型训练的有效性。
[0027](5)通过对训练的数据进行扰动处理，用于评估注视点的模型在面对光照、摄像机移动、噪声或者脸部眼部坐标检测误差等带来的轻微影响时更加鲁棒。
附图说明
[0028]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使
用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0029]图1、本专利技术方法应用的一个具体实施例示意图；
[0030]图2、本专利技术用于评估注视点的模型架构的第一示意图；
[0031]图3、本专利技术参数校准数据的第一示意图；
[0032]图4、本专利技术参数校准数据的第二示意图；
[0033]图5、本专利技术用于评估注视点的模型架构的第二示意图。
具体实施方式
[0034]在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
[0035]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
[0036]在实施例1中，如图1所示，设备具有屏幕和摄像头，在设备上部署基于本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种注视点估计方法，其特征在于，所述方法包括下述步骤：S100、将第一模型部署在连有摄像头和屏幕的设备上；S200、在屏幕上提供移动标识点，获取随标识点移动的眼部数据以及移动标识点位置，对第一模型进行参数校准；S300、将参数校准后的模型用于估计用户对屏幕注视点位置；所述第一模型基于深度可分离卷积模型实现，在训练时以眼部数据为输入，以对屏幕的注视点位置为输出；所述第一模型在部署时使用训练完成时的模型参数。2.根据权利要求1所述的方法，其特征在于，所述参数校准采用的数据包括追踪校准数据、点校准数据；所述追踪校准数据为标识点在屏幕上平滑运动时采集的眼部数据；所述点校准数据为标识点在屏幕上不同位置依次出现时采集的眼部数据。3.根据权利要求1所述的方法，其特征在于，所述参数校准包括设备/应用级校准；所述设备/应用级校准采用包含使用同个设备/应用的多个用户的数据，对第一模型进行参数校准。4.根据权利要求3所述的方法，其特征在于，所述参数校准还包括个性化校准；所述个性化校准采用当前设备/应用用户的数据，对第二模型进行参数校准；所述第二模型取代第一模型的输出层；在对所述第二模型进行参数校准时，第一模型剩余层参数不变，获取第一模型输出层中关于当前用户数据的输入以及对应的输...
【专利技术属性】
技术研发人员：高小榕，吴剑，刘强墨，沈晓梅，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。