一种注视点估计方法、装置、存储介质制造方法及图纸

本发明专利技术涉及一种注视点估计方法，该方法能够适用于任何连有摄像机和屏幕的设备，并使该设备实现与现有商业眼动仪相同的注视点估计功能，而不需要额外的侵入式或非侵入式硬件。本发明专利技术方法注视点估计准确率高且成本低，在人机交互和医学诊断等领域具有较大实用前景。所述方法包括下述步骤：将第一模型部署在连有摄像头和屏幕的设备上；在屏幕上提供移动标识点，获取随标识点移动的眼部数据以及移动标识点位置，对第一模型进行参数校准；将参数校准后的模型用于估计用户对屏幕注视点位置；所述第一模型基于深度可分离卷积模型实现，在训练时以眼部数据为输入，以对屏幕的注视点位置为输出；所述第一模型在部署时使用训练完成时的模型参数。模型参数。模型参数。

【技术实现步骤摘要】
一种注视点估计方法、装置、存储介质


[0001]本专利技术涉及深度学习和智能数据分析等
，特别是涉及一种注视点估计方法、装置及存储介质。

技术介绍

[0002]从人机交互到医学诊断、从心理学研究到计算机视觉，注视点估计在各个领域都有着许多广泛重要的应用。
[0003]瞳孔角膜反射法作为目前注视点估计最普遍使用的方法，需要额外的近红外光源照射，并使用摄像机来捕捉明瞳、暗瞳和明亮的角膜反射光斑的图像。这种基于瞳孔角膜反射的注视点估计方法依赖二维眼动特征，易受用户使用时的环境光照强度、是否佩戴眼镜、头动等影响因素的影响。视线估计的准确度随着用户头部远离校准位置而迅速下降，随校准时环境光照强度的变化程度而下降，有的用户佩戴眼镜时甚至不能获取到有效可用的二维眼动特征，所以该方法的实用性和应用范围都较为有限。
[0004]另一类注视点估计的方法就是基于外观(Appearance
‑
based)的方法，与基于模型(Model
‑
based)的方法通过建模眼部区域的几何结构来给出预测不同，基于外观(Ap本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种注视点估计方法，其特征在于，所述方法包括下述步骤：S100、将第一模型部署在连有摄像头和屏幕的设备上；S200、在屏幕上提供移动标识点，获取随标识点移动的眼部数据以及移动标识点位置，对第一模型进行参数校准；S300、将参数校准后的模型用于估计用户对屏幕注视点位置；所述第一模型基于深度可分离卷积模型实现，在训练时以眼部数据为输入，以对屏幕的注视点位置为输出；所述第一模型在部署时使用训练完成时的模型参数。2.根据权利要求1所述的方法，其特征在于，所述参数校准采用的数据包括追踪校准数据、点校准数据；所述追踪校准数据为标识点在屏幕上平滑运动时采集的眼部数据；所述点校准数据为标识点在屏幕上不同位置依次出现时采集的眼部数据。3.根据权利要求1所述的方法，其特征在于，所述参数校准包括设备/应用级校准；所述设备/应用级校准采用包含使用同个设备/应用的多个用户的数据，对第一模型进行参数校准。4.根据权利要求3所述的方法，其特征在于，所述参数校准还包括个性化校准；所述个性化校准采用当前设备/应用用户的数据，对第二模型进行参数校准；所述第二模型取代第一模型的输出层；在对所述第二模型进行参数校准时，第一模型剩余层参数不变，获取第一模型输出层中关于当前用户数据的输入以及对应的输...

【专利技术属性】
技术研发人员：高小榕，吴剑，刘强墨，沈晓梅，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：