一种人眼视线估计方法、装置及视线估计系统制造方法及图纸

本申请实施例提供了一种人眼视线估计方法、装置及视线估计系统，通过获取图像采集设备采集的人脸图像及该人脸图像的成像状态，若成像状态未达到预设状态，则基于预先训练的调焦策略，确定成像状态对应的调焦动作，基于调焦动作，对图像采集设备进行调焦，并返回执行获取图像采集设备采集的人脸图像及该人脸图像的成像状态的步骤，直至成像状态达到预设状态，利用预设的人眼视线估计方法，对人脸图像进行人眼视线估计，得到人眼视线估计结果。通过对图像采集设备进行调焦，使得图像采集设备采集到的人脸图像的成像状态满足人眼视线估计需求，因此对人脸图像进行人眼视线估计可得到更为精准的人眼视线估计结果，提高了人眼视线估计的精度。

【技术实现步骤摘要】
一种人眼视线估计方法、装置及视线估计系统
本申请涉及视线估计
，特别是涉及一种人眼视线估计方法、装置及视线估计系统。
技术介绍
视线跟踪技术也称眼动跟踪技术，是利用软件算法、机械、电子、光学等各种检测手段获知人们眼球运动过程的技术，眼球的运动在改变人们视线范围的同时也反映出个体的认知过程，因此，视线跟踪技术在人机交互领域有着非常广泛的应用前景。人眼视线估计作为视线跟踪技术中的关键点，用于对人眼视线的方向和位置等信息进行估计。当前的人眼视线估计方法中，利用红外光源照射人眼产生光斑，采用图像处理的方式提取光斑，得到瞳孔信息，根据瞳孔信息，结合人眼的几何模型计算人眼视线的方向和位置。但是，由于受图像采集设备的安装位置、人们距离图像采集设备的远近不规律等因素影响，图像采集设备所采集的图像中，很容易出现瞳孔信息缺失或误差较大的情况，从而影响人眼视线估计的精度。
技术实现思路
本申请实施例的目的在于提供一种人眼视线估计方法、装置及视线估计系统，以提高人眼视线估计的精度。具体技术方案如下：第一方面，本申请实施本文档来自技高网...

【技术保护点】
1.一种人眼视线估计方法，其特征在于，所述方法包括：/n获取图像采集设备采集的人脸图像及所述人脸图像的成像状态；/n若所述成像状态未达到预设状态，则基于预先训练的调焦策略，确定所述成像状态对应的调焦动作，所述预设状态为预先设定的满足人眼视线估计需求的图像状态；/n基于所述调焦动作，对所述图像采集设备进行调焦，并返回执行所述获取图像采集设备采集的人脸图像及所述人脸图像的成像状态的步骤，直至所述成像状态达到所述预设状态，利用预设的人眼视线估计方法，对所述人脸图像进行人眼视线估计，得到人眼视线估计结果。/n

【技术特征摘要】
1.一种人眼视线估计方法，其特征在于，所述方法包括：
获取图像采集设备采集的人脸图像及所述人脸图像的成像状态；
若所述成像状态未达到预设状态，则基于预先训练的调焦策略，确定所述成像状态对应的调焦动作，所述预设状态为预先设定的满足人眼视线估计需求的图像状态；
基于所述调焦动作，对所述图像采集设备进行调焦，并返回执行所述获取图像采集设备采集的人脸图像及所述人脸图像的成像状态的步骤，直至所述成像状态达到所述预设状态，利用预设的人眼视线估计方法，对所述人脸图像进行人眼视线估计，得到人眼视线估计结果。


2.根据权利要求1所述的方法，其特征在于，所述调焦策略的训练过程，包括：
获取初始的样本图像及预先设定的人眼视线目标值，其中，各样本图像设定有不同的成像状态；
针对任一样本图像，基于预设的调焦策略中不同成像状态下的各调焦动作，进行虚拟调焦，得到更新样本图像；利用预设的人眼视线估计方法，对所述更新样本图像进行人眼视线估计，得到人眼视线估计值；根据所述人眼视线估计值和所述人眼视线目标值之间的差距变化，计算回报值，其中，所述回报值与所述差距变化相关；基于所述回报值，对所述调焦策略进行更新，并返回执行基于所述调焦策略中不同成像状态下的各调焦动作，进行虚拟调焦，得到更新样本图像的步骤；直至针对该样本图像，所述人眼视线估计值达到第一预设阈值和/或对多次迭代的回报值进行累计的结果达到第二预设阈值，确定所述调焦策略完成一轮训练；
针对不同的样本图像，对所述调焦策略进行多轮训练，直至所述调焦策略收敛，确定所述调焦策略完成训练。


3.根据权利要求2所述的方法，其特征在于，所述调焦动作是离散的；所述调焦策略包括不同成像状态下各调焦动作的价值量；
所述基于所述回报值，对所述调焦策略进行更新，包括：
基于所述回报值，修正所述调焦策略中不同成像状态下各调焦动作的价值量；
所述基于预先训练的调焦策略，确定所述成像状态对应的调焦动作，包括：
基于预先训练的调焦策略，确定所述成像状态对应价值量最高的调焦动作。


4.根据权利要求2所述的方法，其特征在于，所述调焦动作是连续的；所述调焦策略为基于深度学习的调焦策略网络模型；
所述基于所述回报值，对所述调焦策略进行更新，包括：
基于所述回报值，对所述调焦策略网络模型的参数进行迭代更新；
所述基于预先训练的调焦策略，确定所述成像状态对应的调焦动作，包括：
将所述成像状态输入预先训练的调焦策略网络模型，得到所述成像状态对应的调焦动作。


5.根据权利要求1所述的方法，其特征在于，所述利用预设的人眼视线估计方法，对所述人脸图像进行人眼视线估计，得到人眼视线估计结果，包括：
将所述人脸图像输入预先训练的基于深度学习的人眼视线估计模型，得到人眼视线估计结果。


6.根据权利要求5所述的方法，其特征在于，所述人眼视线估计模型包括脸部分支网络和眼部分支网络，所述脸部分支网络中部分卷积核的尺寸大于所述眼部分支网络中卷积核的尺寸；
所述将所述人脸图像输入预先训练的基于深度学习的人眼视线估计模型，得到人眼视线估计结果，包括：

【专利技术属性】
技术研发人员：叶润春，潘之玮，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33