视线估计方法及装置制造方法及图纸

本申请公开了一种视线估计方法及装置。其中，该方法包括：获取待测试图像和基准图像的特征数据，其中，该特征数据包括眼部图像数据，以及对视线估计产生影响的信息；基于待测试图像的特征数据和基准图像的特征数据确定待测试图像中的注视点位置与基准图像中的注视点位置的差异；依据基准图像中的注视点位置和差异确定待测试图像中的注视点位置。本申请解决了现阶段利用差分网络模型技术对视线进行估计时，没有考虑用户的头部姿态、是否佩戴眼镜和/或美瞳对视线估计的影响，从而导致视线估计精度低的技术问题。

【技术实现步骤摘要】
视线估计方法及装置
本申请涉及视线追踪领域，具体而言，涉及一种视线估计方法及装置。
技术介绍
人的眼球结构存在诸多差异，尤其是眼睛的视轴和光轴存在偏差因人而异，所以基于眼图外观的深度学习视线估计方法需要与校准步骤结合。有学者提出了一种基于差分的视线估计方法，该方法能有效解决人眼生理性差异，(主要是眼睛视轴和光轴方向偏差)获得比较好的视线方向估计精度。但这类方法在计算时，采用左右眼的图像分别进行计算，但没有考虑到用户的头部姿态和是否佩戴眼镜和/或美瞳对视线估计的影响。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种视线估计方法及装置，以至少解决现阶段利用差分网络模型技术对视线进行估计时，没有考虑用户的头部姿态、是否佩戴眼镜和/或美瞳对视线估计的影响，从而导致视线估计精度低的技术问题。根据本申请实施例的一个方面，提供了一种视线估计方法，包括：获取待测试图像和基准图像的特征数据，其中，该特征数据包括眼部图像数据，以及对视线估计产生影响的信息；基于待测试图像的特征数据和基准图像的特征数据确定本文档来自技高网...

【技术保护点】
1.一种视线估计方法，其特征在于，包括：/n获取待测试图像和基准图像的特征数据,其中，所述特征数据包括眼部图像数据，以及对视线估计产生影响的信息；/n基于所述待测试图像的特征数据和所述基准图像的特征数据确定所述待测试图像中的注视点位置与所述基准图像中的注视点位置的差异；/n依据所述基准图像中的注视点位置和所述差异确定所述待测试图像中的注视点位置。/n

【技术特征摘要】
1.一种视线估计方法，其特征在于，包括：
获取待测试图像和基准图像的特征数据,其中，所述特征数据包括眼部图像数据，以及对视线估计产生影响的信息；
基于所述待测试图像的特征数据和所述基准图像的特征数据确定所述待测试图像中的注视点位置与所述基准图像中的注视点位置的差异；
依据所述基准图像中的注视点位置和所述差异确定所述待测试图像中的注视点位置。


2.根据权利要求1所述的方法，其特征在于，在获取待测试图像和基准图像的特征数据之前，所述方法还包括：
对所述待测试图像进行归一化处理。


3.根据权利要求2所述的方法，其特征在于，对所述待测试图像进行归一化处理，包括：
以获取所述待测试图像的图像采集装置为原点建立原始空间坐标系；
旋转所述原始空间坐标系，使所述待测试图像中的原点与所述原始空间坐标系的Z轴重合，得到旋转矩阵，所述待测试图像中的原点包括如下至少之一：鼻尖、左/右眼瞳孔中心、左右眼瞳孔连线的中心；
依据所述原始空间坐标系、所述旋转矩阵及缩放因子确定目标空间坐标系，所述缩放因子依据与所述待测试图像对应的目标物和所述图像采集装置的距离确定；
在所述目标空间坐标系中确定所述待测试图像中的注视点位置，得到归一化处理后的所述待测试图像。


4.根据权利要求1所述的方法，其特征在于，所述对视线估计产生影响的信息包括如下至少之一：头部姿态信息、眼部是否佩戴眼镜和/或美瞳的状态信息。


5.根据权利要求4所述的方法，其特征在于，基于所述待测试图像的特征数据和所述基准图像的特征数据确定所述待测试图像中的注视点位置与所述基准图像中的注视点位置的差异，包括：
将所述待测试图像的特征数据和所述基准图像的特征数据输入至深度学习模型中进行预测，得到所述待测试图像中的注视点位置与所述基准图像中的注视点位置的差异。


6.根据权利要求5所述的方法，其特征在于，在将所述待测试图像的特征数据和所述基准图像的特征数据输入至深度学习模型中进行预测之前，所述方法还包括：
获取训练数据集，其中，所述训练数据集包括：第一样本图像及第二样本图像，其中，所述第一样本图像和所述第二样本图像均包括：眼部图像数据、头...

【专利技术属性】
技术研发人员：赵志忠，姚涛，杨孟，
申请(专利权)人：北京七鑫易维科技有限公司，北京七鑫易维信息技术有限公司，
类型：发明
国别省市：北京;11