【技术实现步骤摘要】
本申请涉及人眼视线估计，尤其涉及人眼视线偏差参数的自校准方法、装置、设备及介质。
技术介绍
1、三维视线估计的目标是从眼睛图片或者人脸图片中推断出人的视线方向，通常视线方向可以使用两个角度表示，如图1所示，分别为pitch角和yaw角，进一步可以估计人眼的视线注视点。
2、目前三维视线的估计方法可以分为两种，一种是基于眼球模型的方法，称为model-based方法，主要通过建立眼球模型，通过瞳孔特征以及几何关系求解视线的两个角度，该类方法的局限在于，在建立眼球模型时通常会使用简化的眼球模型，这些简化的假设在实际使用场景中可能难以满足，且需要眼球的高分辨率图片，而在大部分使用场景中获取到的图片分辨率较低。
3、另一种是基于图片的方法，称为appearance-based方法，主要是通过神经网络提取人脸图片或者眼睛图片的特征，预测pitch和yaw角，该方法对摄像头的要求较低，使用场景广泛，但是这种方法的局限在于假设视线是与身份无关的，也就是person independent的，这导致目前appearance-based方法的精度仅在3°-4°左右。
4、图2为简化后的眼球模型示意图，其中v表示视线，o表示瞳孔中心与眼球中心的连线。fovea是视网膜上对光敏感度最高的一个点，n表示一个与眼球中心距离为d的节点。从直觉上来说，视线v应该与o重合，但是实际上的v与o之间存在固定的夹角k，且该角度的大小因人而异，由人眼球内部参数决定，无法从图像中学习获得。
5、为了进一步提高appeara
技术实现思路
1、针对上述技术问题，本申请的目的在于提供一种人眼视线偏差参数的自校准方法、装置、设备存储介质，旨在解决用户使用视线估计系统前，需要用户配合采集一定的样本，损伤了用户体验的技术问题，并提高视线估计的准确性。
2、第一方面，本申请实施例提供一种人眼视线偏差参数的自校准方法，包括：
3、获取n张用户看向屏幕上一点时的左眼图片和右眼图片；其中，n大于等于1；
4、将所述左眼图片输入到预先训练好的第一卷积神经网络中，由卷积层输出左眼图片对应的初始视线；
5、获取与所述用户对应的左眼视线偏差参数以及与所述左眼图片对应的头部姿态；其中，初始的左眼视线偏差参数为0向量；
6、将所述左眼视线偏差参数、所述左眼图片对应的初始视线以及所述左眼图片对应的头部姿态进行拼接，得到左眼图片对应的拼接特征；
7、将所述左眼图片对应的拼接特征输入到所述预先训练好的第一卷积神经网络的全连接层中，得到左眼图片对应的最终视线；
8、根据所述左眼图片对应的最终视线计算所述左眼图片对应的最终视线与所述屏幕的交点；
9、将所述左眼图片对应的右眼图片输入到预先训练好的第二卷积神经网络中，由卷积层输出右眼图片对应的初始视线；
10、获取与所述用户对应的右眼视线偏差参数以及与所述右眼图片对应的头部姿态；其中，初始的右眼视线偏差参数为0向量；
11、将所述右眼视线偏差参数以及所述右眼图片对应的初始视线进行拼接，得到右眼图片对应的拼接特征；
12、将所述右眼图片对应的拼接特征输入到所述预先训练好的第二卷积神经网络的全连接层中，得到所述右眼图片对应的最终视线；
13、根据所述右眼图片对应的最终视线计算所述右眼图片对应的最终视线与所述屏幕的交点；
14、根据每一张左眼图片对应的最终视线与所述屏幕的交点以及每一张右眼图片对应的最终视线与所述屏幕的交点，计算相交点误差损失；
15、根据所述相交点误差损失进行梯度回传，更新所述用户的左眼视线偏差参数以及右眼视线偏差参数。
16、进一步的，所述的人眼视线偏差参数的自校准方法，还包括：
17、获取第一待训练数据，其中，所述第一待训练数据包括n张左眼样本图片、与所述左眼样本图片对应的视线标签以及m个用户身份信息；
18、获取第二待训练数据，其中，所述第二待训练数据包括n张右眼样本图片、与所述右眼样本图片对应的视线标签以及所述m个用户身份信息；其中，所述左眼样本图片和所述右眼样本图片一一对应，所述左眼样本图片和所述右眼样本图片在用户看向屏幕上一点时采集得到；其中，n、m为正整数，n大于等于m；
19、将所述左眼样本图片输入到待训练的第一卷积神经网络中，由卷积层输出所述左眼样本图片对应的初始视线；
20、根据所述左眼样本图片对应的用户身份信息，选择对应的左眼视线偏差参数；
21、将所述左眼样本图片对应的左眼视线偏差参数、所述左眼样本图片对应的初始视线以及所述左眼样本图片对应的头部姿态进行拼接，得到左眼样本图片对应的拼接特征；
22、将所述左眼样本图片对应的拼接特征输入到所述待训练的第一卷积神经网络的全连接层中，得到左眼样本图片对应的最终视线；
23、将所述左眼样本图片对应的右眼样本图片输入到待训练的第二卷积神经网络中，由卷积层输出右眼样本图片对应的初始视线；其中，所述待训练的第一卷积神经网络和所述待训练的第二卷积神经网络的网络参数共享；
24、根据所述右眼样本图片对应的用户身份信息，选择对应的右眼视线偏差参数；
25、将所述右眼样本图片对应的右眼视线偏差参数、所述右眼样本图片对应的初始视线以及所述右眼样本图片对应的头部姿态进行拼接，得到右眼样本图片对应的拼接特征；
26、将所述右眼样本图片对应的拼接特征输入到所述待训练的第二卷积神经网络的全连接层中，得到所述右眼样本图片对应的最终视线；
27、根据每张左眼样本图片对应的最终视线以及每张左眼样本图片对应的视线标签计算左眼视线误差损失；
28、根据每张右眼样本图片对应的最终视线以及每张右眼样本图片对应的视线标签计算视右眼线误差损失；
29、根据所述左眼样本图片对应的最终视线计算所述左眼样本图片对应的最终视线与所述屏幕的交点；
30、根据所述右眼样本图片对应的最终视线计算所述右眼样本图片对应的最终视线与所述屏幕的交点；
31、根据每张左眼样本图片对应的最终视线与所述屏幕的交点以及每张右眼样本图片对应的最终视线与所述屏幕的交点，计算相交点误差损失；
32、根据所述左眼视线误差损失、所述右眼视线误差损失以及所述相交点误差损失进行梯度回传，更新所述第一卷积神经网络的参数、第二卷积神经网络参数以及每个用户对应的左眼视线偏差参数以及右眼视线偏差参数，直至预设的损失函数收敛，得到所述预先训练好的第一卷积神经网络和第二卷积神经网络。
33、进一步的，设所述屏幕所在的本文档来自技高网...
【技术保护点】
1.一种人眼视线偏差参数的自校准方法，其特征在于，包括：
2.根据权利要求1所述的人眼视线偏差参数的自校准方法，其特征在于，还包括：
3.根据权利要求1所述的人眼视线偏差参数的自校准方法，其特征在于，设所述屏幕所在的面表示为ax+by+cz＝d，其中a,b,c,d是已知的，眼球的中心为(o1,o2,o3)，实际视线方向向量为(d1,d2,d3)，假设交点为(l,m,n)，则视线与屏幕的交点根据公式
4.根据权利要求1所述的人眼视线偏差参数的自校准方法，其特征在于，所述相交点误差损失，根据公式计算得到；其中，N表示样本总数，i表示不同的样本，表示左眼图片i对应的最终视线与屏幕的交点；表示右眼图片i对应的最终视线与屏幕的交点。
5.根据权利要求2所述的人眼视线偏差参数的自校准方法，其特征在于，所述视线误差损失根据如下公式计算得到：
6.根据权利要求2所述的人眼视线偏差参数的自校准方法，其特征在于，所述预设的损失函数为
7.根据权利要求1所述的人眼视线偏差参数的自校准方法，其特征在于，所述根据每一张左眼图片对应的最
8.根据权利要求7所述的人眼视线偏差参数的自校准方法，其特征在于，单只眼睛图片的有效性根据如下方式判断得到：
9.根据权利要求1所述的人眼视线偏差参数的自校准方法，其特征在于，所述人眼视线偏差参数为三维向量或二维向量。
10.一种人眼视线偏差参数的自校准装置，其特征在于，包括：
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至19中任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种人眼视线偏差参数的自校准方法，其特征在于，包括：
2.根据权利要求1所述的人眼视线偏差参数的自校准方法，其特征在于，还包括：
3.根据权利要求1所述的人眼视线偏差参数的自校准方法，其特征在于，设所述屏幕所在的面表示为ax+by+cz＝d，其中a,b,c,d是已知的，眼球的中心为(o1,o2,o3)，实际视线方向向量为(d1,d2,d3)，假设交点为(l,m,n)，则视线与屏幕的交点根据公式
4.根据权利要求1所述的人眼视线偏差参数的自校准方法，其特征在于，所述相交点误差损失，根据公式计算得到；其中，n表示样本总数，i表示不同的样本，表示左眼图片i对应的最终视线与屏幕的交点；表示右眼图片i对应的最终视线与屏幕的交点。
5.根据权利要求2所述的人眼视线偏差参数的自校准方法，其特征在于，所述视线误差损失根据如下公式计算得到：
6.根据权利要求2所述的人眼视线偏差参数的自校准方法，其特征在于...
【专利技术属性】
技术研发人员：孙婧，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。