一种基于自适应加权的视线跟踪方法技术

一种基于自适应加权的视线跟踪方法，包括以下步骤：1）对输入的图像进行数据归一化预处理：1.1）使人脸参考点位于距离相机固定距离的图像中心；2）建立图像与视线向量间的回归函数：2.1）建立主网络并设计对应loss函数；2.2）建立子网络并通过子网络调整主网络的训练策略，求得最终的模型。本发明专利技术可以在不同光照，不同头部姿态下保持高精度并具有一定的健壮性。

A line of sight tracking method based on adaptive weighting

【技术实现步骤摘要】
一种基于自适应加权的视线跟踪方法
本专利技术属于图像处理领域，是一种基于自适应加权的视线跟踪方法。
技术介绍
眼睛是人体最重要的感觉器官之一。视线跟踪通过推断目标的注意点来模拟眼睛和外部信息之间的交流。它在消费者研究、沉浸式VR研究、教育研究等诸多应用中发挥着重要作用。最近提出的视线跟踪方法越来越多，大致可以分为两大类:基于模型的方法和基于外观的方法。基于模型的视线跟踪方法根据瞳孔中心、虹膜轮廓、角膜红外反射等不变的面部特征计算特定的几何眼睛模型来估计注视方向。然而，这种方法需要复杂的硬件，例如红外光线、高清相机等。这种方法更适合于受控环境，例如实验室中，而不是在日常娱乐场景中。基于外观的注视跟踪方法从人眼外观图像中提取特征作为输入，然后学习一个注视映射函数，将眼睛图像映射到注视方向从而实现注视估计。与基于模型的注视跟踪方法不同，基于外观的方法通常只需要一个摄像头就可以捕捉到用户的眼睛图像。Zhang等人从人眼图像中提取颜色、灰度、方向等低维特征，采用k＝13的KNN分类器学习图像特征到注视方向的映射。Wang等人[7]在传统的本文档来自技高网...

【技术保护点】
1.一种基于自适应加权的视线跟踪方法，其特征在于，所述方法包括以下步骤：/nS1.数据预处理，对图像数据进行归一化处理，过程如下：/nS1.1.使人脸参考点位于距离相机固定距离的图像中心；/n假设a(a

【技术特征摘要】
1.一种基于自适应加权的视线跟踪方法，其特征在于，所述方法包括以下步骤：
S1.数据预处理，对图像数据进行归一化处理，过程如下：
S1.1.使人脸参考点位于距离相机固定距离的图像中心；
假设a(ax,ay,az)是相机空间下的人脸参考点，旋转后的虚拟相机下的z轴为vz＝az/||az||，虚拟相机下的y轴为vy＝vz×hx,其中hx是头部姿态旋转矩阵中的x轴；然后x轴就可以通过y轴和z轴得到，vx＝vz×vy，假设虚拟空间和参考点的距离为d,那么转换矩阵被定义为M＝SR，其中S被定义为S＝diag(1,1,d/||a||2)；
S1.2.将人脸转换为特定相机空间下的图像平面；
通过warp矩阵W＝CaMCv-1将人脸转换为特定相机空间下的图像平面，其中Ca是原相机的内参数矩阵，Cv是虚拟相机的内参数矩阵；除此之外，在训练阶段，原始的视觉标签使用gv＝Rga进行转换，其中gv代表归一化后的视线向量，ga代表初始视线向量；
S2.建立回归模型
本发明中，提出了一种自适应调权的回归模型用于对基于外观的视线估计预测，这个模型由一个主网络和一个子网络组成，主网络实现图像到视线向量的回归预测，子网络实现主网络Loss函数的调整从而达到自适应调权的目的；
S2.1.建立主网络并设计对应loss函数；
该网络是一个六流的卷积神经网络，设计前三组数据分别从人脸、左眼、右眼中提取64维的深层特征，后三组数据产生了一个关节64维的特征；然后通过一个全连接层将6组数据组合起来，并经过一个dropout层防止过拟合问题，最后通过六维的全连接层得到对应的视线向量结果；
对于训练主网络，本发明设计了对应的策略进行调整，过程如下：
首先计算目前预测的脸和双眼的三维注视方向的角度误差：









其中，f(I)代表视线向量的预测值，即注视回归，g代表视线向量真实值，...

【专利技术属性】
技术研发人员：周小龙，产思贤，姜嘉琪，陈胜勇，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33