一种基于视频图像的眼动追踪方法和系统技术方案

本发明专利技术公开了一种基于视频图像的眼动追踪方法和系统，获取人脸的视频图像，间隔提取视频图像中的一帧进行预处理；提取预处理后的图像中的人脸区域、左眼区域和右眼区域；将提取的所述人脸区域、左眼区域和右眼区域输入预训练的卷积神经网络，得到卷积神经网络输出的视线方向；基于预先标定的映射函数，将卷积神经网络输出的视线方向映射至屏幕，输出人眼在屏幕上的视点坐标，完成眼动追踪。本发明专利技术利用普通的图像采集设备即可实现眼动追踪，并且追踪准确率高。

【技术实现步骤摘要】
一种基于视频图像的眼动追踪方法和系统
本申请属于人机交互视点追踪
，具体涉及一种基于视频图像的眼动追踪方法和系统。
技术介绍
眼动追踪是一项通过传感器、计算机、机器视觉等技术来追踪人体眼睛运动的应用技术。该技术可用于医学、心理学、认知科学等领域的研究，也可以用作手机、电脑、智能汽车等场景下的人机交互的新型输入方法，简单方便，应用前景广泛。常用的眼动追踪设备有屏幕式和眼镜式，前者是在电脑屏幕上方或下方放置一个长条状的采集和计算设备，包括一个或多个红外光源、红外相机等，后者则是将一系列硬件集成在眼镜上。这两者虽然能够较好地实现眼动追踪功能，但是通常价格昂贵且不便携带。常用的眼动追踪设备通过瞳孔角膜反射技术计算使用者的视线方向，该方法精度较高也比较成熟，通过控制红外光源切换亮瞳暗瞳，以差分的方式分割图像获得瞳孔，但该方法需要特定的光源和相机设备，难以像摄像头一样向大众普及。而由于摄像头获取的图像受环境影响较大，不同摄像头型制参数区别较大，导致目前基于普通摄像头获取的外观视频图像的眼动追踪效果并不理想。
技术实现思路
本文档来自技高网...

【技术保护点】
1.一种基于视频图像的眼动追踪方法，用于追踪人眼在屏幕上的视点坐标，其特征在于，所述基于视频图像的眼动追踪方法，包括：/n步骤S1、获取人脸的视频图像，间隔提取视频图像中的一帧进行预处理；/n步骤S2、提取预处理后的图像中的人脸区域、左眼区域和右眼区域；/n步骤S3、将提取的所述人脸区域、左眼区域和右眼区域输入预训练的卷积神经网络，得到卷积神经网络输出的视线方向；/n步骤S4、基于预先标定的映射函数，将卷积神经网络输出的视线方向映射至屏幕，输出人眼在屏幕上的视点坐标，完成眼动追踪。/n

【技术特征摘要】
1.一种基于视频图像的眼动追踪方法，用于追踪人眼在屏幕上的视点坐标，其特征在于，所述基于视频图像的眼动追踪方法，包括：
步骤S1、获取人脸的视频图像，间隔提取视频图像中的一帧进行预处理；
步骤S2、提取预处理后的图像中的人脸区域、左眼区域和右眼区域；
步骤S3、将提取的所述人脸区域、左眼区域和右眼区域输入预训练的卷积神经网络，得到卷积神经网络输出的视线方向；
步骤S4、基于预先标定的映射函数，将卷积神经网络输出的视线方向映射至屏幕，输出人眼在屏幕上的视点坐标，完成眼动追踪。


2.如权利要求1所述的基于视频图像的眼动追踪方法，其特征在于，所述步骤S2，提取预处理后的图像中的人脸区域、左眼区域和右眼区域，包括：
采用基于haar特征的AdaBoost级联检测器检测预处理后的图像中是否存在人脸、左眼和右眼，若不存在则结束；否则裁剪出图像中的人脸、左眼和右眼得到人脸区域、左眼区域和右眼区域，并对裁剪的人脸区域、左眼区域和右眼区域进行放大作为最终提取的人脸区域、左眼区域和右眼区域。


3.如权利要求1所述的基于视频图像的眼动追踪方法，其特征在于，步骤S3，将提取的所述人脸区域、左眼区域和右眼区域输入预训练的卷积神经网络，得到卷积神经网络输出的视线方向，包括：
卷积神经网络接收输入的人脸区域、左眼区域和右眼区域，所述左眼区域和右眼区域分别通过32个3x3尺寸的卷积层、64个3x3尺寸的卷积层、2x2大小的最大池化层、128个3x3尺寸的卷积层、64个1x1尺寸的卷积层后得到左眼特征图FL和右眼特征图FR，将左眼特征图FL和右眼特征图FR拼接后依次通过2个大小为128的全连接层得到特征向量FE；
所述人脸区域依次通过64个5x5尺寸的卷积层、2x2大小的最大池化层、64个3x3尺寸的卷积层、128个3x3尺寸的卷积层、2x2大小的最大池化层、256个3x3尺寸的卷积层、128个1x1尺寸的卷积层获得脸部特征图，所述脸部特征图经过2个大小为128的全连接层得到对应的特征向量FF；
将特征向量FE和特征向量FF同时输入大小为384的全连接层，将大小为384的全连接层的输出再次输入至大小为128的全连接层，并由大小为128的全连接层输出视线方向。


4.如权利要求1所述的基于视频图像的眼动追踪方法，其特征在于，所述映射函数，其标定过程包括：
屏幕依次显示n个定点Pi＝(xi,yi)并保持2～3秒,i＝1,2,…,n；
显示每个定点的同时获取人眼看向屏幕显示的定点时的人脸的视频图像，采样视频图像中的m个图像帧进行预处理；
提取预处理后的图像中的人脸区域、左眼区域和右眼区域；
将提取的所述人脸区域、左眼区域和右眼区域输入预训练的卷积神经网络，得到卷积神经网络输出的视线方向ωi,j＝(θi,j,φi,j)，j＝1,2,…,m，其中ωi,j表示定点Pi对应的第j个视线方向，θi,j表示视线方向ωi,j中的视线在水平方向上的夹角，φi,j表示视线方向ωi,j中的视线在垂直方向上的夹角；
将定点Pi＝(xi,yi)以及对应的视线方向ωi,j＝(θi,j,φi,j)作为样本数据，构建视线方向到屏幕的映射函数如下：



其中，为映射函数估算的视线方向对应的屏幕上的视点坐标，ak,bk,k＝0,1,…,9是映射函数的未定系数，θ,φ为输入映射函数的视线方向；
根据收集到的样本数据通过多项式回归求得映射函数的未定系数，完成映射函数的标定。


5.如权利要求4所述的基于视频图像的眼动追踪方法，其特征在于，所述将定点Pi＝(xi,yi)以及对应的视线方向ωi,j＝(θi,j,φi,j)作为样本数据，包括：
根据3σ原则剔除视线方向ωi,j中符合|θ-uθ|>3σθ或|φ-uφ|>3σφ的数据，保留剩余数据，其中uθ表示定点Pi对应的m个θi,j的均值，σθ表示定点Pi对应的m个θi,j的标准差，其中uφ表示定点Pi对应的m个φi,j的均值，σφ表示定点Pi对应的m个φi,j的标准差；
剔除完成后，将定点Pi对应的剩余的视线方向ωi,j中的每一个与定点Pi对应组合，构成视线方向-定点形式的样本数据。


6.一种基于视频图像的眼动追踪系统，...

【专利技术属性】
技术研发人员：袁征，苏朝阳，邹霖璐，郑嘉波，
申请(专利权)人：中电海康集团有限公司，
类型：发明
国别省市：浙江;33