一种基于视线追踪的人机交互方法、装置及计算机设备制造方法及图纸

本发明专利技术涉及人机交互领域，特别是涉及一种基于视线追踪的人机交互方法、装置及计算机设备。一种基于视线追踪的人机交互方法，包括如下步骤，采集图像，对图像进行预处理，得到双眼图像和人脸图像；将双眼图像和人脸图像输入到视线估计模型中，得到标准化空间下视线角度。本发明专利技术基于表观视线追踪的思路，利用常见的网络摄像头作为图像数据采集设备，使用一种改进的卷积神经网络估计出视线方向，然后映射到屏幕形成二维注视点，在交互界面移动注视点生成控制命令实现交互功能。控制命令实现交互功能。控制命令实现交互功能。

【技术实现步骤摘要】
一种基于视线追踪的人机交互方法、装置及计算机设备


[0001]本专利技术涉及人机交互领域，特别是涉及一种基于视线追踪的人机交互方法、装置及计算机设备。

技术介绍

[0002]人机交互是计算机系统的重要组成部分。从计算机诞生以来，人机交互的发展经历了命令交互、图形用户界面交互和自然人机交互这三个阶段。自然人机交互是指交互方式自然直观，用户使用日常技能就能进行的人机交互。基于视线追踪的人机交互是自然人机交互的一种，比用鼠标交互更自然、更快速，且不需要动手操作，因此基于视线追踪人机交互技术具有广泛的应用前景。
[0003]现有的商品化视线追踪设备眼动仪通过使用复杂的设备和瞳孔角膜反射技术实现相关功能，例如Tobbi的EyeX眼动仪、EyeLink的1000Plus眼动仪、EyeTrace的XY1000眼动仪等，使用者需佩戴专用设备来进行眼动追踪，操作复杂且需要昂贵的设备成本，使得眼动仪难以在实际生活中普及。而目前使用普通单目相机的基于表观视线追踪的方法可以使用机器学习或深度学习方法直接从眼睛图像回归到注视方向，例如Zhang等建立了视线估计基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视线追踪的人机交互方法，其特征在于，包括如下步骤，采集图像，对图像进行预处理，得到双眼图像和人脸图像；将双眼图像和人脸图像输入到视线估计模型中，得到标准化空间下视线角度。2.如权利要求1所述的基于视线追踪的人机交互方法，其特征在于，所述图像预处理，对用户图像进行人脸检测和关键点检测，根据检测到的二维人脸关键点和通用三维人脸关键点模型进行拟合，得到估计的头部姿态角；通过透视变换将原始图像转换到标准化空间，得到视线估计模型所需的标准化空间下的双眼图像和人脸图像。3.如权利要求2所述的基于视线追踪的人机交互方法，其特征在于，所述人脸检测采用RetinaFace算法，然后在人脸区域内使用PFLD算法检测人脸关键点。4.如权利要求2所述的基于视线追踪的人机交互方法，其特征在于，所述头部姿态通过计算从通用三维人脸关键点模型到图像中检测到的二维人脸关键点的仿射变换矩阵得到估计的头部姿态。5.如权利要求2所述的基于视线追踪的人机交互方法，其特征在于，所述图像进行归一化处理，头部坐标系的原点设为g
o
，并将从相机坐标系到头部坐标系的旋转矩阵和平移向量分别表示为R
r
和e
r
，标准化过程会通过透视变换将输入图像转换到标准化空间，以使标准化的图像满足：标准化的摄像机看着头部坐标系的原点，而眼睛的中心位于标准化图像的中心；头部和相机坐标系的x轴在同一平面上；归一化摄像机位于眼睛中心的固定距离d
...

【专利技术属性】
技术研发人员：段峰，宋卓超，
申请(专利权)人：南开大学，
类型：发明
国别省市：