一种基于眼动交互技术实现屏幕姿态估计的方法技术

本发明专利技术提出一种眼动交互操作中屏幕位姿的改进方法，包含以下步骤：A、屏幕位姿初始化；B、屏幕位姿误差衡量；C、定义屏幕位姿反馈机制；D、通过眼动交互操作提高屏幕位姿精度。本发明专利技术提供了一种简单易行的方法，使得用户可以通过简单的眼动交互操作来估计屏幕的位置和姿态，增加眼动追踪设备的实际使用体验。用户友好，简单易行，精度较高，允许眼动追踪设备的位置有较大自由度，只要其能拍摄到脸部图像即可。

A Method of Screen Attitude Estimation Based on Eye Movement Interaction Technology

The invention provides an improved method of screen posture in eye movement interaction operation, which includes the following steps: A, initialization of screen posture; B, measurement of screen posture error; C, definition of screen posture feedback mechanism; D, improvement of screen posture accuracy through eye movement interaction operation. The invention provides a simple and feasible method, which enables users to estimate the position and posture of the screen through simple eye movement interaction operation, and increases the actual use experience of the eye movement tracking device. User-friendly, simple and feasible, with high accuracy, the position of eye tracking equipment is allowed to have a greater degree of freedom, as long as it can take face images.

【技术实现步骤摘要】
一种基于眼动交互技术实现屏幕姿态估计的方法
本专利技术涉及计算机视觉和计算机图形学领域，具体地说是一种基于眼动追踪交互技术来改进屏幕姿态估计的方法。
技术介绍
眼动追踪技术是计算机视觉领域的热点问题之一，在虚拟现实，人工智能和人机交互领域有相当光明的研究前景和商业应用背景。眼动追踪是指通过测量眼睛的注视点位置或者眼球相对头部的运动而实现对眼球的追踪。屏幕姿态估计在眼动追踪技术的应用上有重要的作用。眼动追踪技术的直观结果之一便是在屏幕上显示用户的注视点位置，此过程需要将注视向量沿其方向延长并与屏幕相交来获取屏幕上注视点的位置，为此，提前预知屏幕在相机坐标系下的位置和姿态是必要且必需的。在实验室环境下，研究员可以通过复杂的算法来提前估计相机和屏幕的相对位置关系，或者提前精确设计好相机和屏幕的摆放位置。然而在实际的用户体验中，这些方法是复杂且不容易实现的，同时对用户是不太友好的。为此，设计一个用户友好的，简单的屏幕姿态估计的算法，对于提升眼动追踪设备的实际用户体验具有重大意义。传统屏幕姿态估计方法复杂且需要使用者有相当的技术背景。比如基于平面镜反射的屏幕姿态估计方法，该方法在屏幕上显示标定板图片(象棋棋盘)，然后在屏幕前方放置一块平面镜，放置在屏幕后方的相机捕捉到平面镜所成的虚相，让后通过构建线性方程组来求解屏幕在相机坐标系下的位置和姿态。此类方法在理论上能精确求解屏幕位姿，但在面向广大消费这却显得繁琐。
技术实现思路
针对现有的屏幕姿态估计方法复杂且需要使用者有相当的技术背景，本专利技术的目的在于：提出一种基于眼动追踪技术的屏幕位姿衡量方法和屏幕位姿改进方法，用户通过简单的交互操作，能够改进屏幕在相机坐标系下的位置和姿态。本专利技术是采用以下的技术方案实现的：一种眼动交互操作中屏幕位姿的改进方法，包含以下步骤：A、屏幕位姿初始化；B、屏幕位姿误差衡量；C、定义屏幕位姿反馈机制；C1、根据误差现象判断位姿误差类型，根据眼动追踪设备估计的屏幕注视点位置与真实注视点位置的相对关系，判断当前屏幕位姿存在哪些类型的误差；C2、定义误差类型对应的反馈方法；D、通过眼动交互操作提高屏幕位姿精度。进一步地，所述步骤B屏幕位姿误差衡量，包括以下步骤：B1、定义屏幕位姿误差类型。B2、定义屏幕位姿误差衡量方法。进一步地，所述步骤D包括：D1、眼动交互操作中主要屏幕区域定义为屏幕中心、屏幕各边缘中心。D2、定义屏幕位姿改进的顺序。进一步地，：所述步骤C1位姿误差类型包括：横向位移误差，纵向位移误差，深度误差，横向旋转误差，纵向旋转误差，正向旋转误差，对应着屏幕坐标系下沿着x、y、z轴的位移和旋转。进一步地，所述步骤C2中反馈方法为：根据当前屏幕位姿误差的类型，通过设计键盘的按键操作，将误差类型反馈给系统。进一步地，所述步骤D2中屏幕位姿改进的顺序为：定义整个改进过程为一个循环过程，当精度达到要求后退出；定义循环内部的改进顺序为：先改进屏幕的位置参数，再改进屏幕的姿态参数；位置参数中，深度优先改进，而在姿态参数中，沿坐标轴z轴的旋转参数优先改进。与现有技术相比，本专利技术的优点和积极效果在于：本专利技术提供了一种简单易行的方法，使得用户可以通过简单的眼动交互操作来估计屏幕的位置和姿态，增加眼动追踪设备的实际使用体验。用户友好，简单易行，精度较高，允许眼动追踪设备的位置有较大自由度，只要其能拍摄到脸部图像即可。附图说明图1为本专利技术实际使用场景示意图；图中，q:预测出的注视点；p:真实的注视；e:眼球；gaze:注视向量；S：屏幕(显示器)；C：相机；O：屏幕中心；O-XYZ:屏幕坐标系；图2为屏幕位置误差现象示意图；图中，p:真实的注视点；q:预测出的注视点；m:双眼视线相交的点；图(5)、(6)，预测出来的左右眼的注视方向不相交于一点，导致屏幕上出现了两个预测的注视点；q2:预测出的左眼对应的注视点；q1:预测出的右眼对应的注视点；图3为屏幕姿态横向旋转误差现象示意图；图中，p:真实的注视点；q1，q2:预测出的注视点；S:真实屏幕位置；T：估计屏幕位置；C：屏幕S的上侧边缘中央；D：估计屏幕T的上侧边缘中央；θx：估计的屏幕位置与真实的屏幕位置在X轴方向的角度偏差；图4为屏幕姿态纵向旋转误差现象示意图；图中，p:真实的注视点；q:预测出的注视点；S:真实屏幕位置；T：估计屏幕位置；C：屏幕S的右侧边缘中央；D：估计屏幕T的右侧边缘中央；θy：估计的屏幕位置与真实的屏幕位置在y轴方向的角度偏差；图5为屏幕姿态正向旋转误差现象示意图；图中，p:真实的注视点；q:预测出的注视点；S:真实屏幕位置；T：估计屏幕位置；C：屏幕S的右上角；D：估计屏幕T的右上角；θz：估计的屏幕位置与真实的屏幕位置在z轴方向的角度偏差；图6为屏幕姿态估计算法流程图。具体实施方式本专利技术的提出过程：现在眼动追踪的方法主要有基于模型的眼动追踪和基于外观的眼动追踪技术。基于模型的眼动追踪技术,是目前精度最好(商业设备最好能有一度以内的误差)，但也是最为昂贵的。此类设备一般通过建立眼球模型，通过额外的红外光源和相机作为辅助设备来估计注视向量。最后再将其投影到屏幕上并显示用户注视点的位置。基于外观的眼动追踪技术其优点在于不需要额外的红外光源，设备简单，一般只需要一个相机即可，同时价格合适。基于外观的眼动追踪技术只需要眼部图像作为输入，便能预测注视向量，对光照，肤色，头部位置等因素有很好的鲁棒性。基于人工智能，深度学习等领域快速的发展，基于外观的眼动追踪方法得到的很大的发展。目前在实验室环境下，桌面式眼动仪设备已经可以达到1度左右的高精度的眼动追踪。基于深度学习的方法，其硬件要求一般只需要一个摄像头作为数据的采集，可以预见，基于深度学习的眼动追踪技术的发展，将会使得更为廉价、简单的灵活的眼动追踪设备得到较为广泛的应用。为此，鉴于基于外观的方法的进一步发展和现有屏幕位姿估计方法的缺陷，提出了本专利技术。下面结合附图和具体实施方式对本专利技术做进一步详细的说明。本专利技术基于眼动交互技术实现屏幕姿态估计方法流程参考图6，主要步骤包括：第一步，屏幕位姿初始化初始化屏幕位姿可以使用传统的方法，比如校准方法，或是使用平面镜反射的方法，或是手动指定一个大致正确的位姿即可。参见附图1，相机C和屏幕S置于同一侧，用户在屏幕前方，分别对应坐标系为相机坐标系，屏幕坐标系，人脸坐标系。用户注视这屏幕上的相关内容，其注视向量(相机坐标系下)可以根据眼动追踪设备计算出来。注视向量与屏幕相交的点即为预测的注视点。为了计算精确的注视点位置，需要知道精确的屏幕的位姿。在相机坐标系下，相机通过采集人脸图像，根据眼动追踪相应算法计算出注视向量g，记人眼e,同时注视向量g与屏幕S交于注视点q，真实的注视点位置记为p。定义屏幕位姿的6个自由度为：朝向x、y、z轴的偏移tx,ty,tz和围绕x、y、z轴的旋转θx,θy,θz。屏幕位姿表示了屏幕在相机坐标系下的位置和姿态，最后根据相机坐标系，屏幕坐标系和注视向量之间的几何关系，计算出屏幕上的注视点位置。第二步，定义屏幕位姿衡量方法：当传统方法估计的屏幕位姿不够精确时，眼动追踪设备在屏幕上的注视点有不同的误差现象，详见表一。表一误差类型根据以上6种屏幕位姿估计的误差，定义衡量屏幕位姿本文档来自技高网...

【技术保护点】
1.一种眼动交互操作中屏幕位姿的改进方法，其特征在于包含以下步骤：A、屏幕位姿初始化；B、屏幕位姿误差衡量；C、定义屏幕位姿反馈机制；C1、根据误差现象判断位姿误差类型，根据眼动追踪设备估计的屏幕注视点位置与真实注视点位置的相对关系，判断当前屏幕位姿存在哪些类型的误差；C2、定义误差类型对应的反馈方法；D、通过眼动交互操作提高屏幕位姿精度。

【技术特征摘要】
1.一种眼动交互操作中屏幕位姿的改进方法，其特征在于包含以下步骤：A、屏幕位姿初始化；B、屏幕位姿误差衡量；C、定义屏幕位姿反馈机制；C1、根据误差现象判断位姿误差类型，根据眼动追踪设备估计的屏幕注视点位置与真实注视点位置的相对关系，判断当前屏幕位姿存在哪些类型的误差；C2、定义误差类型对应的反馈方法；D、通过眼动交互操作提高屏幕位姿精度。2.根据权利要求1中一种眼动交互操作中屏幕位姿的改进方法，其特征在于：所述步骤B屏幕位姿误差衡量，包括以下步骤：B1、定义屏幕位姿误差类型。B2、定义屏幕位姿误差衡量方法。3.根据权利要求1中一种眼动交互操作中屏幕位姿的改进方法，其特征在于：所述步骤D包括：D1、眼动交互操作中主要屏幕区域定义为屏幕中心、屏幕各边缘中心。D2、定义屏幕位姿改进的顺序。4.根据...

【专利技术属性】
技术研发人员：陆峰，李凯，于洋，
申请(专利权)人：北京航空航天大学青岛研究院，
类型：发明
国别省市：山东,37