一种基于双光源的视线跟踪方法技术

本发明专利技术公开了一种基于双光源的视线跟踪方法，具体步骤如下：（１）图像预处理：利用瞳孔和反射点灰度差的原理，对采集到的人脸图像进行预处理，提取出人眼图像中两个反射点和瞳孔区域，并计算出两个反射点及瞳孔中心在图像坐标系中的坐标；（２）注视点估计：根据图像中瞳孔中心与两反射点构成的三角形和屏幕上注视点及两个红外光源构成的三角形近似为一对相似三角形来确定屏幕上注视点的近似位置；（３）注视点校正，得到最终的注视点位置。本发明专利技术无需测量人距屏幕间的距离，计算复杂度低，对头部运动鲁棒性强，实验过程自然舒适，易于实现，估计误差在视线跟踪系统应用的误差容许范围之内。

【技术实现步骤摘要】

本专利技术涉及，属于视频、多媒体信号处理技术领 域。
技术介绍
随着计算机科学技术与产业的飞速发展，计算机的普通用户急剧增长，智能化的 人机交互也日益受到关注。作为人类获取外界信息的重要途径，视线也可以在智能化人机 交互中发挥它的巨大潜力，成为智能交互的有效工具。例如，我们可以通过视线来表达我们 主观思想进而实现对外界事物地直接操控T. Hutchinson等在1989年率先提出了用视线与计算机进行交互的思想。其诱人 的应用前景吸引了无数国内外的研究者们从图像预处理、映射算法、校正等各方面对视线 跟踪进行研究。如今，视线跟踪技术已日益成熟，其应用也不断得到人们的认可，从残疾人 辅助、游戏开发、外观设计测评到3D盛行时代的自由视点视频，无一不给我们的生活带来 方便，更是有力地推动了智能化科学技术的发展。视线跟踪的方法有眼电图(EOG)、虹膜-巩膜边缘、角膜反射、瞳孔-角膜反射向量 等多种，其中，基于瞳孔-角膜反射向量的方法由于其精度较高，用户使用舒适度高而备受 青睐。D. H. Yoo等运用四光源于2001年提出的基于交比不变算法的视线跟踪系统可以较为 精确地实现视线的估计。然而，由于受硬件集成、执行速度及应用前景的影响，人们更偏向 于采用更少的光源来实现视线的估计。目前，要想在头部运动自由的情况下实现较为精确 的视线估计至少需要两个红外光源。而现有的两光源视线跟踪方法计算比较复杂，即便允 许头动，对头动的范围也有很大的限制。因此找到一种简单实用的视线跟踪映射方法具有 重要的理论研究意义和重大的实际应用价值。
技术实现思路
针对现有双光源视线跟踪方法计算复杂、对头部运动范围限制性大的问题，本发 明提供一种计算复杂度低、对头部运动限制性小、实用性强的基于双光源的视线跟踪方法。根据人眼的注视特性以及相机的成像原理，如图4所示，屏幕上的两个光源L1, L2 与其对应的在人眼角膜上形成的反射点Vtll，V02的连线以及屏幕上的注视点Q与瞳孔中心 Ptl的连线交于人眼的角膜曲率中心C;并且，根据球面折射原理，两红外光源在角膜上的反 射点Vtll，V02以及瞳孔中心Ptl与它们经角膜球面折射后的像V1, V2以及P在同一径向上，因 此，用V1, V2以及P分别来代替Vtll，V02以及Ptl不会影响注视点估计的结果。在映射建立过程中，由于人眼球是一个球状体，所以两红外光源在人眼中形成的 反射点V1, V2以及瞳孔中心在角膜上的折射点在Z轴方向上的坐标值虽不相同，但相差甚 微。经分析计算得出这三点在Z轴上的坐标值可认为近似相同，对注视点结果估计所造成 的误差在X轴上最大为0. 9887cm,在Y轴上最大为0. 7852cm,并且误差的趋势呈现区域化 分布，因此可以结合二次定标来减小由于近似而产生的误差，使得最终估计出的注视点的误差在实际应用中处于可接受范围之内。本专利技术的基于双光源的视线跟踪方法，具体步骤如下(1)图像预处理利用瞳孔和反射点灰度差的原理，对采集到的人脸图像进行预 处理，提取出人眼图像中两个反射点和瞳孔区域，并计算出两个反射点及瞳孔中心在图像 坐标系中的坐标，其中图像坐标系以图像的左上角为坐标原点，水平方向为X轴，竖直方向 为Y轴；(2)注视点估计根据图像中瞳孔中心与两反射点构成的三角形和屏幕上注视点 及两个红外光源构成的三角形近似为一对相似三角形来确定屏幕上注视点的近似位置。(3)注视点校正运用二次定标的方法来校正人眼视轴与光轴固有的偏差以及因 近似而产生的估计误差，得到最终的注视点位置。所述步骤( 注视点估计的具体实现步骤为A.根据人眼的注视特性及相机的成像原理得出瞳孔中心与两反射点构成的三角 形和屏幕上注视点及两个红外光源构成的三角形的近似相似性关系；B.根据三角形相似性来估计屏幕上注视点的近似位置。所述步骤(3)注视点校正的具体实现步骤为A区域划分根据定标点的个数及分布将整个屏幕划分为五个区域；B 一点定标通过屏幕中间位置的定标点进行一点定标；C区域定位根据一点定标后注视点的位置与各个定标点之间的位置关系确定注 视点所在的区域；D 二次定标根据注视点所在的区域，用注视点所在区域内的定标点对一次定标 后的注视点进行二次定标，得到最终的注视点位置。本专利技术根据图像中的瞳孔中心与两反射点构成的三角形和屏幕上注视点及两个 红外光源构成的三角形近似为一对相似三角形来确定屏幕上注视点的近似位置，再通过二 次定标来校正人眼视轴与光轴之间固有偏差及算法近似所造成的估计误差，得到较为精确 的注视点估计值。该方法无需测量头部距离屏幕的距离，计算复杂度低，对头部运动鲁棒性 强，实验过程自然舒适，易于实现，便于集成实际产品。附图说明 图1是实现本专利技术方法的系统硬件图。 图2是本专利技术方法的流程图。 图3是本专利技术方法中图像预处理过程的示意图。 图4是摄像机成像以及人眼注视原理示意图。 图5是本专利技术方法中坐标位置的近似替代示意图。 图6是两近似相似三角形的示意图。 图7是定标点分布及屏幕区域划分示意图 图8是注视点估计结果示意图。 图9是注视点估计精度分析示意图。具体实施方式实现本专利技术基于双光源的视线跟踪方法的硬件系统如图1所示，包括一个灰度摄 像机、两个红外光源以及一台个人计算机。个人计算机采用2. 60GHZ奔腾双核，计算机屏幕 尺寸34 X 27cm (宽X高)，计算机下方装一个分辨率为694X1040的灰度摄像机，相机位 置在实验过程中保持不动，显示器的左下角以及右下角分别装有一个1瓦的红外光源L1和 L20测试者坐在距屏幕60—70cm的位置，头部可以在20 X 20 X IOcm (宽X长X深度)的 范围内移动。图2给出了本专利技术的基于双光源的视线跟踪方法的流程图，根据该流程，具体实 施步骤如下1.通过图像预处理确定图像中反射点中心及瞳孔中心在图像坐标系中的坐标，其 过程如图3所示。根据瞳孔与角膜反射点的灰度差，提取出瞳孔及角膜反射点区域，并分别 得到它们的中心在图像坐标系中的坐标位置Pi (Px，Py)、Vli (Vlix，Vliy)、v2i (v2ix, v2iy)。其中 图像坐标系以图像的左上角为坐标原点，水平方向为X轴，竖直方向为Y轴。2.注视点估计。根据图像中的瞳孔中心与两反射点构成的三角形和屏幕上注视点 及两个红外光源构成的三角形近似为一对相似三角形来确定屏幕上注视点近似位置。其具 体实现步骤为(1)根据图4所示的人眼的注视特性及相机的成像原理，得出瞳孔中心与两反射 点构成的三角形和屏幕上注视点及两个红外光源构成的三角形的近似相似性关系。其具体 步骤如下(a)根据相机的成像原理，将人脸图像中角膜反射点及瞳孔中心在相机坐标系中 的坐标转换到世界坐标系中，其转换关系如下式Pi (pix，piy) — ρ (px, py, ρζ) = ρ (pixelpitchc (pix-ccerter) +Ox, pixelpitchr (piy-rcentCT)+oy，-x+oz)Vli (vlix, vliy) — V1 (vlx, vly, vlz) = V1 (pixelpitchc (vlix-ccerter) +Ox, pixelpitchr (vliyTcenter) +Oy，_ 入 + )v2i (本文档来自技高网...

【技术保护点】
一种基于双光源的视线跟踪方法，其特征在于，包括以下步骤：（１）图像预处理：利用瞳孔和反射点灰度差的原理，对采集到的人脸图像进行预处理，提取出人眼图像中两个反射点和瞳孔区域，并计算出两个反射点及瞳孔中心在图像坐标系中的坐标，其中图像坐标系以图像的左上角为坐标原点，水平方向为Ｘ轴，竖直方向为Ｙ轴；（２）注视点估计：根据图像中瞳孔中心与两反射点构成的三角形和屏幕上注视点及两个红外光源构成的三角形近似为一对相似三角形来确定屏幕上注视点的近似位置；（３）注视点校正：运用二次定标的方法来校正人眼视轴与光轴固有的偏差以及因近似而产生的估计误差，得到最终的注视点位置。

【技术特征摘要】

【专利技术属性】
技术研发人员：孙建德，杨彩霞，刘琚，张杰，杨晓晖，
申请(专利权)人：山东大学，
类型：发明
国别省市：88[中国|济南]