３Ｄ自由头动式视线跟踪系统技术方案

本发明专利技术公开了一种３Ｄ自由头动式视线跟踪系统，属于图像处理和模式识别技术领域。该方法包括步骤：相机内参数标定、硬件系统搭建、图像中瞳孔中心、耀点中心坐标提取、角膜中心三维坐标的确定、瞳孔中心三维坐标的确定、视轴的重构和最后的误差修正处理。本发明专利技术采用了一个相机和两个ＬＥＤ光源，克服了传统２Ｄ视线跟踪系统头部必须严格固定的限制以及３Ｄ视线跟踪需要多个相机或辅助装置来定位人眼三维坐标信息的不足，提供了一种使用方便、成本低、准确度高的视线跟踪方法。

【技术实现步骤摘要】

本专利技术中的视线跟踪算法属于图像处理和模式识别
，涉及一种基于单相 机的3D自由头动式视线跟踪系统，可应用于视觉注意机制的研究、广告分析、网页设计、残 疾病人的辅助设备和心理分析，同时还可以作为一种新的计算机交互设备。
技术介绍
人眼视线的实时跟踪在很多领域都有非常重要的应用。视线跟踪系统按照硬件构 成可以分为头戴式和非接触式两种式。头戴式视线跟踪技术需要用户穿戴一些特殊器具， 使用不方便；非接触式一般采用基于视频图像处理的方法，通过分析相机采集到的人眼图 像判断出视线方向，这类系统不对用户产生干扰，使用方便。经对现有技术文献检索发现，国内的非接触式视线跟踪系统主要采用如下两类技 术一类是基于瞳孔角膜反射(PupiI-Corneal Reflection, P_CR)的2D视线跟踪技术；另 一类是基于眼球模型的3D视线跟踪技术。第一类视线跟踪系统从相机采集得到的图像中 提取出瞳孔中心和耀点中心，构成一个瞳孔耀点向量，通过预处理得到瞳孔耀点向量与屏 幕间的对应映射关系，利用函数映射关系实时地求取人眼关注的区域。这类系统优点是成 本比较低，只需一个相机和一个LED光源；缺点是使用阶段如果观测者头部位置发生了变 化，原始位置预处理得到的映射函数将不再适用，跟踪精度就会急剧下降，因此必须要求观 测者头部位置保持严格固定，这样就给观测者带来了极大的不便。第二类基于3D眼球模型 的视线跟踪系统根据采用的相机和光源数量的不同，具体实现细节也大不相同。有的视线 跟踪系统采用两个摄像机和两个光源，得到同一眼睛的两幅不同图像，采用重构算法求出 耀点及瞳孔中心的三维信息，重构出光轴。还有些3D视线跟踪系统通过一些其他辅助设备 (如超声技术、激光测距仪等)来定位头部位置。这类系统虽然允许头部自由移动，但是由 于使用了多个相机或者一些其他辅助设备，增加了成本，使用起来也很不方便。
技术实现思路
本专利技术的目的是，针对现有技术的上述不足，提供一种基于单相机的3D自由头动 式视线跟踪系统，它属于3D视线跟踪系统，即克服了传统2D视线跟踪系统头部不能自由移 动的限制，与其他3D视线跟踪系统相比，它仅采用一个相机两个LED光源就能确定角膜中 心和瞳孔中心的精确三维坐标，大大降低了实现成本。为了达到上述设计目的，本专利技术采用的技术方案如下一种基于单相机的3D自由头动式视线跟踪系统，具体是通过一个相机和两个近 红外光源，以相机为原点，两个近红外光源分别为X轴、Y轴建立坐标系，通过相机获得眼睛 图像，眼睛图像经处理后，确定瞳孔和耀点中心，然后在实际测量参数的辅助下进行3D模 型处理，建立角膜3D中心坐标和瞳孔3D中心坐标，根据光学、几何函数关系计算出眼睛关 注区域，其具体操作包括以下步骤步骤一相机内参数的求取通过摄像机定标方法获得相机的内参数；步骤二 近红外光源位置微调相机内参数确定后，调整近红外光源到特定位置；步骤三检测图像瞳孔中心采集得到人眼图像后，利用瞳孔的图像特征求取瞳 孔精确中心坐标；步骤四检测图像耀点中心耀点是近红外光源经人眼角膜反射后在其表面上形 成的亮斑，利用耀点的图像特征，计算图像中耀点精确中心坐标；步骤五确定光轴光轴是由三维角膜中心和瞳孔中心两点确定的，具体操作为a、求取角膜曲率中心三维坐标利用两个近红外光源的摆设位置，得到相应函数 关系方程，联立步骤一、二、三中求取的已知信息，解出角膜中心三维坐标；b、求取瞳孔中心三维坐标在已知角膜中心坐标的前提下，利用光学和几何关系 求得瞳孔中心三维坐标；步骤六确定视轴，得到凝视点坐标视轴是视网膜中心区域凹点和瞳孔中心所 确定的，或者由瞳孔中心和凝视目标点确定，是人真正的视线方向，利用最小二乘法找出光 轴和视轴的转换关系，重构出视轴；步骤七跟踪凝视点的校正利用上面五个步骤计算得到的视轴与屏幕相交得到 观测者的凝视点坐标，利用误差向量加权的方法对凝视点坐标进行校正。步骤一采用张征友平面模板法实现摄像机内参数标定，通过至少3个不同的位置 获取标定物的图像，计算出摄像机的内参数。步骤二近红外光源摆设的位置为两个光源分别位于以镜头中心为原点的世界坐 标系的X轴和Y轴上。上述方法步骤二中近红外光源的调整过程为a、固定摆放摄像机和标定模板的位置，建立世界坐标系，具体为镜头中心为坐标 系原点0，光轴指向模板方向为Z轴，过坐标系原点的水平向右方向为X轴，垂直向上方向为 Y轴；b、以模板棋盘格的物理尺寸和步骤一中标定的摄像机内参数为已知参数，确定模 板在世界坐标系中的位置；C、以模板位置为参考调整近红外光源，把两个近红外光源分别调整到X轴和Y轴 上的指定位置。步骤三中图像瞳孔中心可以通过如下步骤确定首先利用耀点在图像中灰度值变 化最大的特点，确定人眼在图像中的大致窗口 ；然后采用OTSU分割方法确定瞳孔的粗略位 置，最后在相对应的灰度图像中找到精确地瞳孔边缘点，椭圆拟合这些边缘点，得到精确的 瞳孔中心坐标。步骤四中图像耀点中心可以通过如下方法确定对包含眼睛窗口的图像进行二 值化分割，由于耀点的灰度值非常高，因而能分割出比较精确的耀点区域，提取耀点的边缘 点，对这些边缘点进行椭圆拟合得到精确的耀点中心坐标。步骤五中角膜中心的三维坐标确定方法为以镜头中心为坐标系原点0，两个光 源与原点的连线分别为X轴和Y轴，过原点0的XOY平面的垂线为Z轴，定义世界坐标系， 确定角膜中心在此世界坐标系下的三维坐标，利用光线几何关系得到方程，求解方程算出 角膜中心的三维坐标和瞳孔中心的三维坐标，计算得到光轴方程。以X轴上的光源为例，定义一个二维辅助坐标系Iof，辅助坐标系的原点与世界坐标系的原点重合，都为相机镜头中心。么为光源，^为角膜中心，运丨为光源照射到角膜上的耀点，为耀点在相机C⑶上所成的像。其中原点0与光源^连线为X轴，毛 ，向量在辅助坐标系r轴和z~轴所确定的平面上，oz为世界坐标系的z轴，与辅助坐 标系oz~轴夹角为e ” 一条光线的轨迹光源&开始，在角膜表面^处反射，再经过o到达& ，且这几点是共面的。 在辅助坐标系下得到方程式一 其中， 耀点像点fi所构成的向量，可通过方法中步骤一、步骤四所求得的相机内参数信息和耀点 中心坐标确定，为镜头中心0和光源么所组成的向量，h为光源么的位置可以直接测得，r 为角膜曲面半径，可取经验值。 系统中包含两个光源，两光源分别在世界坐标系的X轴和Y轴上。同X轴上的光 源么一样，可以得到通过Y轴上光源么获得的角膜中心在辅助坐标系}下的表达式为方程 式二 世界坐标系下，假设通过X轴上的光源么得到的角膜中心为Q，通过Y轴上的光源 毛得到的角膜中心为c2。对于光源么相当于将世界坐标系绕x轴顺时针或逆时针旋转e i角， 得到辅助坐标系ioi (逆时针旋转时角度为正)。所以0工角即为辅助坐标系中平面ioi 平面与世界坐标系中平面X0Z的夹角。同理对于光源么相当于将世界坐标系绕Y轴顺时针 或逆时针旋转02角，得到辅助坐标系i>oi。所以9 2角即为辅助坐标系中平面ibf平面与 世界坐标系中平面yoz的夹角。这两个夹角可以根据方法步骤一中获得的相机参数以及步 骤四耀点的图像坐标求得。辅助坐标系中的角膜中心6，4可以通过下面的关系转换为世界 坐标系下的Q本文档来自技高网...

【技术保护点】
一种３Ｄ自由头动式视线跟踪系统，其特征在于：具体是通过一个相机和两个近红外光源，以相机为原点，两个近红外光源分别为Ｘ轴、Ｙ轴建立坐标系，通过相机获得眼睛图像，眼睛图像经处理后，确定瞳孔和耀点中心，然后在实际测量参数的辅助下进行３Ｄ模型处理，建立角膜３Ｄ中心坐标和瞳孔３Ｄ中心坐标，根据光学、几何函数关系计算出眼睛关注区域，其具体操作包括以下步骤：步骤一：相机内参数的求取：通过摄像机定标方法获得相机的内参数；步骤二：近红外光源位置微调：相机内参数确定后，调整近红外光源到特定位置；步骤三：检测图像瞳孔中心：采集得到人眼图像后，利用瞳孔的图像特征求取瞳孔精确中心坐标；步骤四：检测图像耀点中心：耀点是近红外光源经人眼角膜反射后在其表面上形成的亮斑，利用耀点的图像特征，计算图像中耀点精确中心坐标；步骤五：确定光轴：光轴是由三维角膜中心和瞳孔中心两点确定的，具体操作为：ａ、求取角膜曲率中心三维坐标：利用两个近红外光源的摆设位置，得到相应函数关系方程，联立步骤一、二、三中求取的已知信息，解出角膜中心三维坐标；ｂ、求取瞳孔中心三维坐标：在已知角膜中心坐标的前提下，利用光学和几何关系求得瞳孔中心三维坐标；步骤六：确定视轴，得到凝视点坐标：视轴是视网膜中心区域凹点和瞳孔中心所确定的，或者由瞳孔中心和凝视目标点确定，是人真正的视线方向，利用最小二乘法找出光轴和视轴的转换关系，重构出视轴；步骤七：跟踪凝视点的校正：利用上面五个步骤计算得到的视轴与屏幕相交得到观测者的凝视点坐标，利用误差向量加权的方法对凝视点坐标进行校正。...

【技术特征摘要】

【专利技术属性】
技术研发人员：蔡超，周成平，王海亮，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：83