一种基于瞳孔特征实现视线追踪的方法技术

本发明专利技术提供一种基于瞳孔特征实现视线追踪的方法，该方法包括：提取用户的瞳孔边缘信息；根据所述瞳孔边缘信息，确定所述用户的瞳孔中心点；根据所述瞳孔中心点确定所述用户观察的目标点，以得到所述用户的视线方向。本发明专利技术提供的基于瞳孔特征实现视线追踪的方法的优点有：不受环境干扰因素的影响和头部运动的影响，准确度和可靠性高，且无需昂贵复杂的设备，成本低廉。

Method for realizing eye gaze tracking based on pupil characteristics

The present invention provides a method based on the characteristics of the pupil to achieve eye tracking, the method includes: the pupil edge information extraction of the user; according to the pupil edge information, determine the pupil center of the user; according to the observation of the user goal point determines that the pupil center, to get the user's gaze direction. The invention provides the advantages of pupil method based on gaze tracking feature: not affected by the interference of environment factors and head movement, high accuracy and reliability, and does not need expensive and complicated equipment, low cost.

【技术实现步骤摘要】
一种基于瞳孔特征实现视线追踪的方法
本专利技术涉及眼球追踪技术，尤其涉及一种基于瞳孔特征实现视线追踪的方法。
技术介绍
视线追踪也称眼动追踪，是利用摄像设备实时观测人眼的运动情况，通过一定的方法估算出视线的方向和视线落点坐标的一种技术，近年来该技术被引入到信息领域，并结合计算机视觉和图像处理技术可以广泛使用在心理分析、患者眼动交流、兴趣数据分析、安全驾驶、人机交互和军事模拟等众多领域。视线追踪技术实现的方法经历了近百年的发展，先后采用了机械记录法、电流记录法、电磁记录法和当代的光学记录法，对实验人员的人眼侵入程度越来越小，精度也越来越高。视线追踪目前以光学记录法为主，依赖于光学器件——CCD或CMOS图像传感器拍摄人眼图像，而后通过人眼模型将人眼的特征点数据映射到视线的三维数据，从而估算出视线方向，这是光学记录法的两大步骤：特征提取和实现估计。可以提取的人眼特征主要是：虹膜中心、虹膜边缘、瞳孔边缘、瞳孔中心、巩膜边缘、外界光源在眼睛肿的反射点(普尔钦斑)。在这些人眼特征的基础上衍生出的的估算方法有：1.角膜反射法：外部光源照射到人眼，当眼睛运动的时候，反射点也会随之运动，摄像机通过记录反射点的变化来分析视线的方向。2.瞳孔角膜反射法：它是角膜反射法的改进，它不仅需要检测反射点的位置，而且还要检测瞳孔中心的位置信息。瞳孔角膜反射法进一步细分为：瞳孔中心与角膜反射向量法、给予眼球三维模型的视线估计方法，这类方法会因为头部运动造成准确性降低，因此常适用于穿戴式眼动跟踪系统，利用眼球转动时相对位置不变的眼部特征做参考，提取视线变化参数，通过几何模型或映射模型获取视线方向。3.双铺金野法，利用光线经过眼球时各个组织部分对光线的折射率不同的原理，分析光源反射产生的图像，角膜反射回来的光线较强，成为第一普金野图像，角膜后表面反射光线较弱为第二普金野图像，从晶状体前表面反射出来的图像为第三普金野图像，从晶状体后表面反射回来的图像位第四普金野图像，从而估算眼球的视线方向，但是该系统的设备昂贵、设置复杂。4.虹膜-巩膜边缘法，该法使用红外光远照射眼睛，反射的红外光线被两只光敏晶体管接受，当眼睛转动的时候，两只晶体管接受的反射量此增彼减，可以估算出视线的大致方向，但精度略低。综上所述，目前的眼动追踪方法面临的主要问题有：(1)眼睛的光照环境、特征选取、外部其他干扰因素等原因导致眼睛特征提取准确度和可靠性不足；(2)方法需要昂贵的设备作支撑；(3)需要较为复杂的光源设置，比如瞳孔角膜反射法，需要明暗交替的断续光源照射眼睛以获取明瞳和暗瞳；(4)受限于头部运动，测量精度不高。
技术实现思路
因此，为解决上述现有技术存在的技术缺陷和不足，本专利技术提供一种基于瞳孔特征实现视线追踪的方法。具体的，本专利技术实施例提供一种基于瞳孔特征实现视线追踪的方法，其特征在于，包括：提取用户的瞳孔边缘信息；根据所述瞳孔边缘信息，确定用户的瞳孔中心点；根据所述瞳孔中心点确定所述用户观察的目标点，以得到所述用户的视线方向。在上述实施例的基础上，提取用户的瞳孔边缘信息，包括：采用红外采集设备获取所述眼部图像信息，所述红外采集设备包括至少一个红外灯源；对所述眼部图像信息进行处理，得到所述眼部图像信息在指定方向上灰度的梯度值，并将所述灰度的梯度值达到最大值时所在的位置确定为瞳孔边缘点的位置。在上述实施例的基础上，根据所述瞳孔边缘信息，确定用户的瞳孔中心点，包括：提取所述瞳孔边缘信息中的散点信息并将所述散点信息拟合，形成类椭圆曲线；计算出所述类椭圆曲线长轴和短轴的交点，将所述交点确定为所述瞳孔中心点。在上述实施例的基础上，在提取用户的瞳孔边缘信息之前，还包括：将屏幕和配备至少一个红外光源的红外采集设备放置于所述用户眼睛前方的特定位置；控制所述屏幕的不同位置依次出现K个点以引导所述用户对所述K个点进行依次观察，其中，K为大于等于2的整数；控制所述红外光源照射所述用户的眼部区域并控制所述红外采集设备对所述用户的眼睛进行拍摄；记录并处理所述用户对所述K个点进行依次观察时的瞳孔边缘信息，得到所述用户的瞳孔中心点；根据所述K个点的坐标(X,Y)和所述瞳孔中心点坐标(x，y)得到映射模型(X,Y)＝F(x,y)。在上述实施例的基础上，将屏幕和配备至少一个红外光源的红外采集设备放置于所述用户眼睛前方的特定位置，包括：将所述红外采集设备放置于所述用户眼睛的正前下方位置处并将所述屏幕放置于所述用户眼睛的正前方，且所述红外采集设备和所述用户眼睛之间的距离满足关系为：1/d+1/v＝1/f；其中，d为所述红外采集设备和所述用户眼睛之间的距离，f为所述红外采集设备的焦距，v为所述红外采集设备的像距。在上述实施例的基础上，记录并处理所述用户对所述K个点进行依次观察时的瞳孔边缘信息，得到所述用户的瞳孔中心点，包括：获取经过用户眼睛反射后的红外图像并对所述红外图像进行预处理形成修正红外图像，以增加用户的瞳孔区域图像和非瞳孔区域图像的对比度；在所述修正红外图像上估算瞳孔中心点坐标(xmin，ymin)；以坐标(xmin，ymin)为起点沿指定射线方向在所述修正红外图像上计算灰度的梯度值，并将梯度值达到最大值时所在的位置确定为瞳孔边缘点的位置；对多个所述瞳孔边缘点进行拟合处理形成类椭圆曲线，以所述类椭圆曲线的中心作为所述瞳孔中心点。在上述实施例的基础上，获取经过用户眼睛反射后的红外图像并对所述红外图像进行预处理形成修正红外图像，包括：采用增强算子作用在所述红外图像的每个像素以使图像亮度增强进而实现灰度对比度的增大，之后对所述红外图像采用拉普拉斯法进行图像滤波处理；其中，所述增强算子的公式为：En＝c*lg(1+double(f0))；其中，En为增强算子，f0为原函数灰度值，c是常系数。在上述实施例的基础上，在所述修正红外图像上估算瞳孔中心点位置的坐标(xmin，ymin)，包括：采用灰度积分法在所述修正红外图像上估算瞳孔中心位置的坐标(xmin，ymin)；其中，xmin和ymin的公式为：其中，min表示取最小值运算，sum表示求和运算，f(i,j)表示在坐标(i，j)处图像的灰度值。在上述实施例的基础上，对多个所述瞳孔边缘点进行拟合处理形成类椭圆曲线，包括：步骤a、从N个所述特征点中选取任意5个点，使用最小二乘法进行椭圆拟合形成第一类椭圆方程；步骤b、对N个所述特征点利用随机采样一致性算法通过所述第一类椭圆方程进行局内点和局外点甄别，统计得到M个局内点和N-M个局外点；步骤c、判断局内点占有率是否小于第一阈值t1；若是，则确定所述5个点为非典型特征点，拟合椭圆为非典型特征椭圆，则重新执行步骤a；若否，则确定所述5个点为典型特征点，则执行步骤d；步骤d、根据所述M个局内点任意选取5个点，利用最小二乘法对所述第一类椭圆方程进行优化形成第二类椭圆方程，并对所述N个特征点利用随机采样一致性算法通过所述第二类椭圆方程进行局内点和局外点甄别，最终统计得到M1个局内点和N-M1局外点；步骤e、判断局内点占有率是否大于第二阈值t2；如是，则终止迭代，认为所述第二类椭圆方程为最优方程；若否，则执行步骤d。在上述实施例的基础上，根据所述K个点的坐标(X,Y)和所述瞳孔中心点坐标(x,y)得到映射模型(X,本文档来自技高网...

【技术保护点】
一种基于瞳孔特征实现视线追踪的方法，其特征在于，包括：提取用户的瞳孔边缘信息；根据所述瞳孔边缘信息，确定所述用户的瞳孔中心点；根据所述瞳孔中心点确定所述用户观察的目标点，以得到所述用户的视线方向。

【技术特征摘要】
1.一种基于瞳孔特征实现视线追踪的方法，其特征在于，包括：提取用户的瞳孔边缘信息；根据所述瞳孔边缘信息，确定所述用户的瞳孔中心点；根据所述瞳孔中心点确定所述用户观察的目标点，以得到所述用户的视线方向。2.如权利要求1所述的方法，其特征在于，提取用户的瞳孔边缘信息，包括：采用红外采集设备获取所述眼部图像信息，所述红外采集设备包括至少一个红外灯源；对所述眼部图像信息进行处理，得到所述眼部图像信息在指定方向上灰度的梯度值，并将所述灰度的梯度值达到最大值时所在的位置确定为瞳孔边缘点的位置。3.如权利要求1所述的方法，其特征在于，根据所述瞳孔边缘信息，确定用户的瞳孔中心点，包括：提取所述瞳孔边缘信息中的散点信息并将所述散点信息拟合，形成类椭圆曲线；计算出所述类椭圆曲线长轴和短轴的交点，将所述交点确定为所述瞳孔中心点。4.如权利要求1所述的方法，其特征在于，在提取用户的瞳孔边缘信息之前，还包括：将屏幕和配备至少一个红外光源的红外采集设备放置于所述用户眼睛前方的特定位置；控制所述屏幕的不同位置依次出现K个点以引导所述用户对所述K个点进行依次观察，其中，K为大于等于2的整数；控制所述红外光源照射所述用户的眼部区域并控制所述红外采集设备对所述用户的眼睛进行拍摄；记录并处理所述用户对所述K个点进行依次观察时的瞳孔边缘信息，得到所述用户的瞳孔中心点；根据所述K个点的坐标(X,Y)和所述瞳孔中心点坐标(x，y)得到映射模型(X,Y)＝F(x,y)。5.如权利要求4所述的方法，其特征在于，将屏幕和配备至少一个红外光源的红外采集设备放置于所述用户眼睛前方的特定位置，包括：将所述红外采集设备放置于所述用户眼睛的正前下方位置处并将所述屏幕放置于所述用户眼睛的正前方，且所述红外采集设备和所述用户眼睛之间的距离满足关系为：1/d+1/v＝1/f；其中，d为所述红外采集设备和所述用户眼睛之间的距离，f为所述红外采集设备的焦距，v为所述红外采集设备的像距。6.如权利要求4所述的方法，其特征在于，记录并处理所述用户对所述K个点进行依次观察时的瞳孔边缘信息，得到所述用户的瞳孔中心点，包括：获取经过用户眼睛反射后的红外图像并对所述红外图像进行预处理形成修正红外图像，以增加用户的瞳孔区域图像和非瞳孔区域图像的对比度；在所述修正红外图像上估算瞳孔中心点坐标(xmin，ymin)；以坐标(xmin，ymin)为起点沿指定射线方向在所述修正红外图像上计算灰度的梯度值，并将梯度值达到最大值时所在的位置确定为瞳孔边缘点的位置；对多个所述瞳孔边缘点进行拟合处理...

【专利技术属性】
技术研发人员：吴孟杰，李斌，米磊，
申请(专利权)人：西安中科创星科技孵化器有限公司，
类型：发明
国别省市：陕西,61