本发明专利技术公开了自然光下基于投影映射校正和注视点补偿的视线跟踪方法，该方法首先提取双眼虹膜中心和眼睛内外角点、嘴角点特征，其次由眼睛内外角点与嘴角点构成的矩形计算与头部处于标定位置时的矩形信息之间的投影映射关系，进而对虹膜中心位置以及眼睛内外角点位置进行投影映射校正，消除头部运动带来的影响；接着，由经校正后的左右眼虹膜中心，分别与左右眼睛内外角点构成4个向量，结合多项式映射模型得到实时注视点，最后通过支持向量回归模型进行注视点补偿。本发明专利技术为自然光下的视线跟踪提供了一种能降低头部运动影响，精度高的解决方法。
【技术实现步骤摘要】
本专利技术涉及视线跟踪
，具体涉及自然光下基于投影映射校正和注视点补偿的视线跟踪方法。
技术介绍
视线跟踪改变了人类与机器设备互动的方式，成为新技术或系统创意的源头，拓展了多种信息系统的用途，是目前人机交互研究的重要领域。视线跟踪方法主要分为接触式方法和非接触式方法。基于摄像的非接触式方法对用户更为友好，具有自然和直接的优势，是目前视线跟踪作为人机交互方式研究的主流方向。基于摄像的非接触视线跟踪方法中，自然光下的视线跟踪算法无需其他辅助光源，能更好的进行推广应用。然而，该方法的主要难点在于：(1)在没有辅助红外光源下图像存在光照变化以及低对比度的情况下，如何精确的提取眼动特征信息；(2)在没有普尔钦斑点辅助下，寻找能代表眼睛运动且具有鲁棒性的眼动向量；(3)解决头部运动下眼动向量随之变化导致无法准确的进行注视点估计问题。
技术实现思路
本专利技术公开了一种自然光下基于投影映射校正和注视点补偿的视线跟踪方法，在自然光源下，通过提取虹膜中心、眼睛内外角点以及嘴角点，建立基于虹膜与眼角点信息到屏幕注视点的映射模型。该方法能有效消除头部自由运动对视线估计结果的影响，同时硬件需求上只需一个单目摄像头，提高了普通摄像头下的视线跟踪的精度和实时性。本专利技术通过以下技术方案来实现：一种自然光下基于投影映射校正的视线跟踪方法，该方法需要一个普通摄像头，无需额外光源辅助，包含步骤：(1)摄像机采集图像，进行人脸定位和眼动信息提取。(2)眼动信息校正：通过眼睛角点，嘴角点信息计算投影映射矩阵，对虹膜中心、眼睛内外角点位置进行校正。(3)初步注视点估计：利用经校正后的虹膜中心位置、眼睛内外角点位置构成二维眼动向量，并建立二维眼动向量到屏幕注视点的映射关系，根据实时的二维向量计算出实时屏幕注视点。(4)注视点补偿：采用支持向量回归模型进行注视点补偿，修正头部运动带来的注视点偏差，从而得到最终的注视点估计结果。上述方法中，所述步骤(1)中包括：a.采用基于Adaboost的人脸检测算法的对采集图像进行人脸定位，其次采用基于局部二进制特征回归方法(Face Alignment via Regressing Local Binary Features)确定眼睛内、外角点以及嘴角点的感兴趣区域；b.依据不同角点特征的具体生理形状分别进行精确定位，通过Fast角点检测和筛选方法得到眼睛内角点和嘴角点定位，并采用曲线拟合方法定位眼睛外角点；c.根据眼睛内外角点位置确定眼睛图像，接着提取眼睛图像的梯度特征，定位虹膜搜索起始点；其次，从搜索起始点出发，通过滑动窗口对虹膜边缘进行搜索，最后根据椭圆拟合方法定位虹膜中心。上述方法中，所述步骤(2)中包括：以距离屏幕中点设定距离处的位置点为头部标定位置，记头部处于头部标定位置且正面注视屏幕时获取的人脸图像为标定图像，计算根据所述步骤(1)定位到的眼睛外角点和嘴角点位置与标定图像中对应的特征点位置之间的投影映射矩阵，利用该投影映射矩阵对实时获取的眼睛内外角点位置、虹膜中心位置进行校正。上述方法中，所述步骤(3)中包括：a.根据所述步骤(2)校正后的左右虹膜中心位置，分别与校正后的左右眼睛内外角点位置构成4个眼动向量，叠加后得到校正后的二维眼动向量；b.头部在标定位置处静止不动时，眼睛注视屏幕上的标定点，计算校正后的二维眼动向量，根据该向量与标定点的对应关系计算多项式映射模型的参数；实时获取校正后的二维眼动向量，结合多项式映射模型，计算出初步注视点估计结果。上述方法中，所述步骤(4)中包括：训练支持向量回归模型，输入为眼睛内角点间线段中点在图像上的坐标与标定图像相同点的偏移，左右眼内外角点间在图像上的距离与标定图像对应的眼睛内外角点间距离的比值以及图像上内角点间的连线与标定图像内角点间连线之间的角度差；输出为对应的注视点估计结果与真实标定点间的位移偏差；利用支持向量回归模型进行注视点补偿，从而得到最终的注视点估计结果。本专利技术的优点与积极效果在于：1.自然光下缺乏有效的参考点，双眼数据代表了眼睛运动信息。本专利技术采用左右眼虹膜中心和眼睛内外角点构造眼动向量，能更有效的代表眼动信息。利用滑动窗口搜索方法定位虹膜边缘，提高了虹膜中心定位的精度。2.本专利技术通过投影映射校正方法对虹膜中心等特征点位置进行校正，同时采用支持向量回归模型进行注视点补偿，能有效降低头部运动对眼动特征的影响，视线跟踪方法具有更好的抗头部运动干扰能力。3.该方法计算量少，硬件只需要一个摄像头。附图说明图1是本专利技术实施方式中显示屏与摄像头的布置示意图。图2是本专利技术实施方式中视线跟踪方法的流程示意图。图3是本专利技术实施方式中滑动窗口示意图。图4a、图4b是本专利技术实施方式中屏幕上的两种标定点分布图。具体实施方式下面结合附图对本专利技术的具体实施方式作进一步说明。如图1，本专利技术硬件配置上需要一个普通摄像头，位于屏幕中心正上方，实时地捕捉人脸图像。如图2，本专利技术的具体实施步骤如下：步骤一、实时采集图像，提取眼动特征信息；步骤二、动态眼动向量校正；步骤三、构造多项式映射模型；步骤四、训练注视点补偿模型进行注视点计算。其中步骤一的具体实施为：1.人脸特征点初定位从摄像头获取人脸图像，采用基于局部二进制特征的形状回归方法(Face Alignment via Regressing Local Binary Features)进行人脸特征点的初定位，得到眼睛轮廓、嘴角点的初步位置。其次，在初步定位的基础上，分别得到眼睛区域和嘴巴区域作为定位感兴趣区域。2.眼动特征提取眼动特征信息为眼睛内角点特征，眼睛外角点特征，嘴角点特征以及虹膜中心。具体实施步骤为：2.1眼睛内角点定位首先由初定位得到的眼睛内角点候选点确定内角点感兴趣区域，对该区域进行FAST角点检测得到角点候选点；本专利技术认为候选点聚集处的点更有可能为眼角点，根据每个候选点周围的候选点个数进行筛选，并依据眼角点在眼睛中的相对位置关系，快速精确的定位到眼睛内角点。2.2眼睛外角点定位首先通过自适应阈值分割分离出眼睛与背景区域，从而提取到眼睛轮廓。对上下眼睛轮廓进行曲线拟合，并计算两条曲线拟合的交点，靠左边的交点即为眼睛外角点定位。2.3嘴角点定位首先提取嘴巴区域图像在Lab色彩空间中的a分量，分割出嘴唇区域。其次，确定嘴唇区域最左和最右的点为嘴角点初步位置，并对该区域进行OTSU分割，对分割后的图像进行局部角点检测，进行孤立点滤除后，认为候选点最左或最右的候选点为嘴角点位置。2.4虹膜中心定位在部分光照下，虹膜与巩膜间的对比并不是很明显，传统的边缘检测算子难以精确检测出虹膜边缘。其次，光照变化也导致二值化方法难以完整的分割出虹膜区块。因而，本专利技术提出一种基于滑动窗口的虹膜边缘搜索的方法，能在眼睛运动和姿态变化的情况下定位到虹膜边缘，从而得到虹膜中心定位。a.搜索起始点定位首先提取原眼睛图像的红色分量图像，并对该图像进行形态学的开操作以减少反射光斑的影响；其次，计算图像预处理后的眼睛图像的梯度特征，并寻找最多梯度向量经过的点，设为搜索起始点。由于该方法直接通过梯度特征进行计算，在图像模糊、眼睛变形严重等情况均能得到很好的定位结果。b.虹膜边缘搜索与虹膜中心定位如附图3所示构造滑动窗口，由两个连续的同样大小的矩本文档来自技高网...
【技术保护点】
自然光下基于投影映射校正和注视点补偿的视线跟踪方法，其特征在于该方法需要一个普通摄像头，无需额外光源辅助，具体包含以下步骤：（1）摄像机采集图像，进行人脸定位和眼动信息提取；（2）眼动信息校正：通过眼睛角点和嘴角点信息计算投影映射矩阵，对虹膜中心、眼睛内外角点位置进行校正；（3）初步注视点估计：利用经校正后的虹膜中心位置、眼睛内外角点位置构成二维眼动向量，并建立二维眼动向量到屏幕注视点的映射关系，根据实时的二维向量计算出实时屏幕注视点；（4）注视点补偿：采用支持向量回归模型进行注视点补偿，修正头部运动带来的注视点偏差，从而得到最终的注视点估计结果。
【技术特征摘要】
1.自然光下基于投影映射校正和注视点补偿的视线跟踪方法，其特征在于该方法需要一个普通摄像头，无需额外光源辅助，具体包含以下步骤：（1）摄像机采集图像，进行人脸定位和眼动信息提取；（2）眼动信息校正：通过眼睛角点和嘴角点信息计算投影映射矩阵，对虹膜中心、眼睛内外角点位置进行校正；（3）初步注视点估计：利用经校正后的虹膜中心位置、眼睛内外角点位置构成二维眼动向量，并建立二维眼动向量到屏幕注视点的映射关系，根据实时的二维向量计算出实时屏幕注视点；（4）注视点补偿：采用支持向量回归模型进行注视点补偿，修正头部运动带来的注视点偏差，从而得到最终的注视点估计结果。2.根据权利要求1所述的自然光下基于投影映射校正和注视点补偿的视线跟踪方法，其特征在于所述步骤(1)中包括：a. 采用基于Adaboost的人脸检测算法的对采集图像进行人脸定位，其次采用基于局部二进制特征回归方法确定眼睛内、外角点以及嘴角点的感兴趣区域;b. 依据不同角点特征的具体生理形状分别进行精确定位，通过Fast角点检测和筛选方法得到眼睛内角点和嘴角点定位，并采用曲线拟合方法定位眼睛外角点；c. 根据眼睛内外角点位置确定眼睛图像，接着提取眼睛图像的梯度特征，定位虹膜搜索起始点；其次，从搜索起始点出发，通过滑动窗口对虹膜边缘进行搜索，最后根据椭圆拟合方法定位虹膜中心。3.根据权利要求2所述的自然光下基于投影映射校正和注视点补偿的视线跟踪方法，其特...
【专利技术属性】
技术研发人员：秦华标，胡大正，卓林海，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。