一种基于近眼相机的视线追踪方法技术

本发明专利技术公开了一种基于近眼相机的视线追踪方法，其技术方案要点是：包括先采用近眼相机采集眼部灰度图像，还包括以下步骤：Step1.眼部图像预处理；Step2.视线特征提取；Step3.视线落点估计；所述Step1包括以下子步骤：Step11.获取感兴趣区域：获取眼部灰度图像中包含完整瞳孔部分的感兴趣区域；Step12.中值滤波：对获取感兴趣区域的眼部灰度图像进行中值滤波；本发明专利技术提出了一种基于近眼相机的视线追踪方法，该方法解决了阴影区域噪声及反射光斑对瞳孔边缘提取产生干扰的问题，同时根据瞳孔的不同遮挡情况，提出了相对应的采样点选取算法，提升了瞳孔中心定位的准确性。该视线追踪方法具有鲁棒性强、瞳孔中心定位精度高以及实时性好等优点。实时性好等优点。实时性好等优点。

【技术实现步骤摘要】
一种基于近眼相机的视线追踪方法


[0001]本专利技术涉及视线追踪
，特别涉及一种基于近眼相机的视线追踪方法。

技术介绍

[0002]人眼视线能够反映人的关注信息，视线追踪技术即利用软件算法、机械、电子、光学等各种检测手段获取受试者当前视线方向的技术，它广泛应用于人机交互、辅助驾驶、心理研究、虚拟现实和军事等多个领域。
[0003]近年来，随着计算机和图像处理技术的发展，基于视频图像处理的视线追踪技术逐渐成为主流。如今的视线追踪系统主要分为穿戴式和非穿戴式两类。其中穿戴式指需受试者穿戴头盔、眼镜等装置，利用近眼相机采集人眼图像，并对其进行处理后得到人眼视线信息。由于穿戴式装置与受试者头部之间固定连接，因此具有成像清晰、图像背景简单的优点，但仍然存在眼部阴影、睫毛遮挡、角膜反射光斑以及瞳孔部分被遮挡等因素对瞳孔中心坐标的提取造成的影响。

技术实现思路

[0004]针对
技术介绍
中提到的问题，本专利技术的目的是提供一种基于近眼相机的视线追踪方法，以解决
技术介绍
中提到的问题。
[0005]本专利技术的上述技术目的是通过以下技术方案得以实现的：
[0006]一种基于近眼相机的视线追踪方法，包括先采用近眼相机采集眼部灰度图像，其特征在于：还包括以下步骤：
[0007]Step1.眼部图像预处理；
[0008]Step2.视线特征提取；
[0009]Step3.视线落点估计。
[0010]较佳的，所述Step1包括以下子步骤：
[0011]Step11.获取感兴趣区域：获取眼部灰度图像中包含完整瞳孔部分的感兴趣区域；
[0012]Step12.中值滤波：对获取感兴趣区域的眼部灰度图像进行中值滤波。
[0013]较佳的，所述Step11包括以下子步骤：
[0014]Step111、图像预裁剪：以原始图像中心为中心点，选取长宽均为原始图像2/3的矩形区域对图像进行裁剪，仅保留矩形区域内像素，得到预裁剪图像；
[0015]Step112、感兴趣区域裁剪：设定像素数量阈值NUM，灰度级tn(n＝0,1,2
…
,255)，初始值t0＝0，遍历预裁剪图像，计算灰度值小于等于t0的像素数量num；当num<NUM的时候，增加灰度级，即t1＝1，重新遍历预裁剪图像，再次计算小于等于此灰度级的像素数num，并与NUM进行比较，重复此过程，直至num满足num≥NUM，记录此时的灰度级tn，并将其值赋予灰度阈值T，即令T＝tn；然后将预裁剪图像中所有灰度值小于T的像素利用如下公式(1)，计算得到瞳孔区域的灰度质心：
[0016][0017]其中，图像左上角作为参考坐标系原点，i和j分别表示像素的横坐标和纵坐标，f(i,j)表示像素灰度值，m和n分别表示图像中像素总列数和总行数。
[0018]较佳的，所述Step12中值滤波具体包括以下子步骤：
[0019]Step121.将含有若干个点的窗口的滤波模板中心与感兴趣区域图像中的某个像素位置重合；
[0020]Step122.读取与模板重合的所有像素的灰度值；
[0021]Step123.将这些灰度值从小到大进行排列；
[0022]Step124.取这些数据的中值，将其赋予对应模板中心位置的像素，如果窗口中有奇数个像素，中值取按灰度值大小排序后的中间像素的灰度值，如果窗口中有偶数个像素，中值取按灰度值大小排序后，中间两个像素灰度的平均值；
[0023]Step125.更改滤波模板位置，按照从左到右、从上到下的顺序，重复Step121到Step124，遍历整幅感兴趣区域图像。
[0024]较佳的，所述Step2包括以下子步骤：
[0025]Step210.二值化分割；
[0026]Step220.形态学处理；
[0027]Step230.获取最大连通区域；
[0028]Step240.瞳孔边缘提取；
[0029]Step250.光斑区域去除；
[0030]Step260.椭圆拟合。
[0031]较佳的，所述Step210二值化分割时，利用步骤Step112中得到的灰度阈值T，根据如下公式(2)对图像进行二值化分割：
[0032][0033]其中，f(x,y)为灰度图像，g(x,y)为分割后的二值图像。
[0034]较佳的，所述Step220形态学处理时，利用公式(3)对二值图像先进行形态学闭运算处理，再利用公式(4)对形态学闭运算处理后的图像进行形态学开运算处理，用以去除二值图像中的残余睫毛、瞳孔边缘噪点以及小面积阴影区域：
[0035][0036][0037]所述Step230获取最大连通区域时遍历整幅图象，标记出每个连通区域，并计算各个连通区域的像素数量，最后仅保留像素数量最多的连通区域，用以去除图像中的与瞳孔区域面积接近的阴影或眉毛等噪声区域；
[0038]所述Step230步骤中，最大连通区域的获取包括以下步骤：
[0039]Step231、按照从左到右、从上到下的顺序遍历图像，标号初始值为1，当遇到像素值为1的点时，判断其邻接的左、左上、上、右上这4个像素是否已被标记，若没有被标记则将该像素点赋予新的标号；若已被标记，则将该像素赋予同一标号，如果邻接像素存在多种标号，则将该像素赋予最小的标号，并将这多个标号记为一个等价对；
[0040]Step232、将存在直接或间接等价关系的等价对合并为一个等价序列，并赋予每个等价序列一个序列号，序列号以1为初始值逐次递增，然后重新遍历一次图像，将属于同一等价序列的标记像素赋予该等价序列的序列号，即标记出每个连通区域；
[0041]Step233、计算每个连通区域的像素数量，将像素数量最大的连通区域予以保留，将其像素值置为1，其余像素值均置为0，完成获取最大连通区域步骤。
[0042]较佳的，所述Step240瞳孔边缘提取时，采用Canny算子对图像进行处理，包括利用一阶偏导的有限差分计算梯度幅值和方向、对梯度幅值进行非极大值抑制、双阈值法检测和连接边缘三个子步骤；
[0043]Step241、用一阶偏导的有限差分计算梯度幅值和方向：
[0044]使用Sobel算子计算X和Y方向上的梯度以及梯度的方向角；
[0045]将待检测边缘的图像I分别与X和Y方向的卷积因子进行卷积，采用公式(5)如下：
[0046][0047]求得X、Y方向的梯度后，再采用公式(6)计算梯度图像的幅值：
[0048][0049]最后采用公式(7)计算梯度的方向角：
[0050][0051]Step242、对梯度幅值进行非极大值抑制：
[0052]对Step241得到的幅值图像进行非极大值抑制，消除非边缘点的噪声并细化边缘，以待判断像素点为中心分为四个扇区，代表梯度方向近似的四个可能的角度，将梯度角离散为圆周的四个扇区，对应于8邻域空间的四种可能组合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于近眼相机的视线追踪方法，包括先采用近眼相机采集眼部灰度图像，其特征在于：还包括以下步骤：Step1.眼部图像预处理；Step2.视线特征提取；Step3.视线落点估计。2.根据权利要求1所述的一种基于近眼相机的视线追踪方法，其特征在于：所述Step1包括以下子步骤：Step11.获取感兴趣区域：获取眼部灰度图像中包含完整瞳孔部分的感兴趣区域；Step12.中值滤波：对获取感兴趣区域的眼部灰度图像进行中值滤波。3.根据权利要求2所述的一种基于近眼相机的视线追踪方法，其特征在于：所述Step11包括以下子步骤：Step111、图像预裁剪：以原始图像中心为中心点，选取长宽均为原始图像2/3的矩形区域对图像进行裁剪，仅保留矩形区域内像素，得到预裁剪图像；Step112、感兴趣区域裁剪：设定像素数量阈值NUM，灰度级tn(n＝0,1,2
…
,255)，初始值t0＝0，遍历预裁剪图像，计算灰度值小于等于t0的像素数量num；当num<NUM的时候，增加灰度级，即t1＝1，重新遍历预裁剪图像，再次计算小于等于此灰度级的像素数num，并与NUM进行比较，重复此过程，直至num满足num≥NUM，记录此时的灰度级tn，并将其值赋予灰度阈值T，即令T＝tn；然后将预裁剪图像中所有灰度值小于T的像素利用如下公式(1)，计算得到瞳孔区域的灰度质心：其中，图像左上角作为参考坐标系原点，i和j分别表示像素的横坐标和纵坐标，f(i,j)表示像素灰度值，m和n分别表示图像中像素总列数和总行数。4.根据权利要求3所述的一种基于近眼相机的视线追踪方法，其特征在于：所述Step12中值滤波具体包括以下子步骤：Step121.将含有若干个点的窗口的滤波模板中心与感兴趣区域图像中的某个像素位置重合；Step122.读取与模板重合的所有像素的灰度值；Step123.将这些灰度值从小到大进行排列；Step124.取这些数据的中值，将其赋予对应模板中心位置的像素，如果窗口中有奇数个像素，中值取按灰度值大小排序后的中间像素的灰度值，如果窗口中有偶数个像素，中值取按灰度值大小排序后，中间两个像素灰度的平均值；Step125.更改滤波模板位置，按照从左到右、从上到下的顺序，重复Step121到
Step124，遍历整幅感兴趣区域图像。5.根据权利要求4所述的一种基于近眼相机的视线追踪方法，其特征在于：所述Step2包括以下子步骤：Step210.二值化分割；Step220.形态学处理；Step230.获取最大连通区域；Step240.瞳孔边缘提取；Step250.光斑区域去除；Step260.椭圆拟合。6.根据权利要求5所述的一种基于近眼相机的视线追踪方法，其特征在于：所述Step210二值化分割时，利用步骤Step112中得到的灰度阈值T，根据如下公式(2)对图像进行二值化分割：其中，f(x,y)为灰度图像，g(x,y)为分割后的二值图像。7.根据权利要求6所述的一种基于近眼相机的视线追踪方法，其特征在于：所述Step220形态学处理时，利用公式(3)对二值图像先进行形态学闭运算处理，再利用公式(4)对形态学闭运算处理后的图像进行形态学开运算处理，用以去除二值图像中的残余睫毛、瞳孔边缘噪点以及小面积阴影区域：瞳孔边缘噪点以及小面积阴影区域：所述Step230获取最大连通区域时遍历整幅图象，标记出每个连通区域，并计算各个连通区域的像素数量，最后仅保留像素数量最多的连通区域，用以去除图像中的与瞳孔区域面积接近的阴影或眉毛等噪声区域；所述Step230步骤中，最大连通区域的获取包括以下步骤：Step231、按照从左到右、从上到下的顺序遍历图像，标号初始值为1，当遇到像素值为1的点时，判断其邻接的左、左上、上、右上这4个像素是否已被标记，若没有被标记则将该像素点赋予新的标号；若已被标记，则将该像素赋予同一标号，如果邻接像素存在多种标号，则将该像素赋予最小的标号，并将这多个标号记为一个等价对；Step232、将存在直接或间接等价关系的等价对合并为一个等价序列，并赋予每个等价序列一个序列号，序列号以1为初始值逐次递增，然后重新遍历一次图像，将属于同一等价序列的标记像素赋予该等价序列的序列号，即标记出每个连通区域；Step233、计算每个连通区域的像素数量，将像素数量最大的连通区域予以保留，将其像素值置为1，其余像素值均置为0，完成获取最大连通区域步骤。8.根据权利要求7所述的一种基于近眼相机的视线追踪方法，其特征在于：所述Step240瞳孔边缘提取时...

【专利技术属性】
技术研发人员：王鹏，袁洪春，戚建宇，张燕，樊家华，宋子洋，周文豪，
申请(专利权)人：常州工学院，
类型：发明
国别省市：