一种基于瞳孔-角膜反射向量法的2D注视点估计方法技术

本发明专利技术公开了一种基于瞳孔

【技术实现步骤摘要】
一种基于瞳孔
‑
角膜反射向量法的2D注视点估计方法


[0001]本专利技术属于图像处理以及眼动追踪
，涉及到2D注视点估计，特别涉及到一种基于瞳孔
‑
角膜反射向量法的2D注视点估计方法。

技术介绍

[0002]假设人类眼角膜为规则球面，不管其如何旋转，辅助光源在球面上形成的角膜光斑在空间中的绝对位置都不会发生明显变化。也就是说，当眼球转动时，角膜光斑在眼球上的位置基本不会改变。当人眼注视方向发生改变时，可以通过利用角膜光斑位置做为参考标准，计算注视点与平面映射的交点，从而获得注视信息，这一方法被称为瞳孔
‑
角膜反射技术(Pupil Center Corneal Reflection，PCCR)，是基于特征的注视估计算法中广泛应用的一种技术。
[0003]这一技术分为图像预处理、特征提取与映射函数构造三个部分。在瞳孔中心与角膜特征提取部分进行相应改进，可以显著提高注视点估计准确性。

技术实现思路

[0004]本专利技术目的是提出一种基于瞳孔
‑
角膜反射向量法的2D注视点估计方法，结合提取的角膜特征建立视线映射模型，把每一帧图像中检测出的瞳孔
‑
角膜反射向量V(V
x
,V
y
)映射到屏幕上的注视点坐标G(G
x
,G
y
)，实现了2D注视点估计。
[0005]本专利技术利用以下技术方案实现：
[0006]一种基于瞳孔<br/>‑
角膜反射向量法的2D注视点估计方法，包括以下步骤：
[0007]步骤S1：进行待处理图片降噪及边缘检测，实现图像预处理；
[0008]步骤S2：利用星射线法进行瞳孔中心定位；
[0009]步骤S3：进行角膜特征提取，依据误差函数极点所对应的阈值得到自适应后的最佳阈值，经二值化处理的眼区图像以最佳阈值为限找到面积最大的反射光斑，然后求取反射光斑中心坐标(x
pur
,y
pur
)，得到角膜反射光斑的中心位置坐标；
[0010]所述误差函数公式如下式所示：
[0011][0012]其中，R
ratio
为误差函数，S
max
为反射光斑面积阈值，S
all
为眼图面积；
[0013]步骤S4：建立视线映射模型，即根据步骤S2得到的瞳孔中心位置和步骤S3得到的角膜反射光斑中心位置建立视线映射模型，利用所述视线映射模型把每一帧图像中检测出的瞳孔
‑
角膜反射向量V(V
x
,V
y
)映射到屏幕上的注视点坐标G(G
x
,G
y
)，映射函数模型为：
[0014][0015][0016]其中，a0‑
a7,b0‑
b7为待定系数；
[0017]完成基于瞳孔
‑
角膜反射向量法的2D注视点估计。
[0018]与现有技术相比，本专利技术能够达成以下有益技术效果：
[0019]1)增加分类检测机制与增设红外光源的方式，从而有效提高瞳孔中心定位的准确性及角膜特征提取的成功率以及提高2D注视点估计准确度；
[0020]2)完善的2D注视点估计流程，从而可以有效地进行2D注视点估计。
附图说明
[0021]图1是一种基于瞳孔
‑
角膜反射向量法的2D注视点估计方法整体流程图；
[0022]图2是一种基于瞳孔
‑
角膜反射向量法的2D注视点估计方法实施过程框图；
[0023]图3是利用星射线法进行瞳孔中心定位的过程示例图；
[0024]图4是角膜特征提取算法中多红外光源产生眼图及光斑位置关系示意图；(a)多红外光源眼图示例，(b)4光斑位置关系示意。
具体实施方式
[0025]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚地描述。
[0026]如图1所示，是一种基于瞳孔
‑
角膜反射向量法的2D注视点估计方法整体流程图，具体步骤包括：
[0027]步骤S1：采用中值滤波与Sobel算子进行待处理图片降噪及边缘检测，实现图像预处理，该步骤在消除冲击噪声的同时很好地保留边缘特性；
[0028]步骤S2：利用星射线法进行瞳孔中心定位：在预处理后的待处理图片中，采用边界拟合法拟合出瞳孔区域边界，其中椭圆拟合公式为：
[0029][0030]以第一帧图像的中心为起始点，发散240条星射线搜索出最大梯度值的像素点作为瞳孔边缘点，射线的辐射角度在
‑
60
°
到60
°
、120
°
至240
°
这两个区域内，这2个区域可以覆盖大部分瞳孔，拟合出最佳的椭圆。增加分类瞳孔检测机制进行误差修正处理，即添加修正函数，通过前两帧图像的平均值来估计当前帧的方法来减少误差。记t时刻瞳孔中心坐标为(x
T(t)
,y
T(t)
)，t时刻与(t
‑
1)时刻瞳孔中心位置在x、y方向的差值分别为&amp;
x1
＝x
T(t)
‑
x
T(t
‑
1)
、&amp;
y1
＝y
T(t)
‑
y
T(t
‑
1)
；记t时刻与(t
‑
2)时刻瞳孔中心位置在x、y方向的差值分别为&amp;
x2
＝x
T(t)
‑
x
T(t
‑
2)
、&amp;
y2
＝y
T(t)
‑
y
T(t
‑
2)
，前两帧图像瞳孔坐标在x、y方向的均值A
x
＝(x
T(t
‑
1)
+x
T(t
‑
2)
)/2，A
y
＝(y
T(t
‑
1)
+y
T(t
‑
1)
)/2，修正后的当前帧(t时刻)的瞳孔中心坐标表达式如下：
[0031][0032][0033]其中，H、P为修正系数，是一个经验值常数，根据图像分辨率进行相应设置。
[0034]步骤S3：进行角膜特征提取：误差函数极点所对应的阈值就是自适应后的最佳阈值。经二值化处理的眼区图像以最佳阈值为限，找到面积最大的反射光斑，然后求取其中心坐标(x
pur
,y
pur
)，得到角膜反射光斑的中心位置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于瞳孔
‑
角膜反射向量法的2D注视点估计方法，其特征在于，包括以下步骤：步骤S1：进行待处理图片降噪及边缘检测，实现图像预处理；步骤S2：利用星射线法进行瞳孔中心定位；步骤S3：进行角膜特征提取，依据误差函数极点所对应的阈值得到自适应后的最佳阈值，经二值化处理的眼区图像以最佳阈值为限找到面积最大的反射光斑，然后求取反射光斑中心坐标(x
pur
,y
pur
)，得到角膜反射光斑的中心位置坐标；所述误差函数公式如下式所示：其中，R
ratio
为误差函数，S
max
为反射光斑面积阈值，S
all
为眼图面积；步骤S4：建立视线映射模型，即根据步骤S2得到的瞳孔中心位置和步骤S3得到的角膜反射光斑中心位置建立视线映射模型，利用所述视线映射模型把每一帧图像中检测出的瞳孔
‑
角膜反射向量V(V
x
,V
y
)映射到屏幕上的注视点坐标G(G
x
,G
y
)，映射函数模型为：)，映射函数模型为：其中，a0‑
a7,b0‑
b7为待定系数；完成基于瞳孔
‑
角膜反射向量法的2D注视点估计。2.如权利要求1所述的一种基于瞳孔
‑
角膜反射向量法的2D注视点估计方法，其特征在于，所述步骤2进一步包括以下流程：步骤2.1：拟合出瞳孔区域边界，通过瞳孔边缘抓取第一帧图像，以该图像的中心为起始点，向四周发出18条射线，射线的间隔角度为20
°
；当相邻两条射线边缘点像素的差值∈大于设定阈值φ时射线停止，得到一个候选边缘点的集合；步骤2.2：依次以每个候选边缘点为起始点，于经过该候选边缘点射线的两侧
±
50
°
范围内再次发出射线，射线之间的间隔角度为度，其中n为射线条数；步骤2.3：上述步骤完成第一次迭代，计算所有候选边缘点的几何中心作为下次迭代的起始点；重复执行前述的步骤2.1
‑
步骤2.2，直至所有候选边缘点的几何中心收敛于相对稳定的位置，即前后两次迭代计算出的几何中心位置之间的距离不大于10个像素点，将符合条件的几何中心位置定位成瞳孔中心。3.如权利要求1所述的一种基于瞳孔
‑
角膜反射向量法的2D注视点估计方法，其特征在于，所述...

【专利技术属性】
技术研发人员：刘昱，李振君，
申请(专利权)人：天津大学浙江国际创新设计与智造研究院，
类型：发明
国别省市：