一种在人体头部前后运动状态下的眼动追踪自动校准方法技术

一种在人体头部前后运动状态下的眼动追踪自动校准方法，属于图像处理领域。现有的眼动追踪算法在摄像头和光源数较少时，要求头部只能固定于校准位置，头部若想移动，则需多个摄像头及光源，这大大增加了系统的复杂度。本发明专利技术通过14点校准得到瞳孔和视线落点坐标的二维映射模型；在头部移动后，实时检测瞳孔中心坐标并更新瞳孔与摄像头距离；建立三维坐标系，将头部移动后系统检测出的瞳孔中心坐标校准为在校准点处的坐标；根据视线方向向量求得头部移动后的视线方程，结合屏幕平面方程，求得头部移动后视线落点校准后的真实坐标。本发明专利技术结合现有的眼动追踪算法，无需复杂系统，即可实现头部前后移动仍能得到正确的视线落点坐标。坐标。

【技术实现步骤摘要】
一种在人体头部前后运动状态下的眼动追踪自动校准方法


[0001]本专利技术涉及计算机视觉、人机交互等领域，具体地说是一种在人体头部前后运动状态下的眼动追踪自动校准方法。

技术介绍

[0002]基于视频的眼动追踪是利用视频处理设备测量眼睛的运动情况，进而估计视线方向或者定位视线落点位置的技术。近年来，随着眼动追踪技术的快速发展，其在人机交互领域及计算机视觉领域的关注度日益增加。
[0003]现有的眼动追踪方法主要有：瞳孔（虹膜）—眼角法、瞳孔（虹膜）—角膜反射法、交比值法和HN法。瞳孔（虹膜）—眼角法的主要缺点是当用户头部偏离标定位置时，会造成较大误差。瞳孔（虹膜）—角膜反射法的主要缺点是在摄像头数和光源数较少时，头部只能固定于标定位置，如想要头部在一定范围内运动，则需多个摄像头以及多个光源，这样就大大增加了系统标定的复杂度。交比值法和HN法的主要缺点是所需的摄像头和光源数较多，对于系统的标定较复杂。
[0004]针对以上四种方法中存在的要求使用者头部固定以及系统标定复杂等问题，提出了一种在人体头部前后运动状态下的眼动追踪自动校准方法。

技术实现思路

[0005]针对现有眼动追踪方法要求使用者头部固定以及系统标定复杂的问题，本专利技术提出一种在人体头部前后运动状态下的眼动追踪自动校准方法，在用户头部前后移动后对于新的视线落点进行校正。
[0006]一种在人体头部前后运动状态下的眼动追踪自动校准方法，所述方法通过以下步骤实现：
[0007]步骤一、通过二维映射模型对于瞳孔中心坐标和视线落点坐标进行14点校准，建立起瞳孔中心坐标和视线落点平面坐标的映射关系；
[0008]步骤二、利用数字图像处理技术，在人脸图像中提取出瞳孔信息，根据头部距摄像头位置远近不同时，瞳孔像素占整幅图像总像素比例不同，计算得出头部移动前后瞳孔与摄像头的距离，进而求得头部的位移；
[0009]步骤三、结合步骤二中所求得的距离值，以眼睛直视正前方时的左、右眼瞳孔连线的中心位置为原点，以两只眼睛瞳孔中心连线为轴，左眼到右眼连线方向为轴正半轴，垂直于两只眼睛瞳孔连线中心向上方向为轴正方向，垂直于脸部所在平面指向屏幕的方向为轴正方向，分别得到以实际长度英寸为单位的初始校准点处的三维坐标以及所对应的屏幕上视线落点的三维坐标，在头部前后移动后，设定此时以实际长度英寸为单位的瞳孔中心的三维坐标和所对应的视线落点的三维坐标；
[0010]步骤四、利用摄像头拍照原理，通过三角形相似，再结合系统所检测出的头部移动后的瞳孔中心坐标，求得头部移动后的瞳孔中心坐标等同于的视线校准处的瞳孔中心坐
标；
[0011]步骤五、选取步骤一中校准点处，眼睛直视时，以实际长度英寸为单位的瞳孔中心坐标，以及对应的视线落点坐标，得出屏幕所在平面的法向量，再结合平面上任意一点求得屏幕的平面方程；
[0012]步骤六、在头部移动后，系统检测出此时瞳孔中心的坐标，经过步骤四的转换，得到该瞳孔中心坐标所对应的在视线校准位置处的瞳孔中心坐标，再将所得的视线校准位置处的瞳孔中心坐标代入步骤一中的二维映射方程得到所对应的屏幕上的视线落点坐标，进而求得此时的视线方向向量，在保持视线方向不变的情况下，头部移动后的视线方向向量和校准点处的视线方向向量是相同的，从而利用点向式求得头部移动后的视线的方程；
[0013]步骤七、将步骤五的屏幕平面方程和步骤六头部移动后的视线方程联立，求交点坐标，即为校准后的视线落点坐标。
[0014]本专利技术的有益效果为：
[0015]本专利技术主要是利用数学方法对头部前后移动后的视线落点进行求解，从而达到对头部前后移动后的视线落点进行校正。这种方法可以有效的解决因为头部前后移动所造成的视线落点偏差，也减小了系统复杂度。
附图说明
[0016][0017]图1是本专利技术所用到的14点校准视觉区域示意图。
[0018]图2是本专利技术的场景坐标系示意图；
[0019]图3是本专利技术所用到的瞳孔中心在摄像头中图像的位置图；
[0020]图4是本专利技术的平面示意图；
[0021]图5是本专利技术的总流程图。
具体实施方式
[0022][0023]下面结合附图和具体实施方式对本专利技术做进一步详细地说明。
[0024]具体实施方式一：
[0025]本实施方式的一种在人体头部前后运动状态下的眼动追踪自动校准方法，所述方法包括以下步骤：
[0026]步骤一、通过二维映射模型对于瞳孔中心坐标和视线落点坐标进行14点校准，建立起瞳孔中心坐标和视线落点平面坐标的映射关系；
[0027]步骤二、利用数字图像处理技术，在人脸图像中提取出瞳孔信息，根据头部距摄像头位置远近不同时，瞳孔像素占整幅图像总像素比例不同，计算得出头部移动前后瞳孔与摄像头的距离，进而求得头部的位移；
[0028]步骤三、结合步骤二中所求得的距离值，以眼睛直视正前方时的左、右眼瞳孔连线的中心位置为原点，以两只眼睛瞳孔中心连线为轴，左眼到右眼连线方向为轴正半轴，垂直于两只眼睛瞳孔连线中心向上方向为轴正方向，垂直于脸部所在平面指向屏幕的方向为轴正方向，分别得到以实际长度英寸为单位的初始校准点处的三维坐标以及
所对应的屏幕上视线落点的三维坐标，在头部前后移动后，设定此时以实际长度英寸为单位的瞳孔中心的三维坐标和所对应的视线落点的三维坐标；
[0029]步骤四、利用摄像头拍照原理，通过三角形相似，再结合系统所检测出的头部移动后的瞳孔中心坐标，求得头部移动后的瞳孔中心坐标等同于的视线校准处的瞳孔中心坐标；
[0030]步骤五、选取步骤一中校准点处，眼睛直视时，以实际长度英寸为单位的瞳孔中心坐标，以及对应的视线落点坐标，得出屏幕所在平面的法向量，再结合平面上任意一点求得屏幕的平面方程；
[0031]步骤六、在头部移动后，系统检测出此时瞳孔中心的坐标，经过步骤四的转换，得到该瞳孔中心坐标所对应的在视线校准位置处的瞳孔中心坐标，再将所得的视线校准位置处的瞳孔中心坐标代入步骤一中的二维映射方程得到所对应的屏幕上的视线落点坐标，进而求得此时的视线方向向量，在保持视线方向不变的情况下，头部移动后的视线方向向量和校准点处的视线方向向量是相同的，从而利用点向式求得头部移动后的视线的方程；
[0032]步骤七、将步骤五的屏幕平面方程和步骤六头部移动后的视线方程联立，求交点坐标，即为校准后的视线落点坐标。
[0033]具体实施方式二：
[0034]与具体实施方式一不同的是，本实施方式的一种在人体头部前后运动状态下的眼动追踪自动校准方法，所述为步骤一中进行14点校准的过程：
[0035]步骤一一、视线校准位置选取处，如图1所示，在屏幕上选取14个点，眼睛分别注视14个点，记录下每一组瞳孔中心坐标以及屏幕上对应的视线落点坐标，分别代入二维映射模型，如式（1）和（2），
[0036]ꢀꢀꢀꢀꢀꢀ
（1）
[0037]ꢀꢀꢀꢀꢀꢀ本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在人体头部前后运动状态下的眼动追踪自动校准方法，其特征包含以下步骤：步骤一、通过二维映射模型对于瞳孔中心坐标和视线落点坐标进行14点校准，建立起瞳孔中心坐标和视线落点平面坐标的映射关系；步骤二、利用数字图像处理技术，在人脸图像中提取出瞳孔信息，根据头部距摄像头位置远近不同时，瞳孔像素占整幅图像总像素比例不同，计算得出头部移动前后瞳孔与摄像头的距离，进而求得头部的位移；步骤三、结合步骤二中所求得的距离值，以眼睛直视正前方时的左、右眼瞳孔连线的中心位置为原点，以两只眼睛瞳孔中心连线为轴，左眼到右眼连线方向为轴正半轴，垂直于两只眼睛瞳孔连线中心向上方向为轴正方向，垂直于脸部所在平面指向屏幕的方向为轴正方向，分别得到以实际长度英寸为单位的初始校准点处的三维坐标以及所对应的屏幕上视线落点的三维坐标，在头部前后移动后，设定此时以实际长度英寸为单位的瞳孔中心的三维坐标和所对应的视线落点的三维坐标；步骤四、利用摄像头拍照原理，通过三角形相似，再结合系统所检测出的头部移动后的瞳孔中心坐标，求得头部移动后的瞳孔中心坐标等同于的视线校准处的瞳孔中心坐标；步骤五、选取步骤一中校准点处，眼睛直视时，以实际长度英寸为单位的瞳孔中心坐标，以及对应的视线落点坐标，得出屏幕所在平面的法向量，再结合平面上任意一点求得屏幕的平面方程；步骤六、在头部移动后，系统检测出此时瞳孔中心的坐标，经过步骤四的转换，得到该瞳孔中心坐标所对应的在视线校准位置处的瞳孔中心坐标，再将所得的视线校准位置处的瞳孔中心坐标代入步骤一中的二维映射方程得到所对应的屏幕上的视线落点坐标，进而求得此时的视线方向向量，在保持视线方向不变的情况下，头部移动后的视线方向向量和校准点处的视线方向向量是相同的，从而利用点向式求得头部移动后的视线的方程；步骤七、将步骤五的屏幕平面方程和步骤六头部移动后的视线方程联立，求交点坐标，即为校准后的视线落点坐标。2.根据权利要求1所述的一种在人体头部前后运动状态下的眼动追踪自动校准方法，其特征在于：所述的步骤一中进行14点校准的过程为：步骤一一、视线校准位置选取处，在屏幕上均匀的选取14个点，眼睛分别注视这14个点，记录下每一组瞳孔中心坐标以及屏幕上所看点的坐标，利用二维映射模型，如式（1）和（2），
ꢀꢀꢀꢀꢀꢀ
（1）
ꢀꢀꢀꢀꢀꢀ
（2）其中，分别是屏幕上视线落点的横纵坐标，，为图像上对应的瞳孔（或虹膜）中心的横纵坐标，，为映射模型的系数；步骤一二、将对应的14组坐标值代入其中，解出所满足的二维映射方程组。
3.根据权利要求1所述的一种在人体头部前后运动状态下的眼动追踪自动校准方法，其特征在于：所述步骤二为求解瞳孔与摄像头距离的过程：步骤二、利用数字图像处理技术，在人脸图像中提取出瞳孔信息，根据头部距摄像头位置远近不同时，瞳孔像素占整个图像总像素比例不同，计算得出头部移动后瞳孔与摄像头的距离为，再结合在视线校准位置，瞳孔与摄像头的距离为，利用得到头部前后移动的距离为。4.根据权利要求1所述的一种在人体头部前后运动状态下的眼动追踪自动校准方法，其特征在于：所述步骤三分别设定在校准点和头部移动后的瞳孔中心三维坐标和对应的视线落点三维坐标的过程为：步骤三一、在已知屏幕分辨率为，摄像头分辨率为，屏幕实际长度为英寸，宽度为英寸，于是可以利用公式（3），
ꢀꢀꢀꢀꢀꢀ
（3）求得屏幕每英寸长度内的像素点数，其中为每英寸长度内的像素点数；步骤三二、结合步骤二中所求的距离值，以在校准点处，瞳孔直视时的左右两个眼睛瞳孔连线的中心点为坐标原点，以两个瞳孔所在直线向右为轴正半轴，垂直于两个瞳孔所在直线向上为轴，垂直于脸部所在平面朝向摄像头为轴。于是在校准点处，如果瞳孔朝向某一方向，利用数字图像处理算法可得到此时瞳孔中心位置，记录此时以实际长度英寸为单位的右眼瞳孔坐标为，代入步骤一一中式（1）和（2）的右侧，即可得到所对应的以实际长度英寸为单位的视线落点的坐标为；步骤三三、在头部移动至位置，如果仍然保持步骤三...

【专利技术属性】
技术研发人员：沈翔，
申请(专利权)人：沈翔，
类型：发明
国别省市：