The invention discloses a three-dimensional line-of-sight estimation method based on iris projection matching function. The method first calculates human eye parameters and establishes human eye model by allowing users to look at several calibration points on the screen. Then, by matching the eyeball rotation model with iris projection function, the spatial position and orientation of the iris are located, and the three-dimensional optical axis direction is obtained. Finally, the polynomial correction method is used to correct the optical axis and calculate the direction of the three-dimensional optical axis. This method uses depth camera to estimate the three-dimensional line of sight. It provides a fast, accurate and robust solution for the three-dimensional line of sight tracking in natural environment.
【技术实现步骤摘要】
一种基于虹膜投影匹配函数的三维视线估计方法
本专利技术涉及视线跟踪
,具体为使用三维传感器的三维视线跟踪方法。
技术介绍
视线跟踪技术是最重要的人机交互技术之一,在心理学分析、虚拟现实、医疗设备、辅助驾驶领域都有重要的应用前景。视线跟踪方法主要分为接触式方法和非接触式方法。基于摄像的非接触式方法对用户更为友好,具有自然和直接的优势,是目前视线跟踪作为人机交互方式研究的主流方向。由于三维传感器技术的进步以及普及,使用三维传感器的三维视线跟踪算法由于其高精度、对头部运动鲁棒的特性逐渐成为视线跟踪主流算法。然而该类方法的主要难点在于1)精确定位出人眼三维中心;2)标定步骤简单,使用较少的标定点;3)如何对光轴进行矫正从而获得视轴
技术实现思路
有鉴于此,为解决上述现有技术中的问题,本专利技术提供了一种基于虹膜投影匹配函数的三维视线估计方法,该方法首先通过让使用者注视屏幕上的若干标定点计算人眼参数并建立人眼模型。接着,通过眼球旋转模型与虹膜投影匹配函数,定位出虹膜的空间位置以及朝向,从而得到三维光轴方向。最后,使用多项式矫正法对光轴进行矫正,计算出三维视轴方向。该方法使用一个深度摄像头进行三维视线估计,具有非侵入、速度快、精度高、对头部运动鲁棒的优点。本专利技术通过以下技术方案来实现。一种基于虹膜投影匹配函数三维视线估计方法,该方法使用一台深度摄像头,包含以下步骤:步骤1、眼球模型使用者参数校准,使用者注视屏幕上若干个标定点,深度摄像头采集彩色帧与深度帧,利用彩色信息与深度信息计算出使用者的虹膜半径与注视标定点时光轴到视轴的偏差信息;步骤2、眼球模型旋转半径与初 ...
【技术保护点】
1.一种基于虹膜投影匹配函数三维视线估计方法,该方法使用一台深度摄像头,其特征在于包含以下步骤:步骤1、眼球模型使用者参数校准,使用者注视屏幕上若干个标定点,深度摄像头采集彩色帧与深度帧,利用彩色信息与深度信息计算出使用者的虹膜半径与注视标定点时光轴到视轴的偏差信息;步骤2、眼球模型旋转半径与初始位置校准,使用者注视屏幕上若干个标定点,利用这若干个标定点以及步骤1中的标定点计算出眼球模型的旋转半径与初始的中心三维坐标;步骤3、光轴估计,利用步骤1、步骤2计算出的眼球模型以及眼球模型初始的初始中心三维坐标,结合头部姿态估计,计算出当前帧的人眼三维中心坐标,利用虹膜投影匹配函数计算出空间中虹膜的位置以及朝向,从而得到光轴;步骤4、视轴估计,利用多项式光轴矫正法,建立多项式光轴矫正模型,使用多项式拟合出光轴与视轴之间的偏差,并对光轴进行矫正,估计出视轴。
【技术特征摘要】
1.一种基于虹膜投影匹配函数三维视线估计方法,该方法使用一台深度摄像头,其特征在于包含以下步骤:步骤1、眼球模型使用者参数校准,使用者注视屏幕上若干个标定点,深度摄像头采集彩色帧与深度帧,利用彩色信息与深度信息计算出使用者的虹膜半径与注视标定点时光轴到视轴的偏差信息;步骤2、眼球模型旋转半径与初始位置校准,使用者注视屏幕上若干个标定点,利用这若干个标定点以及步骤1中的标定点计算出眼球模型的旋转半径与初始的中心三维坐标;步骤3、光轴估计,利用步骤1、步骤2计算出的眼球模型以及眼球模型初始的初始中心三维坐标,结合头部姿态估计,计算出当前帧的人眼三维中心坐标,利用虹膜投影匹配函数计算出空间中虹膜的位置以及朝向,从而得到光轴;步骤4、视轴估计,利用多项式光轴矫正法,建立多项式光轴矫正模型,使用多项式拟合出光轴与视轴之间的偏差,并对光轴进行矫正,估计出视轴。2.根据权利要求1所述的一种基于虹膜投影匹配函数三维视线估计方法,其特征在于所述步骤1中包括:步骤11、使用虹膜边缘检测算法与椭圆拟合获得彩色图像上虹膜像素点,根据虹膜像素点查找虹膜像素点对应的三维位置,获得一系列虹膜的三维点,利用主成份分析(PCA)算法将这些三维点降至二维,拟合这些二维点,从而得到虹膜,再计算使用者虹膜半径;步骤12、对虹膜三维点求平均值,获得人眼三维中心位置,连接人眼虹膜三维中心与屏幕上的标定点,该连线即为视轴,利用步骤11中获得的虹膜二维平面的法向量作为光轴,计算光轴与视轴之间的夹角,获得使用者的kappa角度数。3.根据权利要求1所述的一种基于虹膜投影匹配函数三维视线估计方法,其特征在于所述步骤2中包括:步骤21、使用团块检测在彩色图像上对虹膜进行初定位,并获取初定位的虹膜中心三维位置;步骤22、连接虹膜中心三维位置与屏幕上的标定点,作为视轴,利用步骤1中获取的kappa角大小与光轴绕视轴的旋转角λ进行矫正,矫正后的视轴即为光轴;步骤23、利用初定位的虹膜中心三维位置附近的某一三维点(x,y,z),与步骤22中获取的光轴,以及步骤1中获取的虹膜半径,建立虚拟的三维虹膜;步骤24、利用虹膜投影匹配函数计算虚拟三维虹膜在成像平面上投影与RGB虹膜图像的匹配度,所述虹膜投影匹配函数首先计算虚拟三维虹膜在成像...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。