基于三维眼球模型的眼球参数标定和视线方向跟踪方法技术

本发明专利技术公开了一种基于三维眼球模型的眼球参数标定和视线方向跟踪方法，包括以下步骤：S1，将人物视点固定在三维空间中并拍摄脸部视频，利用所述脸部视频标定人物的眼睛参数，并同时估算所述人物视点的位置；S2，利用所述眼睛参数计算人物任意其他面部视频中的视点位置获得视线方向，同时对所述视线方向进行跟踪。该方法利用三维眼球模型与眼睛图像的对应投影关系建立能量函数，标定眼睛参数，建立一个与真实情况更接近的视线方向模型，实现高精度的视线方向跟踪。

【技术实现步骤摘要】
基于三维眼球模型的眼球参数标定和视线方向跟踪方法
本专利技术涉及计算机视觉和图形学
，特别涉及一种基于三维眼球模型的眼球参数标定和视线方向跟踪方法。
技术介绍
人眼视线跟踪是计算机视觉与计算机图形学领域中一个重要且基础的问题，它在人机交互、虚拟现实及增强现实等领域也有非常广泛的应用。例如，在计算机视觉中，人眼在屏幕上的注视点可用于完成各种人机交互功能；在增强现实中，视线方向可用于调整显示的内容以产生更佳的真实感。正是由于眼睛能够表达人类丰富的情感，人眼视线跟踪的研究具有极高的科研和应用价值。在计算机图形学和计算机视觉领域，高精度的视线方向跟踪一直是一个重要且具有挑战性的问题。由于在大多数方法使用的彩色视频中无法拍摄到完整的眼球，其大部分被眼皮遮挡，求解出的视线方向也通常会与真实眼球的成像特性有很大差异。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的目的在于提出一种基于三维眼球模型的眼球参数标定和视线方向跟踪方法。为达到上述目的，本专利技术提出了基于三维眼球模型的眼球参数标定和视线方向跟踪方法，包括以下步骤：S1，将人物视点固定在三维空间中并拍摄脸部视频，利用所述脸部视频标定人物的眼睛参数，并同时估算所述人物视点的位置；S2，利用所述眼睛参数计算人物任意其他面部视频中的视点位置获得视线方向，同时对所述视线方向进行跟踪。本专利技术实施例的基于三维眼球模型的眼球参数标定和视线方向跟踪方法，利用三维眼球模型与眼睛图像的对应投影关系建立能量函数，标定眼睛参数，建立一个与真实情况更接近的视线方向模型，从而实现高精度的视线方向跟踪。另外，根据本专利技术上述实施例的基于三维眼球模型的眼球参数标定和视线方向跟踪方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述眼睛参数包括眼球相对头部的位置，眼球光轴与视轴间的夹角和虹膜大小。进一步地，在本专利技术的一个实施例中，标定所述眼球参数时，在使用的所述脸部视频中，要求人物始终注视空间中的一个固定位置。进一步地，在本专利技术的一个实施例中，所述步骤S1进一步包括：S101，检测所述脸部视频中每帧的面部特征点，估算头部的空间位姿，以得到所述人脸视频每帧中眼球在三维空间中的位置；S102，利用眼球在三维空间中的位置及视点位置计算视频每帧中的视线方向，并通过所述眼球光轴与视轴间的夹角得到每帧中的光轴，以得到第一眼球转动信息；S103，根据所述第一眼球转动信息结合相机参数矩阵，利用灰度差异建立所有视频帧的总能量函数，优化求解所有变量。进一步地，在本专利技术的一个实施例中，所述步骤S103中，利用虹膜边界顶点的灰度值与图像中对应像素的灰度值之间间的差异建立起能量函数，其中，能量越低，三维眼球的投影与二维图像越一致。进一步地，在本专利技术的一个实施例中，所述人脸视频每帧中眼球在三维空间中的位置为所述眼球相对头部的位置和所述头部的空间位姿的叠加。进一步地，在本专利技术的一个实施例中，所述视线方向为所述人脸视频每帧中眼球在三维空间中的位置与所述视点位置的连线。进一步地，在本专利技术的一个实施例中，S201，检测所述脸部视频中中某一帧的面部特征点，估算头部的空间位姿，以得到所述人脸视频某一帧中眼球在三维空间中的位置；S202，利用眼球在三维空间中的位置及视点位置计算当前帧中的视线方向，并通过所述步骤S1求得的当前帧的光轴，以得到第二眼球转动信息；S203，根据所述第二眼球转动信息结合相机参数矩阵，将三维眼球模型上虹膜边缘的顶点投影到二维图像中，利用灰度差异建立当前帧的能量函数，优化求解视点位置，并根据所述视点位置最终确定当前帧的视线方向进行跟踪。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术实施例的基于三维眼球模型的眼球参数标定和视线方向跟踪方法流程图；图2为根据本专利技术实施例的基于三维眼球模型的眼球参数标定和视线方向跟踪方法总体流程图；图3为根据本专利技术实施例的为一段视频中的两帧及以虹膜边缘投影(眼睛椭圆部分)表示的视线方向跟踪结果。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参照附图描述根据本专利技术实施例提出的基于三维眼球模型的眼球参数标定和视线方向跟踪方法。图1是本专利技术一个实施例的基于三维眼球模型的眼球参数标定和视线方向跟踪方法流程图。如图1所示，该基于三维眼球模型的眼球参数标定和视线方向跟踪方法包括以下步骤：在步骤S1中，将人物视点固定在三维空间中并拍摄脸部视频，利用脸部视频标定人物的眼睛参数，并同时估算人物视点的位置。其中，眼睛参数包括眼球相对头部的位置，眼球光轴与视轴间的夹角和虹膜大小。需要注意的是，标定人物的眼球参数时，在使用的脸部视频中，要求人物始终注视空间中的一个固定位置。换句话说，令人物视点固定在三维空间中一个特定位置，并拍摄相应的脸部视频，根据该视频所有帧中三维眼球模型与其在二维图像中投影的灰度差异建立能量函数，优化求解该人物的眼睛参数，并同时估算视点的位置。进一步地，如图2所示，在本专利技术的一个实施例中，步骤S1包括：S101，检测脸部视频中每帧的面部特征点，估算头部的空间位姿，以得到人脸视频每帧中眼球在三维空间中的位置。也就是说，固定所拍摄人物视点的面部视频采集。具体而言，由于彩色视频缺乏深度信息，因此本专利技术实施例使用视频序列的所有帧进行眼球参数标定，使标定结果更加准确。但在一般视频序列中，人物的视线方向在一直变化，视点位置也随之移动，若在参数标定时估计每一帧的视点位置，问题的复杂度会随着所使用视频帧数的增加而急剧增大。因此，本专利技术实施例在标定人物眼球参数时使用的视频中，要求人物始终注视空间中的一个固定位置，即视点固定，从而在眼球参数的基础上问题仅增加了一个视点位置的三个自由度。同时，在标定使用的视频中还要求人物头部有一定的运动，从而使得眼睛图像的种类更加丰富。S102，利用眼球在三维空间中的位置及视点位置计算视频每帧中的视线方向，并通过眼球光轴与视轴间的夹角得到每帧中的光轴，以得到第一眼球转动信息。换言之，对三维空间中眼球位置进行表示。面部二维特征点检测和相应的面部三维重建方法可以提供视频中每一帧的头部位姿。由于眼球相对于头的位置固定，因此视频每帧中眼球在三维空间中的位置可以表示为眼球在头中的相对位置和头部位姿的叠加。S103，根据第一眼球转动信息结合相机参数矩阵，利用灰度差异建立所有视频帧的总能量函数，优化求解所有变量。需要说明的是，步骤S103利用虹膜边界顶点的灰度值与图像中对应像素的灰度值之间间的差异建立起能量函数，其中，能量越低，三维眼球的投影与二维图像越一致。其中，本专利技术实施例使用了如下近似的三维眼球模型，将眼球近似为一个球体，球心和瞳孔中心的连线为眼球的光轴。在真实的眼睛中，人的视线方向通常不是眼球的光轴方向，而是与光轴间有一个固定的夹角(即光视轴夹角)。本专利技术实施例本文档来自技高网...

【技术保护点】
1.一种基于三维眼球模型的眼球参数标定和视线方向跟踪方法，其特征在于，包括以下步骤：S1，将人物视点固定在三维空间中并拍摄脸部视频，利用所述脸部视频标定人物的眼睛参数，并同时估算所述人物视点的位置；S2，利用所述眼睛参数计算人物任意其他面部视频中的视点位置获得视线方向，同时对所述视线方向进行跟踪。

【技术特征摘要】
1.一种基于三维眼球模型的眼球参数标定和视线方向跟踪方法，其特征在于，包括以下步骤：S1，将人物视点固定在三维空间中并拍摄脸部视频，利用所述脸部视频标定人物的眼睛参数，并同时估算所述人物视点的位置；S2，利用所述眼睛参数计算人物任意其他面部视频中的视点位置获得视线方向，同时对所述视线方向进行跟踪。2.根据权利要求1所述的基于三维眼球模型的眼球参数标定和视线方向跟踪方法，其特征在于，所述眼睛参数包括眼球相对头部的位置，眼球光轴与视轴间的夹角和虹膜大小。3.根据权利要求1所述的基于三维眼球模型的眼球参数标定和视线方向跟踪方法，其特征在于，所述标定人物的眼球参数时，在使用的所述脸部视频中，人物需始终注视空间中的一个固定位置。4.根据权利要求1所述的基于三维眼球模型的眼球参数标定和视线方向跟踪方法，其特征在于，所述步骤S1进一步包括：S101，检测所述脸部视频中每帧的面部特征点，估算头部的空间位姿，以得到所述人脸视频每帧中眼球在三维空间中的位置；S102，利用眼球在三维空间中的位置及视点位置计算视频每帧中的视线方向，并通过所述眼球光轴与视轴间的夹角得到每帧中的光轴，以得到第一眼球转动信息；S103，根据所述第一眼球转动信息结合相机参数矩阵，利用灰度差异建立所有视频帧的总能量函数，优化求解所有变量。5.根据权利要...

【专利技术属性】
技术研发人员：徐枫，温佺，雍俊海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11