视线跟踪方法和设备技术

本发明专利技术提供一种视线跟踪方法和设备。视线跟踪设备包括：视频采集模块，获取包含用户头部的图像作为输入图像；头部视频处理模块，根据输入图像对面部关键点进行跟踪；眼部视频处理模块，根据跟踪到的面部关键点，对瞳孔中心和眼球中心进行定位，以确定瞳孔中心的三维坐标和眼球中心的三维坐标；视线方向计算模块，使用瞳孔中心的三维坐标和眼球中心的三维坐标，计算用户的视线方向。

【技术实现步骤摘要】
视线跟踪方法和设备
本专利技术涉及计算机视觉和图像处理技术，具体涉及一种视线跟踪方法和设备。
技术介绍
视线方向跟踪技术具有非常广泛的应用，如在认知科学、心理学、医学、残疾人辅助等领域。随着计算机技术的发展，视线跟踪技术还被用于人机交互、虚拟现实等方面。例如，一些研究工作尝试使用视线或视点检测装置作为计算机的输入接口，以获得更迅速的响应，在一定程度上取代鼠标和键盘。另外，通过获取观察者的视线，得到其感兴趣的位置，以进行网页、广告等的设计优化。使用不同的分类方法，视线跟踪技术可以被分为很多类别，如接触式、非接触式，光学方法、电子方法、基于穿着设备的方法和远距离跟踪等。下面介绍几种比较典型的视线跟踪方法或系统。最早的视线跟踪系统使用与眼球直接接触的器件，跟随眼球的运动。通过光学方法或者电磁传感器，得到其运动信息，也就得到了眼球的运动信息，经过校准，就可以获得视线方向。这类方法通常具有较高的灵敏性和精度，但由于采用侵入式获取信息的方式，用户使用非常不便，设备的价格较高。另一种接触式检测方法基于眼球运动时眼部区域电势场变化的原理，在眼睛周围粘贴一些电子传感探头，测量电子信号的变化。与基于光学本文档来自技高网...

【技术保护点】
一种视线跟踪方法，其特征在于包括：获取包含用户头部的图像作为输入图像；根据输入图像对面部关键点进行跟踪；根据跟踪到的面部关键点，对瞳孔中心和眼球中心进行定位，以确定瞳孔中心的三维坐标和眼球中心的三维坐标；使用瞳孔中心的三维坐标和眼球中心的三维坐标，计算用户的视线方向。

【技术特征摘要】
1.一种视线跟踪方法，其特征在于包括：获取包含用户头部的图像作为输入图像；根据输入图像对面部关键点进行跟踪；根据跟踪到的面部关键点，对瞳孔中心和眼球中心进行定位，以确定瞳孔中心的三维坐标和眼球中心的三维坐标；使用瞳孔中心的三维坐标和眼球中心的三维坐标，计算用户的视线方向，其中，计算用户的视线方向的步骤包括：根据瞳孔中心的三维坐标和眼球中心的三维坐标，计算瞳孔中心与眼球中心确定的直线来确定视线方向。2.根据权利要求1所述的视线跟踪方法，其中，对瞳孔中心进行定位的步骤包括：根据面部关键点的二维坐标或三维坐标获得眼部纹理图像，并计算形状归一化的眼部纹理图像；从形状归一化的眼部纹理图像中检测实际瞳孔区域；根据实际瞳孔区域确定瞳孔中心的坐标，并通过对瞳孔中心的坐标进行逆形状归一化，来计算瞳孔中心在输入图像中的坐标，其中，通过将瞳孔中心在输入图像中的坐标映射到面部关键点的三维坐标所在的坐标系来获得瞳孔中心的三维坐标。3.根据权利要求2所述的视线跟踪方法，其中，计算形状归一化的眼部纹理图像的步骤包括：将眼部纹理图像所覆盖的像素变换到规范化的纹理模板中，以获得形状归一化的眼部纹理图像，其中，通过将在眼部处于预定形状的条件下获得的眼部关键点投影到输入图像所在的平面上得到规范化的纹理模板。4.根据权利要求2所述的视线跟踪方法，其中，从形状归一化的眼部纹理图像中检测实际瞳孔区域的步骤包括：从眼部纹理图像中检测多个瞳孔候选区域；从检测的多个瞳孔候选区域中选择瞳孔区域；根据瞳孔区域确定实际瞳孔区域。5.根据权利要求4所述的视线跟踪方法，其中，从眼部纹理图像中检测多个瞳孔候选区域的步骤包括：使用窗口对眼部纹理图像进行扫描以获得多个窗口区域；使用下面的等式计算每个窗口区域的分数值其中，R表示窗口区域，ER表示窗口边缘区域，x表示像素坐标，I(x)为在像素坐标x处的像素的亮度，表示在像素坐标x处的亮度梯度，N为窗口区域内像素的个数，表示窗口区域内的像素的亮度均值，α、β、γ为权重系数，S(R)为窗口区域R的分数值；选择预定数量的分数值最小的窗口区域作为瞳孔候选区域。6.根据权利要求5所述的视线跟踪方法，其中，从检测的多个瞳孔候选区域中选择瞳孔区域的步骤包括：根据左瞳孔候选区域在左眼的形状归一化的眼部纹理图像中的相对位置和右瞳孔候选区域在右眼的形状归一化的眼部纹理图像中的相对位置，从左瞳孔候选区域和右瞳孔候选区域中确定出一对左右瞳孔区域。7.根据权利要求6所述的视线跟踪方法，其中，从检测的多个瞳孔候选区域中选择瞳孔区域的步骤还包括：从所有的左瞳孔候选区域与所有的右瞳孔候选区域的所有配对中，去除相对位置差别大于预定阈值的配对，从剩余的配对中选出分数值之和最小的一对左右瞳孔候选区域作为一对左右瞳孔区域。8.根据权利要求2或4所述的视线跟踪方法，其中，眼部纹理图像包括左眼的眼部纹理图像和右眼的眼部纹理图像，计算形状归一化的眼部纹理图像的步骤包括计算左眼的形状归一化的眼部纹理图像和右眼的形状归一化的眼部纹理图像，其中，通过将在眼部处于预定形状条件下的眼部关键点的三维坐标投影到一个平面上并连接映射到该平面上的关键点形成网格，来得到规范化的纹理模板。9.根据权利要求8所述的视线跟踪方法，其中，所述平面为由眼部关键点在空间中形成的眼部所正对或背对的一个平面。10.根据权利要求4所述的视线跟踪方法，其中，根据瞳孔区域确定实际瞳孔区域的步骤包括：(a)根据当前的瞳孔区域中像素的亮度均值，设置大于等于亮度均值的拒绝阈值，并设置小于等于亮度均值的接受阈值；(b)确定在当前的瞳孔区域内部的与当前的瞳孔区域的边缘相邻的像素中是否存在亮度大于拒绝阈值的像素，并确定在当前的瞳孔区域外...

【专利技术属性】
技术研发人员：冯雪涛，沈晓璐，张辉，金亭培，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：