视线跟踪系统及方法技术方案

公开一种视线跟踪系统及方法，所述视线跟踪系统包括：多个摄像头；与所述多个摄像头对应的多组光源；光源控制装置，控制所述多组光源依次发光，以便所述多个摄像头拍摄用户的亮瞳图像和暗瞳图像；视线特征检测单元，从所述多个摄像头拍摄的亮瞳图像和暗瞳图像中检测瞳孔中心点的位置和反射亮斑的位置；视线估计单元，通过使用检测到的瞳孔中心点的位置和反射亮斑的位置来计算角膜曲面中心点与瞳孔中心点的三维空间位置，从而跟踪双眼视线的方向，以确定双眼的关注位置。

【技术实现步骤摘要】
视线跟踪系统及方法
本专利技术涉及一种视线跟踪系统及方法，更具体地讲，涉及一种基于多个摄像头的使用双眼视线估计模型的高精度视线跟踪系统及方法。
技术介绍
视线是眼睛注视的方向，它代表一个人关注的焦点。近几十年，视线追跟踪一直都是比较活跃的研究课题。视线跟踪在人机交互领域存在着很大的应用潜力。例如，当用户注视显示器屏幕时，可以通过视线跟踪系统估计出用户在屏幕上的注视点。因此，视线可以作为先进的计算机输入手段，其已经被证明比传统输入设备(比如鼠标)更有效率，而且身体残障人士也可以使用视线跟踪系统。此外，还可以实现基于视线跟踪技术的互动显示器，该显示器显示的画面可随视线的变化而变化。与此同时，视线跟踪也被认知科学家广泛地应用于人类的认知和记忆研究。然而，尽管已经对视线跟踪进行了大量的研究工作，但是在现实世界中使用计算机视觉的方法估计人眼视线的方向依然是个难题，特别是在有光照变化、头部旋转角度大等情况下更加明显。目前的视线跟踪方法可以大致分为基于头戴式设备的视线跟踪方法和远距离视线跟踪方法。基于头戴式设备的视线跟踪方法需要在头部佩戴一个类似头盔的设备，利用安装在头戴式设备上的摄像头采集眼睛的图像信息。这种方法的最大问题是使用与携带不方便，为用户带来额外的负担，而且由于头戴式设备比较复杂以及成本较高，限制了广泛推广的可能。与之相比较，远距离视线跟踪方法是一种非接触式的方法，它不需要用户佩戴额外的设备，不会影响用户的自然使用。远距离视线跟踪方法主要是基于瞳孔-角膜反射技术的方法，也就是利用红外光源在人眼中产生反射点，通过追踪瞳孔中心与角膜反射的相对位置，根据相机的成像路径估计人眼球的三维位置，得到视线方向。这种方法有以下几个优点：(1)因为采用几何模型进行视线估计，所以视线跟踪的精度不会随着头部运动而受到很大影响；(2)三维视线估计方法估计的是空间视线方向，而不是屏幕视线落点，所以视线跟踪不依赖于屏幕位置、大小、形状，可以计算视线在任何物体上的注视点。然而，这种方法同时也存在以下几个缺点：(1)由于需要长焦距相机而导致视角狭窄；(2)无法同时支持多个人进行视线估计和跟踪；(3)视线跟踪精度有待提高。
技术实现思路
因此，为了解决现有技术中的以上缺点，本专利技术的目的在于提供基于多个摄像头的使用双眼视线估计模型的高精度视线跟踪系统及方法。根据本专利技术的一方面，提供一种视线跟踪系统，包括：多个摄像头；与所述多个摄像头对应的多组光源；光源控制装置，控制所述多组光源依次发光，以便所述多个摄像头拍摄用户的亮瞳图像和暗瞳图像；视线特征检测单元，从所述多个摄像头拍摄的亮瞳图像和暗瞳图像中检测瞳孔中心点的位置和反射亮斑的位置；视线估计单元，通过使用检测到的瞳孔中心点的位置和反射亮斑的位置来计算角膜曲面中心点与瞳孔中心点的三维空间位置，从而跟踪双眼视线的方向，以确定双眼的关注位置。所述视线跟踪系统还包括：关注位置修正单元，通过使用用户观看的屏幕上的多个已知点进行位置标定，来修正双眼的关注位置。所述多组光源是对应于所述多个摄像头的同轴光源。一组光源包括若干个红外LED，所述若干个LED环绕与该组光源对应的一个摄像头均匀地布置。对于一个摄像头，当与该摄像头对应的一组光源发光时，该摄像头拍摄用户的亮瞳图像，当其他各组光源发光时，该摄像头拍摄用户的暗瞳图像。视线特征检测单元根据亮瞳图像中人眼区域的灰度信息检测瞳孔中心点的位置。视线特征检测单元基于亮瞳图像的灰度值进行瞳孔区域分割，然后对分割结果进行椭圆拟合，并将拟合得到的椭圆的中心作为瞳孔中心点，从而获得瞳孔中心点的位置。视线特征检测单元从暗瞳图像中相互靠近且大小近似相等的多个反射亮斑中搜索距离瞳孔中心最近的圆形反射亮斑，将该圆形反射亮斑作为眼角膜的反射亮斑，从而获得反射亮斑的位置。视线估计单元计算左右两眼的瞳孔中心点的三维坐标以及左右两眼的角膜曲面中心点的三维坐标，从而获得由瞳孔中心点与角膜曲面中心点的连线表现的左眼视线和右眼视线，并将左眼视线和右眼视线的交点确定为双眼的关注位置。左眼和右眼分别满足方程(1)至(8)，qij＝oj+kq,ij(oj-uij)(1)||qij-c||＝R1(2)(li-oj)×(qij-oj)·(c-oj)＝0(3)(li-qij)·(qij-c)*||oj-qij||＝(oj-qij)×(qij-c)*||li-qij||(4)rj＝oj+kr,j(oj-vj)(5)||rj-c||＝R1(6)(rj-oj)×(c-oj)·(p-oj)＝0(7)n1*||(rj-c)×(p-rj)||*||oj-rj||＝n2*||(rj-c)×(oj-rj)||*||p-rj||(8)其中，×表示向量叉乘，·表示向量点乘，*表示数值相乘，i表示第i组光源，j表示第j个摄像头，qij表示每只眼睛的眼角膜的光线反射点，oj表示摄像头j的镜头中心点，uij每只眼睛的暗瞳图像中的反射亮斑的位置，kq,ij表示连接每只眼睛的眼角膜的光线反射点与每只眼睛的暗瞳图像中的反射亮斑的位置的直线的斜率，c表示每只眼睛的眼角膜曲面中心点，R1表示眼角膜曲面所在球面的半径常数，li表示离轴光源的位置，rj表示每只眼睛的眼角膜的光线折射点，vj表示每只眼睛的亮瞳图像中的瞳孔中心点的位置，kr,j表示连接每只眼睛的眼角膜的光线折射点与每只眼睛的亮瞳图像中的瞳孔中心点的位置的直线的斜率，p表示每只眼睛的瞳孔中心点，n1表示房水与眼角膜之间的折射系数，n2表示空气与眼角膜之间的折射系数，视线估计单元在满足以下约束条件的情况下针对左眼和右眼求解方程(1)至(8)来确定双眼的关注位置：R＝c1+k1(p1-c1)R＝c2+k2(p2-c2)c1+k1(p1-c1)＝c2+k2(p2-c2)，其中，R表示双眼视线关注位置，c1表示左眼的角膜曲面中心点，c2表示右眼的角膜曲面中心点，p1表示左眼的瞳孔中心点，p2表示右眼的瞳孔中心点，k1表示左眼视线的光轴的斜率，k2表示右眼视线的光轴的斜率。如果所述多组光源的数量为N组，则左眼和右眼分别满足N个方程(1)至(8)，并且视线估计单元在满足所述约束条件的情况下针对左眼和右眼求解总共16*N个方程来确定双眼的关注位置。在用户观看的屏幕上预先设置多个已知目标点，并且视线特征检测单元确定已知目标点的位置，其中，关注位置修正单元计算确定的已知目标点的位置与已知目标点的实际位置之间的误差，根据视线估计单元确定的双眼的关注位置与确定的已知目标点的位置之间的距离来计算权重，并使用误差修正模型来修正视线估计单元确定的双眼的关注位置。关注位置修正单元通过使用以下等式来修正视线估计单元确定的双眼的关注位置：ea＝(sa-pa)，da＝||Pcomputed-pa||，其中，M表示已知目标点的数量，f表示第f个已知目标点，a表示第a个已知目标点，b表示第b个已知目标点，Pprocessed表示修正后的双眼的关注位置，Pcomputed表示视线估计单元确定的双眼的关注位置，wa表示权重，sa表示已知目标点的实际位置，pa表示视线估计单元确定的已知目标点的位置，ea表示已知目标点的实际位置与视线估计单元确定的已知目标点的位置之间的误差，da表示视线估计单元确定的双眼的关注位置与第a个已本文档来自技高网...

【技术保护点】
一种视线跟踪系统，包括：多个摄像头；与所述多个摄像头对应的多组光源；光源控制装置，控制所述多组光源依次发光，以便所述多个摄像头拍摄用户的亮瞳图像和暗瞳图像；视线特征检测单元，从所述多个摄像头拍摄的亮瞳图像和暗瞳图像中检测瞳孔中心点的位置和反射亮斑的位置；视线估计单元，通过使用检测到的瞳孔中心点的位置和反射亮斑的位置来计算角膜曲面中心点与瞳孔中心点的三维空间位置，从而跟踪双眼视线的方向，以确定双眼的关注位置。

【技术特征摘要】
1.一种视线跟踪系统，包括：多个摄像头；与所述多个摄像头对应的多组光源；光源控制装置，控制所述多组光源依次发光，以便所述多个摄像头拍摄用户的亮瞳图像和暗瞳图像；视线特征检测单元，从所述多个摄像头拍摄的亮瞳图像和暗瞳图像中检测瞳孔中心点的位置和反射亮斑的位置；视线估计单元，通过使用检测到的瞳孔中心点的位置和反射亮斑的位置来计算角膜曲面中心点与瞳孔中心点的三维空间位置，从而跟踪双眼视线的方向，以确定双眼的关注位置，其中，视线估计单元基于检测到的瞳孔中心点的位置和反射亮斑的位置计算每只眼睛的角膜曲面中心点与瞳孔中心点的三维空间位置，获得沿连接瞳孔中心点与角膜曲面中心点的视线的光轴的每只眼睛的视线方向，并基于检测的瞳孔中心点的位置和反射亮斑的位置，通过跟踪眼睛的视线方向，将两只眼睛的视线方向的交点确定为双眼的关注位置。2.根据权利要求1所述的视线跟踪系统，还包括：关注位置修正单元，通过使用用户观看的屏幕上的多个已知点进行位置标定，来修正双眼的关注位置。3.根据权利要求1所述的视线跟踪系统，其中，所述多组光源是对应于所述多个摄像头的同轴光源。4.根据权利要求1所述的视线跟踪系统，其中，一组光源包括若干个红外LED，所述若干个LED环绕与该组光源对应的一个摄像头均匀地布置。5.根据权利要求1所述的视线跟踪系统，其中，对于一个摄像头，当与该摄像头对应的一组光源发光时，该摄像头拍摄用户的亮瞳图像，当其他各组光源发光时，该摄像头拍摄用户的暗瞳图像。6.根据权利要求1所述的视线跟踪系统，其中，视线特征检测单元根据亮瞳图像中人眼区域的灰度信息检测瞳孔中心点的位置。7.根据权利要求6所述的视线跟踪系统，其中，视线特征检测单元基于亮瞳图像的灰度值进行瞳孔区域分割，然后对分割结果进行椭圆拟合，并将拟合得到的椭圆的中心作为瞳孔中心点，从而获得瞳孔中心点的位置。8.根据权利要求1所述的视线跟踪系统，其中，视线特征检测单元从暗瞳图像中相互靠近且大小近似相等的多个反射亮斑中搜索距离瞳孔中心最近的圆形反射亮斑，将该圆形反射亮斑作为眼角膜的反射亮斑，从而获得反射亮斑的位置。9.根据权利要求1所述的视线跟踪系统，其中，视线估计单元计算左右两眼的瞳孔中心点的三维坐标以及左右两眼的角膜曲面中心点的三维坐标，从而获得由瞳孔中心点与角膜曲面中心点的连线表现的左眼视线和右眼视线，并将左眼视线和右眼视线的交点确定为双眼的关注位置。10.根据权利要求1所述的视线跟踪系统，其中，左眼和右眼分别满足方程(1)至(8)，qij＝oj+kq,ij(oj-uij)(1)||qij-c||＝R1(2)(li-oj)×(qij-oj)·(c-oj)＝0(3)(li-qij)·(qij-c)*||oj-qij||＝(oj-qij)×(qij-c)*||li-qij||(4)rj＝oj+kr,j(oj-vj)(5)||rj-c||＝R1(6)(rj-oj)×(c-oj)·(p-oj)＝0(7)n1*||(rj-c)×(p-rj)||*||oj-rj||＝n2*||(rj-c)×(oj-rj)||*||p-rj||(8)其中，×表示向量叉乘，·表示向量点乘，*表示数值相乘，i表示第i组光源，j表示第j个摄像头，qij表示每只眼睛的眼角膜的光线反射点，oj表示摄像头j的镜头中心点，uij每只眼睛的暗瞳图像中的反射亮斑的位置，kq,ij表示连接每只眼睛的眼角膜的光线反射点与每只眼睛的暗瞳图像中的反射亮斑的位置的直线的斜率，c表示每只眼睛的眼角膜曲面中心点，R1表示眼角膜曲面所在球面的半径常数，li表示离轴光源的位置，rj表示每只眼睛的眼角膜的光线折射点，vj表示每只眼睛的亮瞳图像中的瞳孔中心点的位置，kr,j表示连接每只眼睛的眼角膜的光线折射点与每只眼睛的亮瞳图像中的瞳孔中心点的位置的直线的斜率，p表示每只眼睛的瞳孔中心点，n1表示房水与眼角膜之间的折射系数，n2表示空气与眼角膜之间的折射系数，视线估计单元在满足以下约束条件的情况下针对左眼和右眼求解方程(1)至(8)来确定双眼的关注位置：R＝c1+k1(p1-c1)R＝c2+k2(p2-c2)c1+k1(p1-c1)＝c2+k2(p2-c2)，其中，R表示双眼视线关注位置，c1表示左眼的角膜曲面中心点，c2表示右眼的角膜曲面中心点，p1表示左眼的瞳孔中心点，p2表示右眼的瞳孔中心点，k1表示左眼视线的光轴的斜率，k2表示右眼视线的光轴的斜率。11.根据权利要求10所述的视线跟踪系统，其中，如果所述多组光源的数量为N组，则左眼和右眼分别满足N个方程(1)至(8)，并且视线估计单元在满足所述约束条件的情况下针对左眼和右眼求解总共16*N个方程来确定双眼的关注位置。12.根据权利要求2所述的视线跟踪系统，其中，在用户观看的屏幕上预先设置多个已知目标点，并且视线特征检测单元确定已知目标点的位置，其中，关注位置修正单元计算确定的已知目标点的位置与已知目标点的实际位置之间的误差，根据视线估计单元确定的双眼的关注位置与确定的已知目标点的位置之间的距离来计算权重，并使用误差修正模型来修正视线估计单元确定的双眼的关注位置。13.根据权利要求12所述的视线跟踪系统，其中，关注位置修正单元通过使用以下等式来修正视线估计单元确定的双眼的关注位置：ea＝(sa-pa)，da＝||Pcomputed-pa||，其中，M表示已知目标点的数量，f表示第f个已知目标点，a表示第a个已知目标点，b表示第b个已知目标点，Pprocessed表示修正后的双眼的关注位置，Pcomputed表示视线估计单元确定的双眼的关注位置，wa表示权重，sa表示已知目标点的实际位置，pa表示视线估计单元确定的已知目标点的位置，ea表示已知目标点的实际位置与视线估计单元确定的已知目标点的位置之间的误差，da表示视线估计单元确定的双眼的关注位置与第a个已知目标点的位置之间的距离，db表示视线估计单元确定的双眼的关注位置与第b个已知目标点的位置之间的距离，df表示视线估计单元确定的双眼的关注位置与第f个已知目标点的位置之间的距离。14.一种视线跟踪方法，...

【专利技术属性】
技术研发人员：王西颖，高书征，金智渊，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京;11