【技术实现步骤摘要】
通过追踪光路来进行注视跟踪
本公开总体涉及注视跟踪。
技术介绍
已研发出不同的技术来监测用户正看着什么方向(或显示器上的什么点)。这经常被称为注视跟踪或眼睛跟踪。这些技术经常涉及检测眼睛图像中的某些特征，并随后基于这些检测到的特征的位置来计算注视方向或注视点。这种注视跟踪技术的示例是瞳孔中心角膜反射(PCCR)。基于PCCR的注视跟踪采用瞳孔中心的位置和闪光的位置(发光器在角膜处的反射)来计算眼睛的注视方向或显示器上的注视点。良好的注视跟踪表现对于用户体验来说通常是重要的。估算的注视点(或注视方向)例如应当是准确的，并且它不应落后于真实的注视点(或注视方向)达到使用户能够注意到这种影响的程度。若干因素可能影响注视跟踪表现。不同人的眼睛的特性可能有区别，并且甚至同一人的左眼和右眼特性也可能有区别。这种区别可至少一定程度地通过校准针对特定用户的眼睛模型来处理。然而，该眼睛模型只是真实眼睛的近似模型，因此可能发生相对于真实注视点(或注视方向)的某些偏离。在眼睛上存在眼镜、隐形眼镜和/或泪膜也可能例如通过为注视跟踪所利用的眼...
【技术保护点】
1.一种注视跟踪方法(1400)，包括：/n获得(1401)眼睛(100)的一个或多个图像，其中所述一个或多个图像中的图像(500)在所述眼睛被发光器(301)照射时在某一时例被相机(302)捕捉，其中由所述相机捕捉的所述图像展示所述发光器在所述眼睛的角膜(106)处的第一反射(116)，其中所述一个或多个图像中的图像(900)在所述时例由相机(302)捕捉并且展示边缘的至少一部分，其中所述边缘是：/n所述眼睛的瞳孔(102)的边缘(104)，或者/n所述眼睛的虹膜(101)的边缘(102)；/n检测(1402)展示所述第一反射的所述图像中的所述第一反射的位置(501)；/...
【技术特征摘要】
20181217 SE 1851597-31.一种注视跟踪方法(1400)，包括：
获得(1401)眼睛(100)的一个或多个图像，其中所述一个或多个图像中的图像(500)在所述眼睛被发光器(301)照射时在某一时例被相机(302)捕捉，其中由所述相机捕捉的所述图像展示所述发光器在所述眼睛的角膜(106)处的第一反射(116)，其中所述一个或多个图像中的图像(900)在所述时例由相机(302)捕捉并且展示边缘的至少一部分，其中所述边缘是：
所述眼睛的瞳孔(102)的边缘(104)，或者
所述眼睛的虹膜(101)的边缘(102)；
检测(1402)展示所述第一反射的所述图像中的所述第一反射的位置(501)；
检测(1403)展示所述边缘的至少一部分的所述图像中的所述边缘的至少一部分(901，904)；
获得(1404)所述眼睛在空间中的初步位置(109)和所述眼睛在空间中的初步取向(112)；
基于所述眼睛的所述初步位置和所述眼睛的所述初步取向来估算(1405)经由所述角膜处的反射朝向所述相机行进的光的第一初步光路(410)，所述相机用来捕捉展示所述第一反射的所述图像；
在由所述相机捕捉的所述眼睛的图像中估算(1406)来自所述第一初步光路的所述反射将出现在的位置(502)，所述相机用来捕捉展示所述第一反射的所述图像；
形成(1407)在展示所述第一反射的所述图像中的所述第一反射的检测位置与来自所述第一初步光路的所述反射将会出现在的估算位置之间的第一距离(503)；
基于所述眼睛的所述初步位置和所述眼睛的所述初步取向来估算(1408)通过所述眼睛的所述角膜的至少一部分朝向所述相机行进的光或者从所述眼睛的巩膜(117)朝向所述相机行进的光的第二初步光路(810)，所述相机用来捕捉展示所述边缘的至少一部分的所述图像；
在由所述相机捕捉的所述眼睛的图像中估算(1409)所述第二初步光路将看上去开始于其的位置(902,905)，所述相机用来捕捉展示所述边缘的至少一部分的所述图像；
形成(1410)在所述边缘与所述第二初步光路将看上去开始于其的估算位置之间的第二距离(903,906)；
至少基于所述第一距离和所述第二距离形成(1411)目标函数；以及
使用所述目标函数确定(1412)所述眼睛在空间中的更新的位置和/或所述眼睛在空间中的更新的取向。
2.如权利要求1所述的方法，其中展示所述第一反射的所述图像与展示所述边缘的至少一部分的所述图像一致。
3.如前述权利要求中的任一项所述的方法，其中人(1501)佩戴眼镜(450，1502)，其中所述眼睛是所述人的眼睛，并且
其中估算所述第一初步光路包括：
估算(1703)光在所述眼镜的一个或多个表面(421，422)处的折射；
和/或其中估算所述第二初步光路包括：
估算(1703)光在所述眼镜的一个或多个表面(421，422)处的折射。
4.如权利要求3所述的方法，还包括：
获得(1702)所述眼镜的位置和/或取向，
其中基于所获得的所述眼镜的位置和/或取向来估算光在所述眼镜的一个或多个表面处的折射。
5.如权利要求4所述的方法，还包括：
监测(1701)所述用户的头部姿态，
其中基于所述头部姿态来获得所述眼镜的位置和/或取向。
6.如前述权利要求中的任一项所述的方法，其中估算所述第一初步光路包括：
估算(1801)所述角膜处的反射点(2101)；
使用映射来确定(1802)向量(2106)，其中所述映射被适配成将所述角膜处的点映射至相应的向量；以及
使用所确定的向量作为法向向量来估算(1803)所述反射点处的反射。
7.如权利要求6所述的方法，其中估算所述角膜处的反射点包括：
确定线(2103)与表面(2102)之间的交点，
并且其中所确定的向量在所述交点处相对于所述表面的法向向量(2104)成角度(2107)。
8.如前述权利要求中的任一项所述的方法，其中所述第一初步光路是从所述发光器经由所述角膜处的反射行进至所述相机的光的初步光路，所述相机用于捕捉展示所述第一反射的所述图像。
9.如前述权利要求中的任一项所述的方法，其中估算所述第一初步光路包括：
获得光到达所述相机的初步方向；以及
将所述第一初步光路估算为经由所述角膜处的反射沿着所述初步方向到达所述相机的光的初步光路，
其中所述方法包括：
使用所述目标函数确定所述眼睛在空间内的更新的位置和/或所述眼睛在空间内的更新的取向和/或使光到达所述相机的更新的方向，其中确定的执行受制于如下条件：所述眼睛的位置、所述眼睛的取向和到达所述相机的光的方向对应于从所述发光器经由所述角膜处的反射行进至所述相机的光的光路。
10.如权利要求1-8中任一项所述的方法，
其中估算所述第一初步光路包括：
获得光到达所述相机的初步方向；
估算经由所述角膜处的反射沿所述初步方向到达所述相机的光的初步光路(610)；
形成所述初步光路与所述发光器之间的进一步距离(620)；
基于所述进一步距离确定光到达所述相机的更新的方向；以及
将所述第一初步光路估算为经由所述角膜处的反射沿所述更新的方向到达所述相机的光的光路(410)，
或者其中估算所述第一初步光路包括：
获得光离开所述发光器的初步方向；
估算沿所述初步方向离开所述发光器并在所述角膜处被反射的光的初步光路(710)；
形成所述初步光路与所述相机之间的进一步距离(720)；
基于所述进一步距离确定光离开所述发光器的更新的方向；以及
将所述第一初步光路估算为沿所述更新的方向离开所述发光器并在所述角膜处反射的光的光路(410)。
11.如前述权利要求中的任一项所述的方法，其中估算所述第二初步光路包括：
基于所述眼睛的所述初步位置和所述眼睛的所述初步取向来估算沿着所述边缘的空间内的点(811,1211)；以及
将所述第二初步光路估算为从空间内的所述点行进至所述相机的光的光路(810)，所述相机用于捕捉展示所述边缘的至少一部分的所述图像；
并且其中在由所述相机捕捉的所述眼睛的图像中估算所述第二初步光路将看上去开始于其的点，所述相机捕捉展示所述边缘的至少一部分的所述图像，所述估算包括：
估算所述点将出现在由相机捕捉的图像中的哪个位置，所述相机用于捕捉展示边缘的至少一部分的所述图像。
12.如权利要求11所述的方法，其中所述边缘是所述眼睛的瞳孔的边缘，其中所述方法还包括：
获得(1901)所述瞳孔的半径(118)的初步值；
其中基于所述眼睛的所述初步位置、所述眼睛的所述初步取向和所述瞳孔的半径的所述初步值来估算沿所述边缘的空间内的所述点；并且其中所述方法还包括：
使用所述目标函数来确定(1903)所述瞳孔的半径的更新的值。
13.如前述权利要求中的任一项所述的方法，其中估算所述第二初步光路包括：
获得光到达所述相机的初步方向；以及
估算在经过所述角膜的至少一部分之后或在从所述巩膜行进之后沿着所述初步方向到达所述相机的光...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。