眼睛跟踪系统技术方案

一种用于评价使用者在物体上的凝视点的系统，所述系统包括：眼睛跟踪器，其包括与第一坐标系相关联的至少一个眼睛跟踪器相机；光源；与第二坐标系相关联的至少一个定位相机，物体的几何数据存储在所述至少一个计算机可访问的存储设备中；其中，所述至少一个计算机的任一组合被配置为：确定使用者相对于第一坐标系的凝视线；确定至一个眼睛跟踪器相机相对于第二坐标系的位置；确定物体相对于第二坐标系的位置；以及基于任一坐标系中的凝视线和至少一个物体在任一坐标系中的位置确定凝视点。

Eye tracking system

A system for the evaluation of the user on the object of the gaze point, the system includes: the eye tracker, which comprises at least one eye tracker camera associated with a first coordinate system; light source; at least one camera location associated with the second coordinate system, the storage device geometric objects in the data store at least one computer can access; among them, any combination of the at least one computer is configured to determine the user with respect to the first coordinate system to determine the gaze; an eye tracker camera coordinate system relative to the second position; to determine the coordinates of the object relative to the second position; and based on any coordinate system in the gazing at the line and at least one object in a coordinate system to determine the position of the point of gaze.

【技术实现步骤摘要】
【国外来华专利技术】眼睛跟踪系统
本系统和装置大体涉及眼睛跟踪系统，特别是涉及具有处于可变空间布置中的系统元件的眼睛跟踪。相关专利申请的交叉引用本专利申请要求2015年3月23日提交的美国临时专利申请序列号62/136,643的优先权并且与之相关，该美国临时专利申请通过引用以其整体并入本文。
技术介绍
眼睛跟踪是已知技术，其技术和方法记载在AndrewDuchowski的ISBN978-1-84628-608-7的“眼睛跟踪方法论：理论与实际”中。该书籍描述了本领域已知用于从眼睛的图像计算凝视方向的各种方法。也可以获得公开使用眼睛跟踪技术的其他来源。眼睛跟踪设备的主要应用之一是提供使用者在显示屏或任何其他物体上的凝视点。在一些情况下，凝视点被显示在这样的显示屏上，而在一些情况下，凝视点位置可用于其他目的，例如激活功能。用于这样的目的的典型的眼睛跟踪系统被设计为使用眼睛跟踪器来跟踪显示屏表面上的凝视点，该眼睛跟踪器被安装在显示器的固定位置(通常为显示器的底部中心)并被设计为跟踪距显示器的通常距离为40～100cm处的使用者。因此，这样的眼睛跟踪器还被设计为跟踪通常距眼睛跟踪器40～100cm的使用者。这样的眼睛跟踪器允许使用者在眼睛跟踪器的头部箱(通常尺寸为40×40×40cm3)内自由运动。在各种应用中，例如外科手术室，常常期望将显示器定位在距离使用者超过100cm的距离处。被设计为跟踪在最大100cm处的使用者的眼睛跟踪器在附接于距离使用者超过100cm远的显示器上时将无法再跟踪使用者。长期以来需要一种在显示器(或任何其他被观察的物体)距离使用者比眼睛跟踪器距离使用者的最大可用距离还远的情况下能够使用这样的眼睛跟踪器的系统。本专利技术的系统还能够使眼睛跟踪器与显示器(或物体)之间的空间关系不固定，使得它们可以相对于彼此移动并仍在显示屏上保持凝视点跟踪。在一个实施例中，本专利技术的系统被用来在外科手术过程中帮助使用者。在外科手术环境的一些布置中，紧邻使用者的空间可能会加载器械，达到希望将监视器移动更远的程度。如果使用者与监视器的显示器的期望位置之间的距离变得大于现有眼睛跟踪器的当前的典型范围时，将会损害这些眼睛跟踪器的正确使用。
技术实现思路
本专利技术提供除去眼睛跟踪器相对于监视器(或物体)的固定位置的自由度，并且允许在任何时间多方面定位和改变位置，而不干扰凝视点跟踪。该系统包括被配置为跟踪使用者的眼睛移动的相机和关联计算机、被配置为跟踪监视器屏幕(或任何其他物体)的相机和关联计算机以及被配置为控制该系统的操作的一个或多个计算机。所有计算机功能可以在单个计算机或任意数量的多个计算机的任一组合中处理。除了控制该系统之外，计算机可以被配置为或包括适于从拍摄使用者的眼睛运动的相机接收数据并计算使用者的凝视线(或从眼睛跟踪器接收使用者的凝视线)的机构。监视器跟踪器可以定位并识别监视器的空间位置(特别是其中显示的图像区域)。计算机可以被配置为计算凝视线在监视器屏幕区域上的入射点，以提供使用者在监视器屏幕上的凝视点。在一些实施例中，许多计算机可以参与该处理并且计算机的计算任务可以分配在多个计算机之间。这样的系统以使用者、跟踪系统和监视器之间灵活的几何关系提供使用者在监视器显示屏上的凝视点。该系统还可以支持多个监视器和眼睛跟踪系统。该系统改变了现有感知，根据该现有感知，监视器屏幕应该与眼睛跟踪器成固定关系位于或定位于紧邻使用者的眼睛，其中眼睛跟踪器通常固定在监视器的底部。采用本专利技术，由于监视器屏幕现在能够定位在距离使用者较远的距离处，因此监视器屏的位置或定位变得灵活。在本专利技术的一个实施例中，物体跟踪器相机相对于眼睛跟踪器安装在固定位置，以便跟踪物体，物体和眼睛跟踪器中的至少一个可相对于彼此移动，并且在监视器的情况下，凝视点可以标记在显示器上。在本专利技术的另一个实施例中，物体跟踪器相机相对于物体安装在固定位置，以便跟踪眼睛跟踪器，物体和眼睛跟踪器中的至少一个可相对于彼此移动，并且在监视器的情况下，凝视点可以标记在显示器上。在本专利技术的又一个实施例中，物体跟踪器相机位于任何位置并且被配置为跟踪物体和眼睛跟踪器二者，物体、物体跟踪器和眼睛跟踪器中至少一个可相对于彼此移动，并且在监视器的情况下，凝视点可以标记在显示器上。本专利技术还提供使用可通过监视器显示的或可位于房间内的不同位置的目标(参考点)进行校准的方法。本专利技术具体能够通过将显示器定位在较靠近眼睛跟踪器以便覆盖眼睛跟踪器的跟踪范围来校准比用于跟踪的显示器的范围大的范围。本专利技术具体能够通过将显示器相对于眼睛跟踪器定位在多个位置以便覆盖眼睛跟踪器的跟踪范围来校准比用于跟踪的显示器的范围大的范围。显示在房间内不同位置的校准目标可以包括安装在房间周围的特定目标形状、安装在房间周围的光源和使用一种目标或多种目标的混合同时或一个接一个投射到房间的不同固定元件(例如，墙壁和箱柜)上的目标中的任何一个。本专利技术还提供在多个物体上跟踪凝视点，并且在监视器的情况下，在都位于不同位置并且可移动的多个监视器上跟踪凝视点，而不干扰一个或任意数量的物体(和监视器)的凝视点跟踪。本专利技术还提供用于引入多个物体跟踪器(或物体跟踪器相机)的系统和方法。本专利技术还提供用于引入多个眼睛跟踪器的系统和方法。可使用立体成像和常规三角测量方法来设置3D坐标系，以在坐标系中描述物体的位置和取向。可使用单个相机来使用2D-3D姿态方法确定物体在坐标系中的位置和取向，例如记载在下述文献中的2D-3D姿态方法：Rosenhahn,B.的“关于2D-3D姿态估计的基础”；Wikipedia:https://en.wikipedia.org/wiki/3D_pose_estimation；Rosenhahen,B.,SommerG.：“针对不同对应实体的自适应姿态估计”，在Springer,Heidelberg(2002)出版的VanGool,L.(主编)DAGM2002，第2449卷，第265-273页；以及DanielF.Dementhon,LarryS.Davis的“在25行代码中的基于模型的物体姿态”，国际计算机视觉杂志(1995年6月)，第15卷，第1期，第123-141页。根据本专利技术的一个方面，提供一种用于评价使用者在物体上的凝视点的系统，所述系统包括：至少一个眼睛跟踪器相机和至少一个定位相机，所述至少一个眼睛跟踪器相机和所述至少一个定位相机被配置为相对于彼此设置在固定位置；至少一个光源，其被配置为从使用者的至少一个眼睛提供角膜反射；至少一个计算机；以及至少一个物体，其中所述至少一个物体的几何数据被存储在所述至少一个计算机可访问的存储设备中；其中，至少一个计算机的任一组合被配置为：(a)基于从至少一个眼睛跟踪器相机接收到的至少一个图像确定使用者相对于坐标系的凝视线；(b)基于从至少一个定位相机接收到的图像确定至少一个物体相对于坐标系的位置；以及(c)基于凝视线、至少一个物体的位置以及至少一个物体的几何数据确定凝视点。至少一个物体可以包括至少两个物体；该至少两个物体可以被配置为相对于彼此设置在固定位置。至少一个物体可以是监视器；该监视器可以被配置为显示至少一个标记。至少一个定位相机可以包括至少两个定位相机；该至少两个定位相机可以被配置为能够使用本文档来自技高网...

【技术保护点】
一种用于评价使用者在物体上的凝视点的系统，所述系统包括：至少一个眼睛跟踪器相机和至少一个定位相机，所述至少一个眼睛跟踪器相机和所述至少一个定位相机被配置为相对于彼此设置在固定位置；至少一个光源，其被配置为从使用者的至少一个眼睛提供角膜反射；至少一个计算机；以及至少一个物体，其中所述至少一个物体的几何数据被存储在所述至少一个计算机可访问的存储设备中；其中，所述至少一个计算机的任一组合被配置为：(a)基于从所述至少一个眼睛跟踪器相机接收到的至少一个图像确定使用者相对于坐标系的凝视线；(b)基于从所述至少一个定位相机接收到的图像确定所述至少一个物体相对于坐标系的位置；以及(c)基于所述凝视线、所述至少一个物体的位置以及所述至少一个物体的几何数据确定凝视点。

【技术特征摘要】
【国外来华专利技术】2015.03.23 US 62/136,6431.一种用于评价使用者在物体上的凝视点的系统，所述系统包括：至少一个眼睛跟踪器相机和至少一个定位相机，所述至少一个眼睛跟踪器相机和所述至少一个定位相机被配置为相对于彼此设置在固定位置；至少一个光源，其被配置为从使用者的至少一个眼睛提供角膜反射；至少一个计算机；以及至少一个物体，其中所述至少一个物体的几何数据被存储在所述至少一个计算机可访问的存储设备中；其中，所述至少一个计算机的任一组合被配置为：(a)基于从所述至少一个眼睛跟踪器相机接收到的至少一个图像确定使用者相对于坐标系的凝视线；(b)基于从所述至少一个定位相机接收到的图像确定所述至少一个物体相对于坐标系的位置；以及(c)基于所述凝视线、所述至少一个物体的位置以及所述至少一个物体的几何数据确定凝视点。2.根据权利要求1所述的系统，其中，所述至少一个物体包括至少两个物体；所述至少两个物体被配置为相对于彼此设置在固定位置。3.根据权利要求1所述的系统，其中，所述至少一个物体是监视器；所述监视器被配置为显示至少一个标记。4.根据权利要求1所述的系统，其中，所述至少一个定位相机包括至少两个定位相机；所述至少两个定位相机被配置为能够使用立体方法确定所述至少一个物体的位置。5.一种用于评价使用者在物体上的凝视点的系统，所述系统包括：至少一个眼睛跟踪器相机，其与相对于所述至少一个眼睛跟踪器相机固定的第一坐标系相关联；至少一个光源，其被配置为从使用者的至少一个眼睛提供角膜反射；至少一个计算机；至少一个物体，其中所述至少一个物体的几何数据被存储在所述至少一个计算机可访问的存储设备中；以及至少一个定位相机，其被配置为相对于所述至少一个物体设置在固定位置；所述至少一个定位相机被配置为与相对于所述至少一个定位相机固定的第二坐标系相关联；其中，所述至少一个计算机的任一组合被配置为：(a)基于从所述至少一个眼睛跟踪器相机接收到的至少一个图像确定使用者相对于所述第一坐标系的凝视线；(b)基于从所述至少一个定位相机接收到的至少一个图像确定所述至少一个眼睛跟踪器相机相对于所述第二坐标系的位置，由此确定一个坐标系在其他坐标系中的位置；以及(c)基于在任一坐标系中的凝视线、所述至少一个物体在任一坐标系中的位置以及所述至少一个物体的几何数据确定凝视点。6.根据权利要求5所述的系统，其中，所述至少一个物体包括至少两个物体；其中所述至少两个物体被配置为相对于彼此设置在固定位置。7.根据权利要求5所述的系统，其中，所述至少一个定位相机包括至少两个定位相机；所述至少两个定位相机被配置为能够使用立体方法确定所述至少一个物体的位置。8.一种用于评价使用者在物体上的凝视点的系统，所述系统包括：眼睛跟踪器，其包括：至少一个眼睛跟踪器相机，其与相对于所述至少一个眼睛跟踪器相机固定的第一坐标系相关联；光源，其被配置为从使用者的至少一个眼睛提供角膜反射；以及至少一个计算机；至少一个定位相机，其与相对于所述至少一个定位相机固定的第二坐标系相关联；以及至少一个物体，其中所述至少一个物体的几何数据存储在所述至少一个计算机可访问的存储设备中；其中，所述至少一个计算机的任一组合被配置为：(a)基于从所述至少一个眼睛跟踪器相机接收到的图像确定使用者相对于所述第一坐标系的凝视线；(b)基于从至少一个定位相机接收到的图像确定所述至少一个眼睛跟踪器相机相对于所述第二坐标系的位置，由此确定一个坐标系在另一个坐标系中的位置；(c)基于来自所述至少一个定位相机的图像和存储的所述至少一个物体的几何数据确定所述至少一个物体相对于所述第二坐标系的位置；以及(d)基于在任一坐标系中的凝视线以及所述至少一个物体在任一坐标系中的位置确定凝视点。9.根据权利要求8所述的系统，其中，第一定位相机被配置为确定所述至少一个眼睛跟踪器相机的位置，所述第一定位相机与相对于所述第一定位相机固定的第二坐标系相关联；其中，第二定位相机被配置为确定所述至少一个物体的位置，所述第二定位相机与相对于所述第二定位相机固定的第三坐标系相关联；并且其中，通过所述至少一个眼睛跟踪器确定的凝视线与所述至少一个物体的交点基于所述第二坐标系与所述第三坐标系之间的变换来确定。10.根据权利要求8所述的系统，其中，所述至少一个物体包括至少两个物体；其中所述至少两个物体被配置为相对于彼此设置在固定位置。11.根据权利要求8所述的系统，其中，所述至少一个物体是监视器；所述监视器被配置为显示至少一个标记。12.根据权利要求8所述的系统，其中，所述至少一个定位相机包括至少两个定位相机；所述至少两个定位相机被配置为能够使用立体方法确定所述至少一个物体的位置。13.一种校准和使用眼睛跟踪器的方法，所述眼睛跟踪器被配置为跟踪使用者...

【专利技术属性】
技术研发人员：哈伊姆·梅尔曼，尼尔·埃登，
申请(专利权)人：控制辐射系统有限公司，哈伊姆·梅尔曼，
类型：发明
国别省市：美国,US