用于跟踪观察者的注视点的系统和方法技术方案

一种用于跟踪观察对象的观察者的注视点的系统包括用于记录观察者的眼睛的图像的相机，包括用于提供发光标记的装置和用于分析眼睛的图像以确定标记在眼睛上的反射和瞳孔中心的装置。标记的角膜反射和瞳孔中心的相对位置被测量。依据所确定的相对位置，重定位标记，以改进标记的角膜反射与瞳孔中心之间的相符性。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于跟踪观察对象的观察者的注视点的系统，其中该系统包括用于记录观察者的眼睛的图像的设备，包括用于在被观察的对象上提供发光标记或提供与被观察的对象相关联的发光标记的装置和用于从图像确定标记的角膜反射和瞳孔的中心的装置。本专利技术进一步涉及用于跟踪观察对象的观察者的注视点的方法，其中该方法包括记录观察者的眼睛的图像，在被观察的对象上提供发光标记或提供与被观察的对象相关联的发光标记，以及从图像确定标记的角膜反射和瞳孔的中心。
技术介绍
从美国专利申请US 2006/0110008获悉一种上述类型的系统和方法。在该文献中，提供了多个标记，并且其中至少一个标记(其角膜反射在瞳孔中心的 阈值距离内)被识别或者至少两个标记具有靠近瞳孔中心的角膜反射。所识别的一个或多个标记指示观察者在对象处的注视点。对观看方向或称为注视的连续测量通常被称为“注视-跟踪”(经常使用更含糊不清的术语“眼睛-跟踪”)。存在各种方法来执行注视跟踪。视频捕获已表明是一种用于远程的且真正不引人注目的注视跟踪的可行选择。然而，实际上，所有注视跟踪系统需要用户特定的校准，在此之后，仅允许用户较小的头部移动。因此，这些系统被限制于桌面(desktop)使用并且不适合消费者应用。在消费者应用中，用户特定的校准不是现实的选择。免校准的注视跟踪广泛地受到若干研究中心的追求，经常通过基于现有概念推断(更多相机，更多处理)，观察者可以是人(无论是成年人还是儿童)，而且可以是动物。US2006/0110008试图补救该问题并提供一种免校准系统和方法。在眼睛正在注视光源的情形下，该光源在角膜中的反射看似与瞳孔中心一致。2006/0110008的系统和方法在对象上提供了多个标记。在所记录的眼睛图像中，具有在瞳孔中心的阈值距离内的角膜反射的标记或具有靠近瞳孔中心的角膜反射的多个标记被识别。这些用于估计注视的方向。然而，已知的系统具有多个缺点 -这些标记中的每一个必须被标注。该条件需要在可以对标记进行识别之前分析多个视频帧。这在注视跟踪过程中引入了延迟(latency)。给定眼睛的运动性，时间延迟(latency)快速地引起运动伪影。-在使用一个标记的地方，在所建立的注视方向的精度中总是存在等价于阈值距离的误差(inaccuracy)o-在使用超过一个标记的地方，需要插值。这需要计算能力并引入了误差。
技术实现思路
本专利技术的目的是提供一种改进注视跟踪的速度和/或精度的系统和方法。为此，该系统是包括用于确定标记的角膜反射与瞳孔中心的相对位置的装置和用于依据所确定的相对位置重定位标记的装置的系统。该方法是一种这样的方法其中确定标记的角膜反射与瞳孔中心的相对位置并且依据所确定的相对位置重定位标记。在本专利技术的系统和方法中，减少了时间延迟(latency)，因为标记不是静态标记，而是基于对标记的角膜反射与瞳孔中心的相对位置的测量的反馈而被重定位。该标记被重定位(即标记在被观察的对象上的位置或与被观察对象相关联的位置被改变)以改进标记的角膜反射与瞳孔中心之间的相符性(correspondence),优选地以使标记的角膜反射与瞳孔中心一致或几乎一致。当角膜反射与瞳孔中心一致时，可以精确地确定注视的方向，因为标记在被观察的对象上的位置或与被观察对象相关联的位置然后以高精确度指示注视的方向。观察者可以是人类并且在许多情况下将会是人类，但是在根据本专利技术的方法和系统中，观察者也可以是非人类观察者，例如在动物研究中的动物，以便例如研究诸如狗或灵 长类之类的动物的注视。该系统和方法相对于先前的方法提供了多个优点 籲与许多当前解决方案对照，该系统和方法不需要用户-相关的校准。 该系统和方法基于眼睛的光学属性，其很大程度上独立于头部位置和取向并且在不同个体之中几乎不变。 该系统和方法允许头部移动的自由度远超现有注视跟踪系统的自由度。这是在使得注视跟踪能够用于消费者应用中的必要步骤。 相对于US2006/0110008的系统和方法，不需要利用唯一标识符对单独的标记或标记组进行标注(label)。该已知的系统使用时间光调制来编码引入与代码长度成比例的(以帧数来表达的)时间延迟(latency)不同的标识符。本专利技术的系统和方法响应得快得多，并且反馈系统已经显示出收敛更快,经常在单个帧延迟内。与US2006/0110008的系统和方法相比，标记的角膜反射与瞳孔中心之间的相符性可得到更多改进，从而减少了误差。通过让标记的反射与瞳孔中心一致，由于US2006/0110008中的阈值引起的任何误差被减少或最小化。根据本专利技术的系统和方法使用用于响应于记录的图像中所确定的角膜反射与瞳孔中心的相对位置重定位标记的装置。尽管标记的自适应重定位提供了比使用固定标记的已知系统和方法稍微更复杂的方法和系统，但所述优点是显著的。在实施例中，该系统包括显示设备，并且标记的位置与显示设备有关。存在若干种方式将标记的位置关联到显示设备(例如，TV或监视器)。一种方式是在显示设备的显示屏上、在位于显示屏前面的透明屏幕上使标记闪光(shine)，或者在优选地实施例中，用于提供标记的装置和显示设备被集成到单个设备。在实施例中，该显示设备本身包括用于在显示设备的显示屏上的图像中提供标记的装置。这可以例如通过在所显示的可见图像中隐藏标记来完成。隐藏(意指标记对观察者而言无法辨别)可以通过向标记提供时间或空间或组合的时间和空间特征和/或谱特征(signature)以使得被调谐到所述特征的相机能够检测标记(而观察者不能检测)来进行。可以通过使用在人类范围之外的光谱的一部分中的标记来提供不引人注目的标记。该标记于是对人眼而言是不可见的。红外(IR)标记和紫外(UV)标记是这样的标记的示例。甚至可以使得可见范围中的标记对观察者而言在它不能被观察者看到的情况下是不可检测的。例如，标记可以通过形成图像序列来提供，其中标记对于人类或动物眼睛而言被隐藏，但是对针对标记调谐的相机而言是可辨别的。在这种实施例中，标记具有时间特征。在实施例中，该标记对人眼而言是可检测的。在实施例中，可能有利的是，向人类观察者或第三人提供在注视方向上的直接的可见信息。然而，在许多实例中，优选的是标记对观察者而言是不引入注目的，以避免振荡行为。如果标记被注意到，则观察者的眼睛可能尝试跟踪标记，这是难以避免的，因为观察者的注视可能被标记吸引。由于移动标记经由系统反馈而跟踪眼睛移动，并且眼睛可能在观 察者不知道的情况下尝试跟随标记，则振荡行为可跟着发生。然而，如果需要，这种振荡行为可以通过在所测量的注视点(POG)与可见地显示的POG (典型地为鼠标光标)之间引入间接耦合来抑制。这种间接耦合可以通过在控制工程领域中已知的各种方法来实现。线性解决方案的一个示例是在控制循环中使用比例积分微分(PID)元件。非线性解决方案的一个示例是使用死区，以在测量的和显示的POG之间产生滞后(hysteresis)。显示设备和用于提供标记的装置可以如上所述地被集成到单个设备中。将显示设备和用于提供标记的装置集成到单个设备中具有以下优点可见信息与标记之间的匹配被精确地知道。—个优选的不例是包括液晶显不器(IXD)的系统,该IXD具有IR背光和可见光背光。该IXD设备因此能够在显示屏上提供可本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：FJ德布鲁恩，KC范布里，T格里蒂，HAW施梅茨，
申请(专利权)人：皇家飞利浦电子股份有限公司，
类型：发明
国别省市：