眼凝视成像制造技术

一种用于在暗眼效应状况下获取对象的组合的眼凝视图像的装置，其具有位于中心光轴的相对侧上的第一相机、第二相机、第一光源和第二光源，并且它们到中心光轴的距离基本相等。控制单元被布置成，通过在第一时间点用激活的第一相机和第二光源捕捉对象的第一帧，并在第二时间点用激活的第二相机和第一光源捕捉对象的第二帧，来获取组合的眼凝视图像。该装置不包括比第一位置和第二位置更远离中心光轴的另外的光源。该装置由此设计成尽可能紧凑同时仍维持足够的眼凝视跟踪准确性和鲁棒性。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】眼凝视成像专利
本专利技术涉及用于照明、成像和检测眼睛，例如眼睑的相对位置、眼睛的位置和凝视方向的装置。专利技术背景对于在例如交通工具中的驾驶员分析和个人计算机的用户控制的
中的若干应用，需要获取关于用户眼睛凝视方向、眼睛和眼睑的移动与用户位置的信息。在成像和分析用户眼睛的可能方法中，存在基于检测角膜上的反射的一群方法。在成像系统和瞳孔中反射的光源之间相互关系的知识实现了对眼凝视方向的计算。仅使用一个相机有时难以正确确定眼凝视。这可通过使用两个或更多个光源、可移动光源或多于一个以上的相机来解决。与单个相机装置相比，使用两个相机可计算对象眼睛的更准确的位置和方向。当光源接近成像系统的光轴时，在眼中将存在显得比周围更明亮的内反射，这称为亮眼效应。如果光源从光轴充分移除，则光源将照明眼睛和周围区域而不引起内反射，这称为暗眼效应。亮眼状况下的瞳孔可以与其周围对比更容易检测，但可存在在暗眼效应状况下在瞳孔上检测来自光源的反射的优点。为获取满意的暗瞳图像，光源(闪光灯)应与相机分离，距用户视角10度的量级。在其中使用两个相机的情况(立体成像)下，两个相机也应分离约7-10度。例如，在其中人坐在距眼跟踪器约60厘米处的使用情况下，完全成像装置将具有在约30cm的宽度上布置的两个相机和两个光源。此装置变得相对庞大且难以在空间受约束的环境(诸如汽车)中实施。当前的眼凝视跟踪系统经常适于研究和发展或原型使用。因此希望发展可以更适合于大规模市场(例如在汽车应用或个人计算机中)使用的装置。同样重要的是维持高功能检测速率和准确性使得不损失用户接受度。专利技术概述本专利技术的一个目标是解决现有技术的缺陷，并提供一种尽可能紧凑的眼凝视跟踪装置。本专利技术的另一目标是维持充分的眼凝视跟踪准确性和鲁棒性。根据本专利技术的第一方面，利用根据权利要求1所述的装置和根据权利要求9所述的方法实现了这些和其他目标。本专利技术基于以下认识:可通过在时间上分离的第一帧和第二帧获取满意的眼凝视图像，只要时间上的分离相比对象的正常运动速率更短。通过在时间上分离相机的激活，第一光源和第二光源可交替使用，允许在相机和用来照明对象的光源之间的充足距离。此外，使每个相机与布置在另一个相机处的光源一起被激活是有利的，因为这允许暗眼效应状况而不将装置从相机的位置扩展。因此，装置保持尽可能紧凑。为将由在组合的眼凝视图像的每个帧之间的对象移动引起的对眼凝视跟踪的有害效应的风险最小化，该帧优选地在不获得亮眼效应状况的最小间隔拍摄。表述“光源”这里理解为任何可控光源。例如，其可使用任何种类的发光二极管、有机发光二极管、闪光灯、灯泡等。每个光源可以有利地发射在不可由人眼检测到的波长的光，使得该装置不打扰对象，在此情况下每个相机优选地也适于仅捕捉该波长的光或包括该波长的有限波长范围。此外，应理解在本专利技术的情境中，每个光源可包括经布置以单个激活信号同时被激活的多个光源。根据本专利技术，没有相对于光轴布置在第一位置和第二位置之外的另外的光源。装置在垂直于中心光轴的方向上的延伸，由此通过第一位置和第二位置来确定。根据本专利技术的装置可有利地用来检测用户凝视的方向。因此，装置正在记录的“对象”通常是头部的至少一部分，有利地是脸部和眼睛中的至少一个。对象可称为“用户”，即使其可以是第二人在对该对象利用装置，或即使该装置自动捕捉组合的眼凝视图像以向外部系统提供，或提供表示对象的眼凝视的信号。装置可以有利地基于所考虑的应用而进行设计，使得位置被布置在彼此间的距离足够提供具有暗眼效应状况的对象的图像帧处，同时维持装置紧凑和尽可能高的跟踪准确性。另外，可选择距离以最小化周围脸部特征遮蔽对象的一个或两个眼睛的视野的风险。表述“位置”在这里广泛用来表示布置在此位置的相机和光源过于靠近以至于不能提供满意的暗眼图像。在相同位置的相机和光源之间的距离因此比在位置之间的距离小得多，通常小至少一个数量级。根据本专利技术的一个实施例，在第一位置和第二位置之间的分离使得分别在对象和每个相机之间的两条线之间形成的角度在4-9度的范围内。在对象和装置之间的距离普遍在40-120cm的范围内。在通常的应用中，在对象(例如用户脸部)距装置大约臂长的情况下，当相机用来获取帧时，在该相机和用来照明该对象的光源之间的分离在4-9cm的范围内。在第一时间点和第二时间点之间的时间优选地尽可能短，并且理想地不长于一个相机获取帧所需的时间。作为例子，该所需时间可以是100-500 μ so在一个不例性实施例中，第一相机具有第一光轴并且第二相机具有第二光轴，且第一光轴和第二光轴在由中心光轴与在第一位置和第二位置之间的直线张成的平面内延伸。第一光轴和第二光轴可以是不平行的，并通常稍微会聚。光源也可优选地被定向以会聚到光轴上。根据一个实施例，控制单元经被布置成，通过使用第一相机和第二相机周期性顺序地捕捉帧来获取多个组合的眼凝视图像。该装置将因此获取对象的视频流。相机将通常具有可测量的激活延迟，即在激活脉冲和实际发动帧获取的时刻之间的延迟。控制单元优选地适于在计及此延迟的方式下调节对相机的激活，由此将第一时间点和第二时间点之间的时间距离最小化。进一步地，光源可具有在光源激活和对象照明之间的可测量的照明延迟，以及在光源去激活和对象去除照明之间的可测量熄灭延迟。控制单元优选地适于在计及这些延迟的方式下调节相机的激活，由此将第一时间点和第二时间点之间的时间距离最小化。用根据权利要求1所述的装置和根据权利要求9所述的方法组合第一帧和第二帧的原理可外推到包括进一步的相机和/或光源的装置。因此使用第三相机和从第三相机分离使得其不导致亮眼效应状况的光源拍摄第三帧。第三帧在第三时间点捕捉，第三时间点优选地不比第二时间点更晚第一时间点和第二时间点之间的时间。控制单元被有利地适配成，使得每个组合的眼凝视图像可以以预定的图像速率提供。非激活暂停由控制单元引入，使得在每个组合的眼凝视图像的第一帧之间的时间对应于预定图像速率。预定图像速率通常在25-lOOOHz的范围内。在本专利技术的情境下，“非激活暂停”是指控制单元不发送任何激活信号至任何相机或光源。附图简述将参考示出本专利技术的当前优选实施例的附图对本专利技术进行更详细的描述。图1是根据一个示例实施例的装置和对象的透视图。图2是根据一个示例实施例的装置的剖面图。图3是示出根据一个示例实施例的装置的控制的流程图。图4a是示出根据一个示例实施例的装置的控制的时序图。图4b是示出根据另一个示例实施例的装置的控制的时序图。优选实施方式的详细描述图1示出根据本专利技术的实施例的用于获取对象7的组合的眼凝视图像的装置1。该装置尤其适于在暗眼效应状况下检测和分析眼凝视。根据本专利技术的装置可以在许多类型的应用中实施，诸如集成在车辆仪表板中或集成在个人计算机的屏幕。然而，在所示的情况下，在无应用情境的情况下示出装置1指向对象7。装置1包括控制单元2、第一相机3、第二相机4、第一光源6和第二光源5。第一相机3和第二相机4优选地是电子图像传感器相机，快照型或输送连续图像流中的任一种。图像可以是数字格式的，例如位图格式，或模拟格式的，可然后例如使用抓帧器电路(未示出)将模拟格式转变成数字格式。在所示的例子中，第一光源6和第二光源5中的每个包括四个发光二极管本文档来自技高网...

【技术保护点】
一种用于获取对象的组合的眼凝视图像的装置，所述装置具有指向所述对象的中心光轴，所述装置包括：第一相机、第二相机、第一光源和第二光源，其中所述第一相机和所述第一光源布置在第一位置并且所述第二相机和所述第二光源布置在第二位置，所述第一位置和所述第二位置位于所述中心光轴的相对侧上并且到所述中心光轴的距离基本相等，以及控制单元，所述控制单元用于控制所述第一相机和所述第二相机以及所述第一光源和所述第二光源，其特征在于所述装置不包括比所述第一位置和所述第二位置更远离所述中心光轴的另外的光源，以及所述控制单元被布置成，通过在第一时间点用激活的所述第一相机和所述第二光源捕捉所述对象的第一帧，并在第二时间点用激活的所述第二相机和所述第一光源捕捉所述对象的第二帧，来获取所述组合的眼凝视图像。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：马丁·里德伯格，马丁·克兰茨，
申请(专利权)人：斯玛特艾公司，
类型：发明
国别省市：瑞典;SE