可安装在眼镜上的眼睛跟踪设备制造技术

公开了可被安装到标准眼镜的眼睛移动跟踪设备。该设备包括照明源、飞行时间(TOF)相机和处理器。该源从接近人的眼睛的位置发射处于频带内的能量，使得所发射的能量的至少第一部分从该人所佩戴的眼镜的透镜反射以随后从该眼睛反射，并使得所发射的能量的至少第二部分透射经过该透镜以从该人的环境中的对象反射。TOF相机检测所发射的能量的至少第一部分的反射，并基于TOF原理将其与由该TOF相机检测到的处于所述频带中的其他能量区分开。该处理器使用检测到的所发射的能量的第一部分的反射来确定眼睛位置。

【技术实现步骤摘要】
【国外来华专利技术】可安装在眼镜上的眼睛跟踪设备专利
本专利技术的至少一个实施例涉及眼睛跟踪技术，并且更具体地，涉及可与标准眼镜一起使用的眼睛跟踪设备。背景眼睛跟踪(也被称为注视跟踪)技术正演变成为下一代人机接口的重要部分。眼睛跟踪技术在娱乐、研究以及作为身体损伤的人的交互工具方面具有许多潜在应用。最公知的基于视频的眼睛跟踪系统使用具有IR光源的红外(IR)相机来检测瞳孔/虹膜以及来自照明的闪光。此外，这些系统一般使用直接成像或间接成像。直接成像系统通过将一个或多个IR传感器放置成直接瞄准眼睛来直接对眼睛区域进行成像。然而，这些系统具有与传感器的遮挡(例如，来自睫毛)以及用户的视力(例如，来自传感器)有关的问题。这些系统对于跟踪佩戴眼镜的人的眼睛尤其有麻烦，至少部分因为这些眼镜通过形成错误的镜面反射而引起了遮挡或干扰了计算机视力算法。间接成像系统通过经由所谓的“热镜”透镜来查看眼睛而部分地解决了遮挡问题，该“热镜”透镜对近IR限制充当反射镜，但对可见光充当穿透玻璃。通过这种方式，传感器可从正面位置查看眼睛，同时避免遮挡用户的视野。然而，间接成像方法需要专用玻璃(即，配备有热镜透镜)，因此不适合于依赖于标准(处方(prescription))眼镜的人。概述本文中引入的技术包括一种眼睛跟踪设备，该设备可被用于执行针对佩戴标准眼镜的用户的眼睛跟踪。在至少一些实施例中，该设备包括照明源、飞行时间(TOF)相机和处理器。照明源从接近人的眼睛的位置发射处于频带内的能量，使得所发射的能量的至少第一部分从该人所佩戴的眼镜的透镜反射以随后从该人的眼睛反射，并使得所发射的能量的至少第二部分透射经过该透镜以从在该人的环境中的对象反射。TOF相机检测所发射的能量的至少第一部分的反射，并基于检测到的所发射的能量的第一部分的反射的飞行时间来将这些反射与由TOF相机检测到的处于所述频带中的其他能量区分开。处理器被配置成使用检测到的所发射的能量的第一部分的反射来确定人的眼睛的注视方向。根据附图和详细描述，该技术的其他方面将显而易见。提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。附图简述在附图中的各图中作为示例而非限制解说了本专利技术的一个或多个实施例，其中相同的标记指示相似的元素。图1A和1B示出根据本文中引入的技术的一实施例的眼睛跟踪设备的透视图。图2是示出眼睛跟踪设备的一实施例的各功能元件的框图。图3示出安装在一副标准眼镜上的眼睛跟踪设备的示例。图4示意性地解说在典型使用场景中IR照明的传播。图5解说用于具有两个照明源的实施例的IR照明方案的示例。图6解说具有两个照明源的眼睛跟踪设备的实施例。图7是示出眼睛跟踪设备的操作过程的示例的流程图。详细描述在该描述中，对“一实施例”、“一个实施例”等的引用意味着描述的特定特征、功能、结构或特性被包括在本文中引入的技术的至少一个实施例中。这样的短语在本说明书中的出现不一定全部涉及同一实施例。另一方面，所涉及的各实施例也不一定是相互排斥的。本文中引入的技术包括一种间接成像、安装在眼镜上的眼睛跟踪设备，该设备可被用于执行针对佩戴标准眼镜的用户的眼睛跟踪。然而，注意，该设备也可与其他类型的眼镜一起使用，诸如(例如，用于游戏或虚拟/增强现实应用的)专用眼镜或耳机。该设备可被实现为可拆卸地安装到标准(例如，处方)眼镜并且不遮挡用户的视野的附加产品。该设备将TOF原理应用到其自己的IR照明中，以在期望的IR能量(例如，从其自己的(诸)源发射并从用户的眼睛反射的IR，该设备使用该IR来进行眼睛跟踪)和非期望的IR能量(例如，环境IR能量和已从其自己的(诸)源发射并从用户的环境中的各对象反射的IR)之间进行区分。在至少一些实施例中，眼睛跟踪设备包括：一个或多个IR照明源，其用于发射IR能量；与(诸)IR源同步的门控“高速快门”IRTOF相机(此后被简称为“IR”相机)，其用于检测所发射的IR能量；人类可见光谱(例如，红-绿-蓝(RGB))摄像机(“实景摄像机”)，其用于生成用户在眼睛跟踪期间正在看的大方向的视频，并由此允许在那个视频上标记用户的注视点(POR)；存储器，其用于存储由前述相机收集的图像数据；处理单元，其用于基于IR相机的输出来计算用户的眼睛位置(或至少一通信单元，其用于允许与位于该设备外部的这样的处理单元的通信)；外壳，其至少部分地包含前述元件；以及，与标准眼镜兼容的紧固件，通过所述紧固件，将该外壳可拆卸地安装到眼镜的框架上。在一些实施例中，该设备使用高速快门IR相机，该高速快门IR相机采用光学聚焦系统来收集从邻近距离(也就是，用户的眼睛)反射的IR光，并避免收集环境IR照明和该设备自己的IR照明从用户的环境中的对象的反射。这可通过设置IR相机的快门定时，使得从该设备发射的IR光将在其返回IR相机传感器的路上被快门(其可以是纯电子快门)切断，从而仅从非常邻近传感器之处(例如，在几厘米以内)从对象反射或源自这些对象的IR被IR相机捕捉；即，仅具有足够短的TOF的能量被允许被捕捉。这使得IR相机能够仅捕捉眼睛的图像，而没有来自外部对象的反射。因此，该特征避免需要使用热镜。IR相机是“高速快门”相机，因为它可通过在非常短的时间段内反复地关闭和打开其“快门”(例如，电子快门)(例如，每几纳秒关闭和打开其快门一次)来在几乎同一时间瞬间捕捉多个图像。可用于这个目的的一种类型的IR相机是“门控”TOF深度相机。门控TOF深度相机利用了一系列光脉冲，以便照明由深度相机成像的场景。对于每一光脉冲，深度相机在再次被“门控”关闭之前，被“门控”打开达特定曝光时段，由此在该曝光时段期间对该场景进行成像。距该场景中的特征的距离可根据在曝光时段期间所发射的脉冲中被该特征反射并被相机传感器的像素配准的光的量来确定。这种类型的脉冲IRTOF深度相机可被使用。替换地，使用相位调制原理的TOF相机也可用于本文中引入的技术的这种目的。附加地，该设备可使用不同的照明设置在几乎相同的时间采集两个或多个这样的IR图像，以滤除环境IR照明和/或标识来自眼睛的不同镜面反射(闪光)。该特征使得该设备能够执行环境不变的眼睛跟踪，即允许它在具有不受控制的环境照明的环境中正确运作。该设备还可(使用TOF原理)计算深度以供在姿势识别和/或其他应用中使用。图1A和1B解说了根据至少一个实施例的安装在眼镜上的眼睛跟踪设备。如所示出的，眼睛跟踪设备1可被安装到标准眼镜2的框架上(图1B)，诸如两个镜腿框架部件3中接近用户的双眼之一的任一者。在该上下文中“接近”意指在几厘米内，诸如小于约5cm。注意，如图1所示的设备1的物理形状仅是眼睛跟踪设备可具有的形状的许多可能示例之一。如以下进一步讨论的，设备1具有外壳4，其至少部分地包含向前看的人类可见光谱摄像机5(例如，RGB摄像机)、至少一个近IR照明源6以及包括IR传感器7的门控的“高速快门”IR相机。该设备进一步包括用于将设备1可拆卸地连接到眼镜框架3的紧固件8(例如，弹簧加载夹子、尼龙搭扣等)。紧固件8可以是能够将该设备安装到任何标准眼镜的“通用”紧固件，或者它可以被专门设计用于给定模型或制造商的眼镜。本文档来自技高网...

【技术保护点】
一种眼睛移动跟踪设备，包括：第一照明源，所述第一照明源用于从接近人的眼睛的位置发射处于频带内的能量，使得所发射的能量的至少第一部分从所述人所佩戴的眼镜的透镜反射以随后从所述人的所述眼睛反射，并使得所发射的能量的至少第二部分透射经过所述透镜以从所述人的环境中的对象反射；飞行时间检测器，所述飞行时间检测器用于检测所发射的能量的至少所述第一部分的反射，并基于检测到的所发射能量的所述第一部分的反射的飞行时间以及由飞行时间检测器检测到的处于所述频带中的其他能量来将所发射的能量的所述第一部分的反射与所述其他能量区分开；以及处理器，所述处理器被配置成使用检测到的所发射的能量的所述第一部分的反射来确定所述人的所述眼睛的位置。

【技术特征摘要】
【国外来华专利技术】2014.11.14 US 14/542,455;2015.01.30 US 14/610,9841.一种眼睛移动跟踪设备，包括：第一照明源，所述第一照明源用于从接近人的眼睛的位置发射处于频带内的能量，使得所发射的能量的至少第一部分从所述人所佩戴的眼镜的透镜反射以随后从所述人的所述眼睛反射，并使得所发射的能量的至少第二部分透射经过所述透镜以从所述人的环境中的对象反射；飞行时间检测器，所述飞行时间检测器用于检测所发射的能量的至少所述第一部分的反射，并基于检测到的所发射能量的所述第一部分的反射的飞行时间以及由飞行时间检测器检测到的处于所述频带中的其他能量来将所发射的能量的所述第一部分的反射与所述其他能量区分开；以及处理器，所述处理器被配置成使用检测到的所发射的能量的所述第一部分的反射来确定所述人的所述眼睛的位置。2.根据权利要求1所述的眼睛移动跟踪设备，其特征在于，进一步包括：紧固件，通过所述紧固件，所述眼睛移动跟踪设备能够被可拆卸地安装到标准眼镜。3.根据权利要求1到2中的任一项所述的眼睛移动跟踪设备，其特征在于，所述第一照明源被控制成在成像帧的第一快门窗口期间发射能量，并且在所述成像帧的第二快门窗口期间不发射能量；以及其中所述处理器还被配置为：基于由所述飞行时间检测器在所述第一快门窗口期间检测到的能量和由所述飞行时间检测器在所述第二快门窗口期间检测到的能量之间的差异来标识所述环境中的环境能量；以及滤除所述环境能量，使得所述眼睛的注视方向的确定不受所述环境能量影响。4.根据权利要求1到3中的任一项所述的眼睛移动跟踪设备，其特征在于，所述第一和第二快门窗口不重叠。5.如权利要求1到4中的任一项所述的眼睛移动跟踪设备，其特征在于，进一步包括：第二照明源，所述第二照明源被控制为在所述成像帧的第三快门窗口期间发射能量；其中所述第一照明源在所述第三快门窗口期间不发射，而所述第二照明源在所述第一快门窗口期间不发射。6.根据权利要求1到5中的任一项所述的眼睛移动跟踪设备，其特征在于，所述处理器还被配置成：将由所述传感器在所述第一快门窗口期间检测到的能量与由所述传感器在所述第三快门窗口期间检测到的能量区分开；以及基于由所述传感器在所述第一快门窗口期间检测到的能量和由所述传感器在所述第三快门窗口期间检测到的能量之间的差异来标识所述眼睛中的角膜闪光。7.根据权利要求1到6中的任一项所述的眼睛移动跟踪设备，其特征在于，所发射的能量是红外能量。8.一种跟踪人的...

【专利技术属性】
技术研发人员：G·叶海弗，D·科恩，S·卡茨，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US