利用多个光源和传感器的眼睛注视检测制造技术

本公开涉及基于多个相机和/或光源的眼睛注视检测。相机和/或光源被配置为在不同定向处、在不同倾斜角度处、在不同用户位置处和在不同用户距离处等等为设备显示器提供眼睛注视检测。还描述一种控制器，该控制器选择性地控制光源电源和相机的接通/断开状态，以便为眼睛注视检测提供具有足够质量的眼睛的图像、和/或以便省电。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
随着包括移动设备、手持设备和诸如显示器之类的相关技术的计算机已经演进，人类输入机制已经类似地进步。诸如基于语音识别、头部和骨架跟踪以及手势检测之类的自然用户接口日益普及以补充或在某些情况下取代键盘、定位设备(鼠标或手写笔)和/或识别符号/手写输入。眼睛注视检测是另一种自然用户接口技术。除了其他理由以外，眼睛注视检测可期望用于自然多模人机交互。关于计算机显示器，已有的眼睛注视检测努力具有非常有限的工作空间、诸如在显示器前面的校准位置周围具有小的盒子，其中眼睛注视跟踪器需要被放置在显示器下面。这种技术因此具有有限的用途，因为在许多情况中、包括在越来越流行的移动计算场景中，这种技术不是特别可用。
技术实现思路
提供
技术实现思路
这一小节是为了以简化的形式介绍代表性构思的选择，这些构思将在下文的具体实施方式中进一步描述。这个
技术实现思路
并非旨在标识出要求保护的主题的关键特征或必要特征、也并非旨在被用于以任何将会限制要求保护的主题的范围的方式。简言之，本文描述的主题的各种方面涉及眼睛注视检测，包括具有位于显示器附近的多个相机，多个相机包括在与显示器相邻的第一边上的第一相机和在与显示器相邻的第二边上的第二相机，其中第二边不与第一边平行。至少一个光源被配置为输出在被眼睛反射时生成角膜反射数据的光。相机被耦合至图像处理组件以向图像处理组件提供包括捕获到的角膜反射数据的图像数据、以供在眼睛
注视检测中使用。在一个或多个实现方式中，三个或更多个红外光源被配置为输出在被眼睛反射时生成角膜反射数据的光。多个红外敏感相机被配置为捕获角膜反射数据以供在眼睛注视检测中使用。相机可以向图像处理组件提供包括捕获到的角膜反射数据的图像数据。一个或多个方面涉及接收与至少两个相机捕获的人眼的图像相对应的图像数据。图像数据可以合并到眼睛特征数据中，该眼睛特征数据被提供给注视检测算法。基于这些图像中的至少一幅图像，可以降低或关闭光源的电源、和/或可以关闭相机。从下文结合附图的详细描述，其他优点可以变得清楚。附图说明本专利技术通过示例被图示并且不限于附图，在附图中，类似参考标号指示相似元件，并且其中：图1是图示根据一个或多个示例实现方式的可以在眼睛注视检测中使用的示例组件的框图。图2A和图2B是根据一个或多个示例实现方式的在眼睛注视检测中使用的相机和光源的示例表示，其中相机和光源被定位在(例如，被嵌入到)与以不同定向示出的显示器相邻的设备边上，图3A和图3B是根据一个或多个示例实现方式的用于在眼睛注视检测中使用的、用于捕获在不同的相对用户位置处的用户的一个或多个眼睛的、具有不同角度的成角度相机的示例表示。图4A和图4B是根据一个或多个示例实现方式的用于在眼睛注视检测中使用的、用于在不同显示器倾斜位置处捕获用户的一个或多个眼睛的、具有不同角度的成角度相机的示例表示。图5A和图5B是根据一个或多个示例实现方式的用于在眼睛注视检测中使用的、用于捕获在不同距离处的用户的一个或多个眼睛的、具有不同焦距的相机的示例表示。图6A和图6B是根据一个或多个示例实现方式的用于在眼睛注
视检测中使用的、具有被定位在相对于显示器的不同位置中的光源的示例设备/显示器的示例表示。图7是根据一个或多个示例实现方式的用于在眼睛注视检测中使用的具有多个光源的备选布置的示例表示。图8A和图8B是根据一个或多个示例实现方式的用于在眼睛注视检测中使用的、展示位于显示器附近的一些可能的数目的相机和/或光源的示例设备/显示器的示例表示。图9是根据一个或多个示例实现方式的用于在眼睛注视检测中使用的显示器、相机和光源的示例表示、包括由光源围绕的相机的放大视图。图10是图示根据一个或多个示例实现方式的可以被采用来选择性地确定关于眼睛注视检测使用哪些相机和/或光源的示例步骤的流程图。图11是图示根据一个或多个示例实现方式的可以被采用以将来自多个相机的图像合并以供在眼睛注视检测中使用的示例步骤的流程图。图12是表示在其上可以实现本文描述的各种实施例的一个或多个方面的示例性的、移动和/或手持计算和/或通信设备的形式的非限制性计算系统或操作环境的框图。具体实施方式本文描述的技术的各种方面通常涉及显著增加眼睛注视检测的工作空间，包括通过在显示器周围放置多个红外(IR)光源(例如，LED)和传感器(IR敏感相机)。还提供了一种计算方法，该计算方法利用任何可用的检测信息、而不管由相机看到的LED反射的数目和看到眼睛的相机的数目如何。作为一个好处，即使当设备显示器处于相对于用户的任何定向时，眼睛注视检测都起作用，这可期望用于平板计算机、移动计算设备和智能电话等。类似地，眼睛注视检测能够以宽范围的角度起
作用。例如，即使当用户以相对于用户的眼睛的各种角度中的任何角度持握设备、或者膝上型计算机(或甚至固定显示器)可以使得其屏幕在相对于用户的眼睛的不同角度处时，眼睛注视检测也保持有效。应理解本文的任何示例都是非限制性的。例如，任何数目的相机和光源可以以任何数目的方式被定位，并且本文仅示例少数可能的方式。此外，用于检测眼睛注视的算法等仅是示例，并且本文描述的技术独立于并且不限于任何具体技术、并且进一步地能够随着新算法的开发而被适配。因此，本专利技术不限于本文描述的任何具体实施例、方面、构思、结构、功能或示例。相反，本文描述的任何实施例、方面、构思、结构、功能或示例均是非限制性的，并且本专利技术总体上可以以在眼睛注视检测中提供益处和优点的各种方式来使用。图1是图示可以用于执行眼睛注视检测的示例组件的总框图。图1中，示出计算设备102和显示器104。显示器104可以是被耦合至计算设备的外部显示器或者是被包括在计算机设备中、例如在计算机设备外壳中的显示器。如图1中所示，与多个IR光敏感相机108(1)-108(n)一起示出多个IR光源106(1)-106(m)。光源可以是诸如激光发光二极管(LED)和/或LED之类的单独的光源，这些光源投射通过衍射/反射光线的光学元件，由此提供多个光源。注意，任何或全部IR光敏感相机可以与可见光相机结合。进一步注意，相机可以附接到设备、例如被嵌入在边中或物理地耦合至设备，或可以在设备外部，或是两者的组合。控制器110可以用于控制如下文描述的IR光源106(1)-106(m)和/或IR光敏感相机108(1)-108(n)的操作，尽管在一个或多个实现方式中，光源和相机可以“总是接通”、从而不需要除了可假定具有接通/断开能力的电源之外的“控制器”。注意，IR光被使用是因为它对于人类不是引人注意的，然而在某些情形下，可能期望
使用可见光，诸如在对象的眼睛佩戴的、阻挡正在被使用的特定可见光波长的隐形眼镜的情况中。因此，如本文所使用的，“光源”不限于IR波长。通常，相机108(1)-108(n)捕获图像，这些图像要被馈送到包括眼睛注视检测算法114的图像处理组件112。图像处理组件112提供眼睛注视检测输出116，诸如表示用户当前注视正在处理的给定帧之类中的何处的注视坐标。这种输出116可以被缓冲、诸如用于与其他输入(例如，鼠标点击或手势)一起使用，可以由操作系统用掉(例如，用以移动光标)，和/或可以由应用使用(例如，用以高亮菜单项)等等。关本文档来自技高网...

【技术保护点】
一种设备，包括：位于显示器附近的多个相机，所述多个相机包括在与所述显示器相邻的第一边上的第一相机和在与所述显示器相邻的第二边上的第二相机；至少一个光源，被配置为输出在被眼睛反射时生成角膜反射数据的光，并且所述相机耦合至图像处理组件以向所述图像处理组件提供包括捕获到的角膜反射数据的图像数据以供在眼睛注视检测中使用。

【技术特征摘要】
【国外来华专利技术】2014.01.14 US 14/154,5421.一种设备，包括：位于显示器附近的多个相机，所述多个相机包括在与所述显示器相邻的第一边上的第一相机和在与所述显示器相邻的第二边上的第二相机；至少一个光源，被配置为输出在被眼睛反射时生成角膜反射数据的光，并且所述相机耦合至图像处理组件以向所述图像处理组件提供包括捕获到的角膜反射数据的图像数据以供在眼睛注视检测中使用。2.根据权利要求1所述的设备，其中所述显示器包括在移动或手持设备中，所述移动或手持设备被配置为与所述移动或手持设备的当前定向相结合地改变至少一些显示输出的内容呈现定向。3.根据权利要求1所述的设备，其中所述相机中的至少两个相机：a)相对于所述显示器成角度、并且其中至少两个相机相对于彼此相异地成角度，或b)具有彼此不同的焦距，或c)是a)和b)两者。4.根据权利要求1所述的设备，其中所述至少一个光源包括多个红外光源，并且所述设备进一步包括控制器，所述控制器被配置为选择性地关闭所述红外光源中的至少一个红外光源或者降低所述红外光...

【专利技术属性】
技术研发人员：张正友，A·古普塔，蔡琴，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US