控制发光器以获得最佳闪光制造技术

本发明专利技术描述了控制用于眼睛跟踪的光源的技术。在一示例中，眼睛跟踪系统产生第一图像和第二图像，这些图像展示由眼睛跟踪系统的预定组的发光器照射的用户眼睛的至少一部分。眼睛跟踪系统确定闪光在第一图像中的第一位置和闪光在第二图像中的第二位置。第一位置和第二位置中的每一个是相对于瞳孔边缘的。眼睛跟踪系统基于第一位置和第二位置预测闪光相对于瞳孔边缘的第三位置。此外，眼睛跟踪系统从预定组的发光器中确定与闪光对应的发光器，并基于第三位置确定是否要将该闪光器断电以产生用户眼睛的至少该部分的第三图像。

Control the light for the best flash

【技术实现步骤摘要】
控制发光器以获得最佳闪光
本公开涉及眼睛跟踪，并且尤其涉及控制用于眼睛跟踪的光源的技术。
技术介绍
与计算设备交互是当今世界的基本动作。计算设备——例如，个人计算机、平板电脑和智能电话——是日常生活中随处可见的。另外，可佩戴的计算设备——例如，可佩戴的头戴式设备(例如，虚拟现实(VR)头戴式设备和增强现实(AR)头戴式设备)正变得越来越流行。用于与这些设备交互的系统和方法定义了这些设备的使用方式和这些设备的用途。眼睛跟踪技术的发展使得利用个人注视信息与计算设备交互变得可能，所述个人注视信息例如为用户在显示器上注视着的位置。该信息可单独用于交互，或与基于接触的交互技术(例如，使用用户输入设备，例如键盘、鼠标、触摸屏或其它输入/输出接口)一起用于交互。之前提出的使用注视信息的交互技术可在美国专利6,204,828、美国专利申请公布2013/0169560、美国专利7,113,170、美国专利申请公布2014/0247232和美国专利9,619,020中找到。这些专利和申请的全部内容通过援引包含于此。在例如可佩戴设备的计算设备中，眼睛图像可被产生和处理以检测瞳孔和闪光，并由此对眼睛进行跟踪。在许多实施方式中，光源——例如，包括发光二极管(LED)的光源——被加电以照射眼睛并用于成像。附图简述可通过参照下面的附图来实现对各个实施例的本质和优势的进一步理解。在所附附图中，相似的部件或特征可具有相同的附图标记。此外，相同类型的各个部件可通过如下方式来区分：在附图标记后面加上横线以及在相似部件之间作出区分的第二附图标记。要是在说明书中仅使用第一附图标记，则说明书可适用于具有相同第一附图标记的相似部件中的任一部件，而不管第二附图标记为何。图1示出根据本公开的实施例的眼睛跟踪系统。图2示出根据本公开的实施例的由图像传感器捕捉的眼睛图像的示例。图3示出根据本公开的实施例的专用计算机系统的框图。图4示出根据本公开的实施例的可佩戴计算设备的示例，该可佩戴计算设备实现眼睛跟踪系统的多个部件。图5A、5B和5C示出根据本公开的实施例的用于照射眼睛的多个光源的示例。图6示出根据本公开的实施例的可用于检测闪光和瞳孔边缘的图像的示例。图7示出根据本公开的实施例的在图像之间作出闪光匹配的示例。图8示出根据本公开的实施例的预测闪光相对于瞳孔边缘的位置和确定是否应当移除闪光的示例。图9示出根据本公开的实施例的基于闪光相对于瞳孔边缘的预测位置来控制光源的流程的示例。
技术实现思路
本申请公开了用于控制眼睛跟踪中所使用的光源的实施例。在一个示例中，在不知晓角膜中心的三维位置的情况下，眼睛跟踪系统直接确定在连续的二维图像中的闪光是否将要落在瞳孔边缘上。如果一个或多个闪光满足这种条件，则与这些闪光相关联的发光器被断电并置在这些发光器处于断电状态的情况下产生至少下一图像。具体地，眼睛跟踪系统产生多个图像，这些图像展示由眼睛跟踪系统的一组预定发光器照射的用户眼睛的至少一部分。对于一些或全部的闪光，眼睛跟踪系统确定这些闪光中的每一个闪光在图像中的位置。这些位置可以是相对于瞳孔边缘的。对于这些闪光中的每一个，眼睛跟踪系统也可基于对该闪光确定的位置来预测闪光相对于瞳孔边缘的下一位置。此外，并对于这些闪光中的每一个，眼睛跟踪系统从这组预定发光器确定与闪光对应的发光器，并基于闪光的下一位置确定是否要将发光器断电以产生额外的图像，其中该额外的图像被进一步用于眼睛跟踪。提到这些解说性特征并不是为了对本公开进行限制或限定，而是为了提供有助于理解本公开的示例。这些和额外的特征在多个实施例中可独立地实现，或者在其它多个实施例中可组合在一起，其进一步的细节可以参照下面的描述和图示而被知晓。由各个实施例中的一个或多个实施例给予的优点可通过细阅说明书或通过实践各个实施例中的一个或多个实施例来被进一步理解。具体实施方式本公开的实施例尤其涉及控制用于眼睛跟踪的光源。在一示例中，多个光源被用于照射用户的眼睛。这些光源在这里被称为发光器。一组预定的光源可被加电并且多个图像被产生，每个图像展示眼睛的至少一部分。图像被处理以识别闪光和瞳孔边缘，其中每个闪光对应于来自从光源发出的光从眼睛的反射。确定每个图像中闪光相对于瞳孔边缘的位置，并将不同图像上的这些位置用于预测下一闪光位置。如果闪光将要落在瞳孔边缘上或与瞳孔边缘的接近程度达到某一阈值距离，则选择对应的光源并将其断电。这种预测性地识别移动至瞳孔边缘或移动超出瞳孔边缘的闪光并选择性地将光源断电的方法相比已有的眼睛跟踪系统提供了许多技术优势。具体地说，诸如VR或AR头戴式设备的可佩戴计算设备可整合有眼睛跟踪系统，该眼睛跟踪系统使用针对用户的每只眼睛的多个发光器。不同的技术可使用发光器用于眼睛跟踪。在一种现有技术中，所有发光器被加电，由此在用户眼睛上导致大量的闪光。然而，这种技术可能具有多种缺陷。例如，一些闪光可能出现在瞳孔边缘上并因此可能遮掩瞳孔边缘并使眼睛跟踪的准确性降低，这是因为可能无法准确地检测到瞳孔边缘。另外，眼睛跟踪可能也涉及将闪光映射到发光器。然而，由于大数量的闪光和等同地大数量的发光器，眼睛跟踪的复杂性增加，由此可能导致处理延时。在另一种技术中，将一子集的发光器加电，由此节省电力消耗并总体上提高准确性。然而，这种技术总体上涉及确定角膜中心的三维位置，这可能增加复杂性并增加处理延时。相比而言，本公开的实施例涉及选择性地对发光器(例如，可用光源的子集)加电和断电，由此节省电力消耗并提高准确性。为了降低复杂性并改善处理延时，这些实施例也涉及使用二维图像来预测闪光的位置而不需要确定角膜中心的三维位置。图1示出根据一实施例的眼睛跟踪系统100(其也可被称为注视跟踪系统)。系统100包括：发光器111和112，用来照射用户的眼睛；以及图像传感器113，用来捕捉用户眼睛的图像。发光器111、112可例如是以红外频段或以近红外频段发光的发光二极管。图像传感器113可例如是相机，例如互补金属氧化物半导体(CMOS)相机或电荷耦合器件(CCD)相机。相机不局限地是IR(红外)相机、深度相机或光场相机。图像传感器113的快门机构可以是滚动快门或全局快门。第一发光器111与图像传感器113同轴地(或靠近图像传感器113)布置，以使图像传感器113可捕捉用户眼睛的亮瞳图像。在第一发光器111照射眼睛的情况下，由于第一发光器111与图像传感器113的同轴布置，从眼睛的视网膜反射的光朝向图像传感器113通过瞳孔回射出，以使瞳孔在图像中比其周围的虹膜看上去更亮。第二发光器112与图像传感器113非同轴(或远离图像传感器113)布置，以使图像传感器113捕捉暗瞳图像。在第二发光器112照射眼睛的情况下，由于第二发光器112与图像传感器113的非同轴布置，从眼睛的视网膜反射的光不到达图像传感器113，并且瞳孔在图像中比其周围的虹膜看上去更暗。发光器111、112可例如轮流照射眼睛，以使每个第一图像是亮瞳本文档来自技高网...

【技术保护点】
1.一种用于跟踪用户眼睛的方法，所述方法由眼睛跟踪系统实现并包括：/n产生第一图像和第二图像，所述第一图像和所述第二图像展示由预定的一组发光器照射的用户眼睛的至少一部分；/n确定闪光在所述第一图像中的第一位置和所述闪光在所述第二图像中的第二位置，其中所述第一位置和所述第二位置中的每一个都是相对于瞳孔边缘的；/n基于所述第一位置和所述第二位置预测所述闪光相对于所述瞳孔边缘的第三位置；/n从所述预定的一组发光器中确定与所述闪光对应的发光器；以及/n基于所述第三位置确定是否对所述发光器进行断电以产生所述用户眼睛的至少所述部分的第三图像。/n

【技术特征摘要】
20181126 US 16/200,2481.一种用于跟踪用户眼睛的方法，所述方法由眼睛跟踪系统实现并包括：
产生第一图像和第二图像，所述第一图像和所述第二图像展示由预定的一组发光器照射的用户眼睛的至少一部分；
确定闪光在所述第一图像中的第一位置和所述闪光在所述第二图像中的第二位置，其中所述第一位置和所述第二位置中的每一个都是相对于瞳孔边缘的；
基于所述第一位置和所述第二位置预测所述闪光相对于所述瞳孔边缘的第三位置；
从所述预定的一组发光器中确定与所述闪光对应的发光器；以及
基于所述第三位置确定是否对所述发光器进行断电以产生所述用户眼睛的至少所述部分的第三图像。


2.如权利要求1所述的方法，其中所述第一图像展示第一多个闪光而所述第二图像展示第二多个闪光，其中所述第一多个闪光中的每一个相对于所述瞳孔边缘的位置被在所述第一图像中确定，并且其中所述第二多个闪光中的每一个相对于所述瞳孔边缘的位置被在所述第二图像中确定。


3.如权利要求2所述的方法，还包括：基于所述第一图像和所述第二图像中的闪光图案将来自所述第一图像中所展示的所述第一多个闪光的所述闪光与来自所述第二图像中所展示的所述第二多个闪光的第二闪光进行匹配。


4.如权利要求2所述的方法，还包括：
从所述第一图像中所展示的所述第一多个闪光中选择所述闪光；
从所述第二图像中所展示的所述第二多个闪光中选择所述第二闪光和第三闪光作为针对所述闪光的潜在匹配；
基于所述第一图像和所述第二图像来计算所述闪光与所述第二闪光之间的第一距离以及所述闪光与所述第三闪光之间的第二距离；
基于所述第一距离与所述第二距离的比较而从所述第二多个闪光中选择所述第二闪光，作为与来自所述第一多个闪光的所述闪光的匹配。


5.如权利要求1所述的方法，其中预测所述第三位置包括：
确定所述闪光的所述第一位置与所述第二位置之间的距离和方向；以及
基于所述距离和所述方向来估算所述闪光的所述第三位置，并且其中确定是否对所述发光器进行断电，包括：
基于所述第三位置与所述瞳孔边缘相距阈值距离以内来确定所述发光器应当被断电。


6.如权利要求1所述的方法，其中预测所述第三位置包括：
确定所述闪光的所述第一位置和所述第二位置之间的距离；以及
产生圆，所述圆的中心位于所述第三位置并具有基于所述距离的半径，并且其中确定是否对所述发光器进行断电包括：
确定所述圆与所述瞳孔边缘相交；以及
基于所述圆与所述瞳孔边缘相交而确定所述发光器应当被断电。


7.如权利要求1所述的方法，其中确定是否对所述发光器进行断电包括：
基于阈值距离与所述闪光相对于所述瞳孔边缘的所述第三位置之间的比较来确定所述发光器应当被断电。


8.如权利要求7所述的方法，其中所述阈值距离包括基于所述闪光的所述第一位置与所述第二位置之间的距离而定义的动态值。


9.如权利要求1所述的方法，还包括：
基于确定所述发光器应当被断电而移除来自所述预定的一组发光器的所述发光器的标识；
基于来自所述预定的一组发光器的所述发光器的所述标识的移除，而确定来自所述预定的一组发光器的剩余一组发光器；以及
确定所述剩余一组发光器是否可接受用于眼睛跟踪。


10.如权利要求9所述的方法，其中确定所述剩余一组发光器是否可接受是基于下面各项中的至少一个或多个：所述剩余一组发光器的规模、来自所述剩余一组发光器的发光器的分布、或来自所述剩余一组发光器的发光器之间的距离。


11.如权利要求9所述的方法，还包括：
基于确定所述剩余一组发光器是不可接受的，确定排除在所述预...

【专利技术属性】
技术研发人员：丹尼尔·约翰森·托尼尔斯，安德烈亚斯·科林斯特姆，马丁·斯科贝克，
申请(专利权)人：托比股份公司，
类型：发明
国别省市：瑞典;SE