将闪光映射到光源制造技术

本文公开的技术提供了用于将反射离开对象的闪光映射到负责该闪光的光源的各实施例。本文公开的各实施例能够通过用相机捕捉仅仅若干图像来正确地将闪光映射到光源。在用光源的不同图案照明对象的同时，捕捉每一图像。还可确定无闪光图像。无闪光图像是其中闪光已经通过图像处理技术被移除的图像。

【技术实现步骤摘要】
【国外来华专利技术】背景闪光是光源从对象的反射。例如，当来自光源的光反射离开某人的眼睛时，闪光可以在相机所捕捉的图像中被检测到。闪光可以被分析以执行诸如确定对象的3D几何形状之类的功能。如果对象是人的眼睛，则确定描述人正注视的方向的3D向量是可能的。存在分析闪光的许多其它应用，诸如对象识别、高速运动跟踪、以及生产线控制。概述本专利技术的技术提供了用于将闪光映射到光源的各种实施例。将闪光正确映射到负责该闪光的光源在能够执行诸如确定对象的3D几何形状之类的功能方面是有用的。还可确定无闪光图像。无闪光图像是其中闪光已经通过图像处理技术被移除的图像。具有无闪光图像在帮助标识对象的各元素(诸如人眼的瞳孔)方面可以是有用的。一个实施例包括一种将闪光映射到光源的方法，该方法包括以下操作。用光源的图案照明对象。该图案包括其中光源的第一光源打开的第一图案以及其中第一光源关闭的第二图案。在用对应图案照明对象的同时，对象的图像在相机处被捕捉。所捕捉的多个图像中的闪光被分析。基于该分析，闪光被映射到造成该闪光的光源。一个实施例是一种系统，该系统包括多个光源、相机以及与该多个光源和相机处于通信的逻辑。该逻辑被配置成控制光源来用多个光源的图案来照明对象。该图案包括其中光源的第一光源打开的第一图案以及其中第一光源关闭的第二图案。光源中的每一个光源针对这些图案中的至少一个图案是关闭的并且针对这些图案中的至少一个图案是打开的。该逻辑被配置成在用对应的不同图案照明对象的同时在相机处捕捉对象的图像。该逻辑被配置成分析作为用图案照明对象的结果所捕捉到的图像中的闪光。该逻辑被配置成基于该分析将闪光映射到造成该闪光的光源。一个实施例是一种包括以下操作的方法。用多个光源的图案照明眼睛。该图案包括其中光源的第一光源打开的第一图案以及其中第一光源关闭的第二图案。光
源中的每一个光源针对这些图案中的至少一个图案是关闭的并且针对这些图案中的至少一个图案是打开的。在用对应图案照明眼睛的同时，眼睛的图像在相机处被捕捉。所捕捉的多个图像中的闪光被分析。基于该分析，闪光被映射到造成相应闪光的光源。基于该闪光来确定眼睛注视方向。提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。附图简述图1示出各实施例可在其中实施的示例环境。图2是将闪光映射到光源的过程的一个实施例的流程图。图3A是描绘混合现实显示系统的一个实施例的示例组件的框图。图3B示出定位成在实现在一副眼镜中的混合现实显示设备上面对每一相应眼睛的、用于每个眼睛的注视检测系统中的相应注视检测元件的集合的位置的示例性安排。图3C示出定位成在实现在一副眼镜中的混合现实显示设备上面对每一相应眼睛的、用于每个眼睛的注视检测系统中的相应注视检测元件的集合的位置的另一示例性布置。图3D示出由该副眼镜定位成面对每一相应眼睛的、用于每个眼睛的注视检测系统中的相应注视检测元件的集合的位置的又一示例性安排。图4A是可以用于本公开所述的各实施例的透视、近眼、混合现实显示单元的硬件和软件组件的一个实施例的框图。图4B是与透视、近眼显示单元相关联的处理单元的硬件和软件组件的一个实施例的框图。图5是将闪光映射到光源并且生成无闪光图像的过程的一个实施例的流程图，该过程包括在每次关闭一个光源。图6A是其中在捕捉对应于N个不同图案的N个图像的同时能够将闪光映射到多达2N–2个光源的过程的一个实施例的流程图。图6B和图6C示出用于确定在图6A的过程期间执行的合适操作的示例。图7是细化无闪光图像的过程的流程图。图8是除了将闪光映射到光源之外还能够执行的进一步处理的过程的流程图。图9是示出在人的眼睛聚焦的注视点处相交的注视向量的示例的俯视图。图10是可用于实现各实施例的计算系统的一个实施例的框图。详细描述本文公开的技术提供了用于将反射离开对象的闪光映射到造成相应闪光的光源的各实施例。将闪光正确映射到相应的光源在能够执行诸如确定对象的3D几何形状之类的功能方面是有用的。根据对象的2D图像来确定3D几何形状是可能的。然而，正确地将闪光映射到它们相应的光源可能是具有挑战性的。一个挑战在于对象可能正在移动。作为一个示例，人的眼睛可能正在相当快速地移动。因此，具有能够非常快速地执行以减少与运动伪像相关联的问题的技术可能是有益的。本文公开的各实施例能够在用相机捕捉仅仅若干图像的同时正确地将闪光映射到光源。在一个实施例中，在用光源的不同图案照明对象的同时，捕捉每一图像。以下讨论进一步的细节。还可确定无闪光图像。无闪光图像是其中闪光已经通过图像处理技术被移除的图像。具有无闪光图像在帮助标识对象的各元素方面可以是有用的。例如，人的眼睛的瞳孔能够更容易地通过无闪光图像来定位。根据各个实施例，无闪光图像可以根据用于将闪光映射到光源的相同的所捕捉的图像来确定，可能具有一个附加图像。图1示出各实施例可在其中实施的示例环境。一般来说，光源107照明对象101，同时相机105捕捉包含闪光的图像。闪光是由于光源107导致的离开对象101的反射。在一个实施例中，闪光被映射到造成该闪光的光源107。作为一个非限制性示例，五个所描绘的五个光源107中的每一个光源可引起单独的闪光。因而，系统可唯一地将每一个闪光映射到其相应的光源107。在一个实施例中，光源107是发光二极管(LED)。在一个实施例中，光源107发射红外(IR)光。光源107可以按照使得光源107的大部分(或全部)会将闪光反射到相机105的方式来放置。在一个实施例中，光源107基本上相对于对象101在位置上是固定的。注意到，对象101能够稍稍移动，诸如在人眼移动中。在一些实施例中，光源107、对象101和相机105被固定(或至少基本上固定)在绝对位置中。在一些实施例中，光源107对于对象101和/或相机105的相对位置被
固定(或至少基本上固定)。然而，绝对位置可以大幅改变。例如，人可能正在行走，同时佩戴着包含光源107以及相机105的装置。控制电路系统103被配置成控制光源107。在一个实施例中，光源107被打开或关闭以创建某种照明图案。针对每一种图案，单独的图像被相机105捕捉。控制电路系统103能够将相机105的操作与照明图案同步以便捕捉每一图案的图像。控制电路系统103能够控制每一图像的曝光。如果不同图案得到不同的照明等级，则这可能是有用的。例如，一个图案可使所有光源107打开，而另一图案可使一个或多个光源107关闭。控制电路系统103(或其它逻辑)分析图像以将闪光映射到光源107。控制电路系统103可以是硬件和/或软件的任何组合。例如，由控制电路系统103实现的逻辑的全部或一部分可以通过执行处理器上的处理器可执行指令来实现。如所提及的，对象101可以是相对于相机105静止的，或者相对于相机105稍稍移动。相机105可以是高速相机，从而使得所捕捉的图像之间的运动被保持为较小。在一个实施例中，一个图像是在所有光源107打开(“全开图像”)的情况下被捕捉的。控制电路系统103能够使用这一全开图像在空间上同步不同图像中的各个特征(诸如闪光)。换言之，闪光可能由于对象101与相机105和/或造本文档来自技高网...

【技术保护点】
一种将闪光映射到光源的方法，包括：用多个光源的图案照明对象；在用对应的图案照明所述对象的同时在相机处捕捉所述对象的多个图像，其中每一个光源针对多个所捕捉的图像中的至少一个图像是关闭的并且针对多个所捕捉的图像中的至少一个图像是打开的；分析所述多个所捕捉的图像中的闪光，包括从针对每一个光源所捕捉的图像中的一个或多个图像计算最小值图像，从针对每一个光源所捕捉的图像中的一个或多个图像计算最大值图像，以及基于针对每一个光源的最小值图像和最大值图像来计算针对该光源的差别图像；以及将闪光映射到造成所述闪光的光源，所述映射基于每一光源的差别图像。

【技术特征摘要】
【国外来华专利技术】2014.01.07 US 14/149,5771.一种将闪光映射到光源的方法，包括：用多个光源的图案照明对象；在用对应的图案照明所述对象的同时在相机处捕捉所述对象的多个图像，其中每一个光源针对多个所捕捉的图像中的至少一个图像是关闭的并且针对多个所捕捉的图像中的至少一个图像是打开的；分析所述多个所捕捉的图像中的闪光，包括从针对每一个光源所捕捉的图像中的一个或多个图像计算最小值图像，从针对每一个光源所捕捉的图像中的一个或多个图像计算最大值图像，以及基于针对每一个光源的最小值图像和最大值图像来计算针对该光源的差别图像；以及将闪光映射到造成所述闪光的光源，所述映射基于每一光源的差别图像。2.如权利要求1所述的方法，其特征在于，所述分析闪光和所述映射包括：确定光源中的第一光源的最小值图像，所述最小值图像是所有其中第一光源打开的图像的逐像素最小值；确定光源中的第一光源的最大值图像，所述最大值图像是所有其中第一光源关闭的图像的逐像素最大值；计算第一光源的差别图像，所述差别图像是从第一光源的最小值图像减除第一光源的最大值图像的逐像素无符号饱和减除运算；以及将第一光源的差别图像中的闪光映射到第一光源。3.如权利要求2所述的方法，其特征在于，进一步包括：对于除了第一光源之外的多个光源中的每一个光源：重复确定最小值图像、确定最大值图像、计算差别图像、以及将差别图像中的闪光映射到相应的光源。4.如权利要求3所述的方法，其特征在于，使用比光源少的所捕捉的图像来将闪光映射到它们相应的光源。5.如权利要求1所述的方法，其特征在于，进一步包括：将作业中的图像确定为所捕捉的图像中的第一个所捕捉的图像；对于多个所捕捉的图像中的其余图像，基于作业中的图像和所捕捉的图像之间的逐像素最小值来更新作业中的图像；以及将最...

【专利技术属性】
技术研发人员：D·尼，J·埃尔德里奇，R·哈韦利克，R·博斯科维奇，C·梅，G·施奈德，D·尼耶姆切维奇，D·尼斯特，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US