针对立体匹配的环境依赖的主动照明制造技术

本主题公开内容涉及控制场景或场景的一部分的照明的强度，包括节省照明功率。立体图像中的深度数据的质量可以按照不同照明状态而被测量；诸如环境光，自然纹理之类的环境条件可以影响质量。照明强度可以可控制地变化以获取足够的质量同时节省功率。控制可以涉及对应于整个场景或场景的一部分的一个或多个感兴趣区域。

Environmentally dependent active illumination for stereo matching

The subject disclosure relates to controlling the intensity of illumination of a part of a scene or a scene, including the saving of lighting power. The quality of the depth data in a stereoscopic image can be measured in accordance with different lighting conditions, such as ambient light, natural texture, and the like. The lighting intensity can be controlled to change to obtain sufficient quality while saving power. The control may relate to one or more regions of interest corresponding to a portion of the whole scene or scene.

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
用来执行物体在场景中的深度估计的相对公知的技术是用来处理捕获到的立体图像(执行立体匹配)以查找与物体的距离相关的图像之间的差异。为了促进立体匹配，一种已知方式是用图案化的照明(例如，激光点的伪随机模式)对场景进行主动地照明。这通常提供了在图像中几乎无处不在的区别性的纹理，从而使得更易于找到为了深度估计而被处理的立体图像之间的对应关系。投影的图案和立体相机可以工作在光谱的红外(IR)部分中以便对人类不可见，或者它们可以工作在光谱的可见部分中。然而，为了主动照明而操作激光器或其他光源显著增加了设备的功率消耗。因此，为了立体匹配而使用主动照明会相对快速地耗尽电池供电设备的电池(或者备选地浪费插入式设备上的能量)。
技术实现思路
提供本
技术实现思路
以按照简化的形式引入对下面将在具体实施方式中被进一步描述的代表性概念的选择。本
技术实现思路
并不旨在标识所要求保护的主题内容的关键特征或必要特征，也不旨在按照将限制所要求保护的主题内容的范围的任何方式而被使用。简而言之，在此描述的主题内容的各方面中的一个或多个方面涉及被耦合到投影仪组(包括一个或多个投影元件)的控制器，所述投影仪组向场景投影光图案并基于对应于环境条件的数据而被控制。控制器可以被配置用于关闭和开启一个或多个投影元件中的至少一个和/或向一个或多个投影元件中的至少一个斜坡加电和/或斜坡减电。一个或多个方面涉及基于至少部分地依赖于场景的照明的立体图像来确定深度数据，包括基于图像的立体匹配来获取质量数据，以
及基于质量数据来将光可控制地投影到场景中。场景的照明可以被与立体图像的捕获协调。其它方面可以涉及对包括场景或场景一部分的感兴趣区域进行照明，以及处理捕获到的立体图像数据以确定用于对感兴趣区域进行照明的强度水平。当下面的详细描述结合附图被考虑时，其它优点可以从下面的详细描述变得显而易见。附图说明在附图中通过示例而非限制地图示了本专利技术，在附图中相同的附图标记指示相同或相似的元素，并且在附图中：图1是根据一个或多个示例实现方式的、表示可以被用来投影和捕获光图案并依赖于环境条件等来适配投影功率的示例组件的框图。图2是根据一个或多个示例实现方式的、对利用照明受控的投影仪将已构造的光(点)投影到场景中的表示。图3是根据一个或多个示例实现方式的、控制照明器组以将已构造的光仅投影到场景的选择的部分上的表示。图4是根据一个或多个示例实现方式的、包括图示了可以被用来控制已构造的光投影照明物体的示例组件的框图的表示。图5是根据一个或多个示例实现方式的、控制照明器组以将已构造的光仅投影到场景中的选择的感兴趣区域上的前视图表示。图6是根据一个或多个示例实现方式的、表示可以被采用以确定用于照明的感兴趣区域(或多个区域)的示例步骤的流程图。图7是根据一个或多个示例实现方式的、表示可以被采用以基于质量反馈来控制一个或多个感兴趣区域的照明的示例步骤的流程图。图8是以本文所述的各个实施例的一个或多个方面可以被实现于其中的游戏系统的形式表示示例性非限制计算系统或操作环境的框图。具体实施方式本文所描述的技术的各方面总体上涉及控制从主动照明源发出的照明功率，以在降低总功率消耗的同时尝试提供用于立体匹配的足够的图案纹理质量(至期望的置信度水平)。以这种方式，在使用最大功率不是有利的时候，被使用的功率一般可以小于最大值。例如，在某些环境中，图案化的照明可能在提供纹理方面不是特别有用，在功率被用来照明的情况下光源被浪费了。这样的环境的示例可以是在场景(或其中的感兴趣区域)包含足够的天然纹理以使得投影的照明对于获得良好立体匹配而言不必要时，或者当环境照明太明亮以至于投影的照明不可区别(例如，图案被洗出(wash out))时。在一个方面中，关于设置主动照明的量的决定可以基于处理捕获到的图像以确定立体匹配的质量，由此不需要附加硬件来测量环境对图像的影响。例如，可以分析图像中的纹理的量以：如果天然纹理不足以提供期望的质量则开启照明器；或者如果有足够的天然纹理存在则关闭照明器。换言之，可以分析使用先前捕获到的图像的立体匹配的结果以例如如果立体匹配不良或不明确(例如，置信度/质量低)则开启照明器，或反之亦然。在一个或多个各种方面中，照明源可以被斜坡上升或斜坡下降(例如，在零和某一最大功率电平之间)，而不是以二进制状态被开启或关闭。在其它方面中，诸如被布置在一起以提供投影图案的激光二极管的阵列等的照明器组可以使个别激光器或其子集被选择性地开启或关闭(或被斜坡上升或斜坡下降)以只将场景的某些部分照明至期望的水平，例如，感兴趣区域和/或被视为需要更多照明的那些区域。决定是否启用照明的其它示例包括过滤所述图像以使得主动照明的贡献被移除(例如，使用一系列形态滤波器或中值滤波器)。图像处理可以分析剩余图像，并且如果剩余用于立体匹配成功的足够的纹理，则关闭或斜坡下降主动照明。如果主动照明器的位置、方向和
图案相对于立体相机来说是已知的，则这样的滤波可以更容易，从而使得能够获得在立体图像中的像素和在已知图案中的位置之间的对应。备选地，照明器可以周期性地或者基于某些其他调度或事件而被开启或关闭，以查看在立体匹配的质量中是否存在显著改善或退化。在此基础上，系统可以决定保持照明器开启或关闭。类似地，可以控制照明器的斜坡上升或下降以尝试减少功耗，同时维持足够的立体匹配质量。随着照明器被开启/关闭(例如，周期性地)，可以忽略图像和深度流以便实现较高的峰值功率。例如，如果照明只被启用一半的时间，则在维持相同的峰值照明强度的同时平均功耗被减半。如果这一时变照明被与立体相机同步，则系统可以保证在相机快门打开(捕获光)时峰值照明发生，并且因此减少在相机快门被关闭时发出的光的量。类似地，照明可以被与滚动照相机快门协调，从而使得一般只有目前正被捕获的区域被照明。应当理解，本文中的任何示例均是非限制性的。例如，投影的光图案可以使用斑点(spot)，在此通常被例示为点(dot)，但是这些点可以是任何形状和/或尺寸。投影的图案可以是伪随机的，或者均匀地或以其他方式被分布，并且可以是静止的、移动的等等。如此，本专利技术并不限于本文所描述的任何特定实施例、方面、概念、结构、功能或示例。相反，此处所描述的实施例、方面、概念、结构、功能或示例的任一项都是非限制性的，并且本专利技术一般能够以在主动深度感测以及光投影中提供益处和优点的各种方式而被使用。图1示出了其中图像捕获系统或子系统104的立体相机102和103捕获时间上同步的图像(例如，相机被“同步锁相”)的示例系统。相机可以是立体RGB或立体IR相机，或它们的组合；例如，在给定的实现方式中可以是立体RGB和立体IR相机，具有立体IR相机的单个RGB相机，具有立体RGB相机的单个IR相机，等等。在一个实现方式中，相机捕获红外(IR)图像，因为IR不影响场景的可见
外观(这在诸如视频会议和对象建模应用中常常是非常有利的)。如可以被容易地领会到的那样，在诸如工作室环境之类的一些场景中，可以存在两个以上的深度感测相机。一个或多个其他相机可以存在于给定系统中，诸如RGB相机，并且这样的其他相机可以被用来帮助例如将不同立体图像中的点对相关。在图1中，示出了将诸如斑点(例如，点)的图案本文档来自技高网...

【技术保护点】
一种用于控制从主动照明源发出的照明功率的系统，包括：投影仪组，包括一个或多个投影元件；以及控制器，所述控制器耦合到向场景投影光图案的所述投影仪组，所述控制器被配置用于接收对应于环境条件的数据并且被配置用于控制所述投影仪组以基于所述数据来选择性地照明所述场景的至少一部分。

【技术特征摘要】
【国外来华专利技术】2014.02.08 US 14/176,0641.一种用于控制从主动照明源发出的照明功率的系统，包括：投影仪组，包括一个或多个投影元件；以及控制器，所述控制器耦合到向场景投影光图案的所述投影仪组，所述控制器被配置用于接收对应于环境条件的数据并且被配置用于控制所述投影仪组以基于所述数据来选择性地照明所述场景的至少一部分。2.根据权利要求1所述的系统，其中对应于所述环境条件的所述数据的至少一部分包括立体图像数据。3.根据权利要求1所述的系统，其中所述控制器被配置用于：a)关闭和开启所述一个或多个投影元件中的至少一个，或b)对所述一个或多个投影元件中的至少一个斜坡加电或斜坡减电或者斜坡加电和斜坡减电二者，或c)a)和b)二者。4.根据权利要求1所述的系统，其中所述控制器被配置用于独立地控制至少两个所述投影元件中的每个投影元件。5.一种用于控制照明源的照明功率的方法，包括：由处理设备基于从图像捕获系统接收的、至少部分地依赖于场景的照明的立体图像来确定深度数据，包括使用一个或多个图像、基于立体匹配来获取质量数据；以及基于所述质量数据，将光可控制地投影到所述场景中。6.根据权利要求5所述的方法，其中获取所述质量数据包括：a)在一个时间以第一照明级别来照明所述场景的至少一部分并且在以所述第一照明级别照明期间捕获第一立体图像，在另一时间以不同的第二照明级别来照明所述场景的所述至少一部分并且在以所述第二照明...

【专利技术属性】
技术研发人员：A·G·柯克，C·莱曼，O·A·怀特，S·伊扎迪，S·B·康，A·乔治欧，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US