多检测器飞行时间深度映射制造技术

本文涉及多检测器飞行时间深度映射。深度映射方法(38)，包括将沿不同光轴定向的第一和第二检测器(18，18’)暴露(40)在从场景分散的光下，并提供响应于该场景的位置的深度坐标的输出。该输出随第一检测器在第一时间段接收的递增的第一光量而增大，并随第二检测器在不同于第一时间段的第二时间段接收的递增的第二光量而减小。

【技术实现步骤摘要】

本专利技术涉及深度映射，尤其涉及多检测器飞行时间深度映射。
技术介绍
飞行时间(TOF)深度映射是一种用于构造场景或对象的三维(3D)虚拟模型的已知方法。受到日益改进的数字图像技术和低成本脉冲照明的可用性鼓励，该方法现在被用于例如从飞行器导航到机器人到视频游戏的范围的应用中。尽管有这么广的可用性，但是常规TOF深度映射系统的成本随可用的深度分辨率急剧增大，尤其是在一至十米深度范围内。在这些距离处，分辨率可受对象运动影响，并且，在使用非光学对准检测器时受视差误差影响。
技术实现思路
本专利技术的一个实施例提供了深度映射方法。该方法包括将沿不同光轴定向的第一和第二检测器暴露在从场景分散的光下，并提供响应于该场景位置的深度坐标的输出。该输出随第一检测器在第一时间段接收的递增的第一光量而增大，并随第二检测器在不同于第一时间段的第二时间段接收的递增的第二光量而减小。提供以上
技术实现思路
以简化的形式介绍本专利技术的所选部分，不旨在标识关键或必要特征。由权利要求书定义的所要求保护的主题既不限于本
技术实现思路
的内容也不限于解决本文提出的问题或缺点的各实现。附图说明图1示意性地示出根据本专利技术的实施例的深度映射的示例环境。图2示意性地示出根据本专利技术的实施例的示例视觉系统检测器。图3示意性地示出根据本专利技术的实施例的示例视觉系统和对象。图4示出了根据本专利技术的实施例的由视觉系统发出和检测的光脉冲之间的示例时间关系。图5示出了根据本专利技术的实施例的示例深度映射方法。图6示出根据本专利技术实施例的用于基于第一图像S和第二图像M来计算深度映射的示例方法。图7示出了根据本专利技术的实施例的示例第一和第二图像。图8示出了根据本专利技术的实施例的用于制定改进深度映射准确度的迭代例程示例方法。具体实施例方式现在将通过示例并参照所示的以上列出的实施例来描述本专利技术的各方面。在一个或多个实施例中基本相同的组件、过程步骤和其它元素被协调地标识并且以重复最小的方式描述。然而应该注意，协调地标识的元素还可以在某种程度上不同。还应该注意，本专利技术中包括的附图是示意性的并且通常未按照比例绘制。相反，附图中所示的各种绘制比例、纵横比和组件数量可以有目的地失真，以使特定特征或关系更加显见。图1示出了其中可有利地使用深度映射的示例场景。该附图示出了与视觉系统12 交互的对象10。在示出的实施例中，视觉系统是视频游戏系统的组件，且该对象是视频玩家。视觉系统被配置成检测对象的位置、运动和/或姿势并将它们作为输入提供给视频游戏应用。视觉系统可被进一步配置成将视频输出从视频游戏应用引导到显示器14。为了提供更丰富的输入，更具有暗示性的虚拟现实，视觉系统12被配置成检测和提供对象在三维(3D)中的位置、运动和/或姿势。例如，这样的维度可以对应于笛卡尔坐标X、Y和Z。如此出所述的，3D检测可以经由深度映射来完成。深度映射将深度坐标Z与场景的平面图像中相应的像素(Χ，Υ)相关联。此过程映射了 3D中成像场景的多个位置，提供了成像场景的每一位置的深度坐标。如在当前实例中所示，场景可包括固定或运动的对象。尽管图1和后续附图将深度映射示出为应用于食品游戏，但是也构想了其他应用，这些应用同样由本专利技术所涵盖。这样的应用包括非游戏应用控制和操作系统、自治车辆导航、机器人，和测距，以及多个其他示例。在图1中，视觉系统12被定向为与对象10相对。 视觉系统和对象可以隔开任何合适的距离。例如，视觉系统可以与对象相距两米至四米。视觉系统12包括照明源16和第一检测器18。在所示实施例中，照明源和第一检测器在视觉系统的前面处耦接，与对象10相对。照明源16是经强度调制的源，被配置成发出合适强的光的窄脉冲串。从对象10 反射的该光由第一检测器18成像。在一些实施例中，照明源可以使用十五至二十纳秒的脉宽来脉冲调制。在一些实施例中，照明源可被配置成发出红外(IR)或近红外(NIR)光。至此，照明源可包括脉冲顶或肌！ 激光器。在这些或其他实施例中，照明源可包括一个或多个IR或NIR发光二极管(LED)。此外，第一检测器18被特别配置成获取包括对象10的场景平面图像。图2以示意性细节示出了第一检测器的实施例。第一检测器包括透镜20，透镜20通过滤光器22和光圈M将来自场景的光聚焦在检测器阵列沈上。滤光器可以是任何合适的光学过滤器， 被配置成限制成像光的波长范围和/或偏振状态。它可以包括干涉滤光器、滤色器和/或偏振滤光器。以此方式，滤光器可减小环境光与视觉系统12干涉的程度。检测器阵列沈可包括任何合适的光敏元件集合——例如光电二极管或电荷耦合器件(CCD)元件。检测器阵列被耦合至电子快门28，电子快门观在控制器30的命令下打开和关闭。因此，由第一检测器形成的图像可包括像素的矩形阵列。控制器30可以是第一检测器18和/或视觉系统12的任何合适的电子控制系统。在电子快门打开时，一个或多个光敏元件中接收的光子通量可被集成为电子电荷；在电子快门关闭时，可将光子通量的集成挂起。由此，可命令电子快门打开一个合适的时间段并且随后关闭来累积场景或对象或其一部分的平面图像。在一些实施例中，控制器30可被配置成将电子快门观的打开和闭合与来自照明源16的脉冲串同步。以此方式，可以确保在电子快门观打开时适量的从照明源反射的光到达第一检测器18。如此后所描述的，电子快门与照明源的同步也可开启其他功能。继续参考图2，控制器30被配置成接收和处理来自检测器阵列沈的图像数据。控制器还可接收其他形式的输入，并且还可被进一步配置成制定视觉系统12的或者视觉系统被安装在其中的设备的计算、处理或控制功能。现在将参考图3和图4来描述深度映射和视觉系统12。图3示出了以上对象10 和视觉系统12的各方面，而图4示出了由视觉系统发出和检测的光脉冲之间的时间关系。如图3所示，对象10的一些位置可被定位在相对靠近视觉系统12，在深度坐标Z 的较小值处。其他位置可被定位在相对于远离视觉系统，在深度坐标的较大值处。图4中的实线32示出了从照明源16发出的光脉冲的示例简档。在一些实施例中，发出的脉冲的半峰全宽(FWHM)可以是十五至二十纳秒(ns)。来自照明源的脉冲照射对象的基本上全部位置，近的和远的两者，然后反射回检测器18。然而，从相对近的、浅的位置反射的光比从更远、更深的位置反射的光更迅速地被接收和检测。由此，图4中的虚线34示出了在接收从浅的位置(距离视觉系统两米)反射的光时来自第一检测器18的示例响应。图4中的点划线36示出了在接收从更深的位置(距离视觉系统四米)反射的光时来自第一检测器的类似响应。一般而言，照明脉冲和检测器脉冲之间的时间段与从照明源到反射光并返回至检测器的位置的往返距离成比例。因此，通过对对应于给定位置的检测器脉冲的到达进行计时，可以计算出向外到该位置的距离。这概括了深度映射的所谓飞行时间(TOF)方法。一种对检测器处的反射光的到达进行计时的方便、间接的方式是在相对于照明脉冲定义的有限间隔期间打开电子快门，并集成在该间隔期间在检测器处接收的光通量。为了示出此方法，图4中标记了两个间隔——第一间隔S和重叠的具有更长持续时间的第二间隔M。在标记为S的间隔期间快门可以是打开的。在此情况下，检测器的集成响应将随2 至4米深度范围内递增的反射位置的深度而增加，并将在深本文档来自技高网...

【技术保护点】

【技术特征摘要】
2010.12.20 US 12/973,6711.一种深度映射方法(38)，包括将沿不同光轴定向的第一和第二检测器(18，18’)暴露00)在从场景分散的光下；以及提供G6)输出，所述输出随着由所述第一检测器在第一时间段期间接收的递增的第一光量而增大，并随着由所述第二检测器在第二时间段期间接收的递增的第二光量而减小。2.如权利要求1所述的方法，其特征在于，所述场景包括多个位置，并且其中所述输出是对应于所述多个位置的多个输出其中之一，每一输出指示对应的位置的深度。3.如权利要求2所述的方法，其特征在于，所述第一检测器形成所述场景的第一图像， 所述第二检测器形成所述场景的第二图像，其中所述第一和第二图像各自包括像素的矩形阵列，并且其中所述第一和第二时间段重叠且持续时间不同。4.如权利要求3所述的方法，其特征在于，其中所述第一光量是集成在所述第一图像的第一像素处的亮度，其中所述第二光量是在所述第二图像的第二像素处集成的亮度，所述方法还包括列举所述第二图像的一系列候选像素；以及从所述一系列候选像素选择第二像素，使得所述输出指示最接近可映射至所述第一和第二像素的位置的深度。5.如权利要求4所述的方法，其特征在于，其中列举所述一系列候选像素包括，对于...

【专利技术属性】
技术研发人员：S·卡茨，A·阿德勒，G·叶海弗，J·塔迪夫，
申请(专利权)人：微软公司，
类型：发明
国别省市：