降低飞行时间深度成像的功耗制造技术

本公开涉及用于降低飞行时间深度成像的功耗的系统及方法。实施方案的方面涉及被动深度确定。最初，可以创建场景的高功率深度图。可以标识场景中的对象，诸如刚体或其他对象或对象的一部分。可以捕获一系列较低功率或RGB图像。对象可以位于一个或多个低功率或RGB图像中。可以确定由一组像素表示的对象的位置的变化。根据对象的位置变化，可以外推出对象的新深度。对象的外推深度可以用于更新高功率深度图。

Reducing power consumption in flight time depth imaging

The present disclosure relates to systems and methods for reducing power consumption in flight time depth imaging. Aspects of the implementation plan involve passive depth determination. Initially, a high power depth map of the scene can be created. You can identify objects in a scene, such as a rigid body or other object or part of an object. A series of lower power or RGB images can be captured. Objects can be located in one or more low power or RGB images. A change in the position of an object represented by a set of pixels. Depending on the location of the object, the new depth of the object can be pushed out. The extrapolated depth of an object can be used to update a high power depth map.

【技术实现步骤摘要】
降低飞行时间深度成像的功耗
本公开涉及用于降低飞行时间深度成像的功耗的系统及方法。
技术介绍
设备与对象之间的距离的感测可以通过从设备发射光且测量光从该对象反射且然后被设备采集所花费的时间来执行。距离感测设备可以包括光传感器，该光传感器采集由设备发射且然后从环境中的对象反射的光。在飞行时间(TOF)三维(3D)图像传感器中，图像传感器捕获二维图像。图像传感器进一步配备有光源，光源照射对象，对象距设备的距离是通过检测发射的光返回到图像传感器所花费的时间来测量的。这提供了第三维信息，允许生成3D图像。为确定对象距成像设备的距离的目的而使用光源来照射对象会使用大量的电力。
技术实现思路
实施方案的方面涉及操作成像设备的方法。该方法可以包括：由图像传感器捕获第一图像；识别所捕获的图像中的对象的至少一部分；通过所述图像传感器捕获第二图像；从所述第二图像确定所述对象的所述至少一部分的位置的变化；以及基于所述对象的所述至少一部分的位置的变化来更新深度图。实施方案的方面涉及一种包括图像传感器的成像设备；光源；和图像处理器。成像设备被配置为通过图像传感器捕获第一图像；识别所捕获的图像中的对象的至少一部分；通过所述图像传感器捕获第二图像；从所述第二图像确定所述对象的所述至少一部分的位置的变化；以及基于所述对象的所述至少一部分的位置的变化来更新深度图。附图说明将参考以下图来对本申请的各方面和实施方案进行说明。将意识到，图不一定是按比例绘制。在多个图中出现的项在它们出现的所有图中由相同的附图标记来表示。图1A描绘根据一些实施方案的经配置以感测距离的说明性的成像设备；图1B描绘根据一些实施方案的由图1A中所示的成像设备产生的说明性的距离映射；图2是根据一些实施方案的成像设备的框图；图3是描绘根据一些实施方案的确定距离信息的方法的流程图；图4示出根据一些实施方案的用于确定到对象的距离的脉冲调制技术；图5描绘根据一些实施方案的单个成像帧内的说明性的脉冲调制模式；图6示出了在一些但不是全部帧中发射照射光的帧序列。图7示出包括本文所述类型的成像设备的系统的实施例；图8示出包括有本文所述类型的成像设备的移动设备；图9示出包括本文所述类型的成像设备的游戏控制台；和图10示出包括本文所述类型的成像设备的机器人。图11是根据本公开的实施方案的使用成像设备进行成像的过程流程图。图12A是根据本公开的实施方案的用于确定用于从同一场景的较低质量图像提供来自场景的较高质量图像的一个或多个算法参数的过程流程图。图12B是根据本公开的实施方案的使用确定的算法参数以从捕获的较低质量图像提供较高质量图像的过程流程图。图13A是根据本公开的实施方案的用于确定算法参数以从所捕获的图像提供特征提取的过程流程图。图13B是根据本公开的实施方案的从由成像系统捕获的一组帧中进行特征提取的过程流程图。图14是根据本公开的实施方案的用于过滤低功率深度图像的过程流程图。图15是根据本公开的实施方案的用于通过刚体转换信息来更新深度图的过程流程图。图16是根据本公开的实施方案的用于确定图像的逐像素平移以更新深度图的过程流程图。图17是根据一些实施方案的具有惯性测量单元(IMU)的成像设备的框图。图18A是使用结合使用RGB图像的深度图估计的IMU测量数据来更新深度图的过程流程图。图18B是根据本公开的实施方案的用于使用惯性测量单元信息来估计深度图的过程流程图。图19是根据本公开的实施方案的用于使用对物体的运动的分块式估计来更新深度图的过程流程图。图20是用于外推更新的深度图的背景像素的过程流程图。具体实施方式本申请的方面提供用于操作TOF3D感测系统的功率高效技术，使得TOF3D感测系统的照射源的操作频率比距离信息所需要的每一帧低。例如通过比较两个二维(2D)图像来确定距离的低功率替代方式可以用于当不使用照射源时确定到对象的距离。然后，在至少一些实施方案中，仅当其他低功率技术不足时，即当低功率替代距离确定机制不能确定到被成像对象的距离时，才使用照射源来确定距离。以这种方式，可以减少照射源消耗的功率。从二维图像获得关于第三维中的距离的信息可有益于多种应用，诸如那些期望三维图像的应用。三维图像本身在一些设置中可能是期望的最终目标，而在其它设置中，所确定的第三维中的距离信息可允许跟踪对象的移动或可以辅助做出关于要采取的措施的决策，例如导航物理环境。为获得关于对象或环境的第三维的信息，可以使用关于光照射对象/环境所花费的时间的信息，称为“飞行时间”或简称为“TOF”。然而，对于图像或图像序列的每帧进行照射和计算飞行时间信息既是处理器密集的，又是能量密集的。为降低处理要求和功率要求，披露了多种用于图像感测系统的技术。在一些实施方案中，图像感测系统使用飞行时间照射技术以及可替代的距离感测技术，使得飞行时间技术基于在对象或环境中何时检测到变化或者某时间段已经经过之后来执行。根据本文所述的一些实施方案，可以利用成像设备来确定距离信息，成像设备被配置成发射照射光且感测从环境中的对象反射回到设备的照射光。在一些情况下，同一成像设备可另外地捕获环境的二维图像(例如，使用与用来感测反射的照射光的相同的图像传感器，或通过其它方式)。在图1A的TOF3D感测系统100中描绘了示例性的成像设备。在图1A的实施例中，成像设备110包括图像传感器112和照射光源114，两者都由处理器116控制。三个示例性的对象105a，105b和105c定位成分别距成像设备的距离为d2，d1和d3。照射光源114可以是激光光源比如激光二极管，其发射照射光(例如，激光)，激光从成像设备向外行进，从对象105a-105c反射，并且入射到图像传感器112上。将意识到，为清晰，仅在图中描绘了那些既入射到对象105a，105b或105c又反射到图像传感器的那些光线。而且通常存在其它从照射光源发射的光线以及沿除了图中所示的方向之外的方向反射的光线。图像传感器112可被配置成识别可见光和红外光(例如，可以是组合RGB和IR传感器)。在这些情况下，照射光源可以是红外辐射源，使得图像传感器112能够在同时接收到的红外辐射(其包含从环境中的对象反射的照射光)以及可见光(来自可见谱内的环境中的观察对象)之间进行区分。图像传感器112可以包括任何适合的图像传感器技术，包括但不限于，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)成像设备。在一些实现中，图像传感器112可以包括采集由成像设备观察到的场景的部分的反射照射光的多个像素。通过分析接收的光，图像传感器能够确定，对于每个像素，距该像素所观察到的对象的距离。因此，场景的“距离映射”可以通过图像传感器成像，其类似于常规的二维(2D)图像，除了每个像素测量距离而非光强度。图1A所描绘的场景的示例性的距离映射150显示在图1B中。在图1B所示的图像160中，距所感测的对象定位距所述成像设备越远，则像素越暗。结果，从成像设备所观察到的对应于对象105b的矩形形状被测量为相对靠近成像设备(浅灰色)；从成像设备所观察到的对应于对象105a的三角形形状被测量处于距成像设备的中间距离(中灰色)；并且从成像设备所观察到的对应于对象105c的圆形形状被测量为距成像设备相对较远(深灰色)。照射光源114本文档来自技高网...

【技术保护点】
操作成像设备的方法，包括：在多个帧的第一帧期间使用第一功率设置从场景捕获第一组测量，所述第一组测量包括表示所述场景中的一个或多个对象与所述成像设备之间的距离的深度图；在第二帧期间使用第二功率设置从所述场景捕获第二组测量，所述第二功率设置低于所述第一功率设置；以及至少部分地基于所述第一组测量和所述第二组测量的比较来更新在所述第一帧期间捕获的深度图。

【技术特征摘要】
2016.03.16 US 62/309,421;2016.07.12 US 62/361,488;1.操作成像设备的方法，包括：在多个帧的第一帧期间使用第一功率设置从场景捕获第一组测量，所述第一组测量包括表示所述场景中的一个或多个对象与所述成像设备之间的距离的深度图；在第二帧期间使用第二功率设置从所述场景捕获第二组测量，所述第二功率设置低于所述第一功率设置；以及至少部分地基于所述第一组测量和所述第二组测量的比较来更新在所述第一帧期间捕获的深度图。2.如权利要求1所述的方法，其中所述深度图是第一深度图，并且其中所述第二组测量值包括在所述第二功率设置下捕获的第二深度图；所述方法还包括：至少部分地基于所述第二深度图更新所述第一图。3.如权利要求1所述的方法，其中所述第一组测量值包括第一二维图像，所述第二组测量值包括第二二维图像，所述方法还包括：识别所述第一二维图像中的场景的至少部分；从所述第二二维图像确定所述场景的所述至少部分的变换的变化；以及其中更新所述深度图包括基于所述场景的所述至少部分的变换的所述变化来更新所述深度图。4.如权利要求3所述的方法，其中所述场景的所述至少部分的所述变换的所述变化包括位置、取向或尺度的变化中的一个或多个。5.如权利要求3所述的方法，其中确定所述场景的所述至少部分的变换包括：识别所述成像设备的焦距；识别表示所述第一图像中的对象的所述部分的一组像素；识别所述一组像素中的至少一个的深度；确定所述场景中的所述对象的所述部分相对于所述传感器的位置；在对应于拍摄所述第二图像时的时间确定对应于所述对象的所述部分的像素；在对应于拍摄所述第二图像的时间确定所述对象的所述部分相对于所述传感器的位置；以及确定所述捕获的第二图像的像素的深度。6.如权利要求3所述的方法，其中确定所述场景的所述至少部分的变换包括确定所述场景的所述至少部分的旋转。7.如权利要求6所述的方法，其中确定所述场景的所述至少部分的旋转包括：对所述第一图像和所述第二图像中的所述场景的所述至少部分中的像素应用快速傅立叶变换；确定两个快速傅里叶变换的幅度；将傅立叶变换的幅度的坐标变换为极坐标；计算极坐标中的两个傅里叶变换的幅度的互功率谱；以及确定所述互谱最大化的角度作为旋转角度。8.如权利要求6所述的方法，其中确定所述场景的所述至少部分的缩放包括：对所述第一图像和所述第二图像中的所述场景的所述至少部分中的像素应用快速傅立叶变换；将快速傅立叶变换的至少一些坐标变换为对数标度的极坐标；计算所述快速傅里叶变换在对数极坐标中的互功率谱；以及确定将所述互谱最大化的平移的指数作为重定标。9.如权利要求1所述的方法，进一步包括：确定与所述第一组测量和所述第二组测量之间的比较相关联的置信度度量；以及在所述多个帧的第三帧期间，使用第三功率设置捕获第三组测量，所述第三功率设置基于所述置信度度量来确定。10.如权利要求1所述的方法，进一步包括：识别外推所述深度图的方法将不给出正确的深度估计的像素；在图像中找到能够用于估计外推深度图的方法将不给出正确深度估计的像素的深度的、具有正确深度估计的区域；以及基于所述图像中的具有正确深度估计的区域将背景完成过程应用于外推深度图的方法将不会给出正确的深度估计像素的像素。11.如权利要求1所述的方法，进一步包括：通过耦合到所述图像传感器的惯性测量单元(IMU)确定所述图像传感器的位置、取向或速度中的一项或多项；以及将由所述IMU暗示的变换应用于所述场景的所述至少部分，以确定所述场景的所述至少部分如何在所述第一帧和所述第二帧之间改变。12.成像设备，包括：图像传感器；光源；以及图像处理器，所述成像设备被配置为：由...

【专利技术属性】
技术研发人员：C·麦瑟，S·迪米尔达斯，霍斌，D·高家瑞拉，J·A·高登博格，N·莱多兹，于涛，J·诺拉奇，
申请(专利权)人：美国亚德诺半导体公司，
类型：发明
国别省市：美国,US