从单个传感器生成的深度图制造技术

本公开涉及从单个传感器生成的深度图。用于生成深度图的装置包括：单个相机模块，具有固定近场焦距，被配置为捕获单个图像；图像分割器，被配置为将该图像分区成多个区域；焦距度量确定器，被配置为确定针对多个区域中的每个区域的焦距度量；以及深度图生成器，被配置为针对多个区域中的每个区域将焦距度量映射成深度值并且将多个深度值组合以生成针对单个相机的深度图。

【技术实现步骤摘要】
从单个传感器生成的深度图
一些实施例涉及用于从图像传感器捕获的单个图像生成深度图的装置和方法。
技术介绍
使用(例如在CMOS架构中实施的)光电二极管像素的图像传感器是已知的。这种图像传感器具有很多应用。在一些应用中，可以提供像素阵列。用于确定到对象的距离的设备是已知的。此外，当前的光子学3D图/深度设备通常被限制于针对其进行了优化的单个应用。例如，在多个相机或者相机阵列提供的一些设备中，图像可以被用于确定距离。计算相机应用可以比较这些图像内的特征，并且通过使用与相机或者相机阵列关联的本征和非本征参数的知识，确定相距设备的距离。计算相机应用因此可以创建3D图像与关联的3D深度图。
技术实现思路
根据第一方面，提供用于生成深度图的装置，该装置包括：单个相机模块，具有固定近场焦距，被配置为捕获单个图像；图像分割器，被配置为将图像分区成多个区域；焦距度量确定器，被配置为确定针对多个区域中的每个区域的焦距度量；以及深度图生成器，被配置为针对多个区域中的每个区域将焦距度量映射成深度值并且将多个深度值组合以生成针对单个相机的深度图。单个相机模块可以被配置为捕获另一单个图像，图像分割器可以被配置为将另一图像分区成多个区域，焦距度量确定器可以被配置为确定针对多个区域中的每个区域的另一焦距度量；并且深度图生成器可以被配置为针对多个区域中的每个区域将焦距度量映射成另一深度值并且将多个另一深度值组合以生成针对单个相机的另一深度图。装置可以进一步包括对象确定器，其被配置为从深度图确定深度图内与和背景分离的至少一个对象关联的位置。对象确定器可以被配置为从另一深度图确定另一深度图内与至少一个对象关联的位置。装置可以进一步包括对象追踪器，其被配置为追踪深度图内与和背景分离的至少一个对象关联的位置和另一深度图内与至少一个对象关联的位置之间的改变。装置可以进一步包括姿势确定器，其被配置为从以下中的至少一个识别姿势：深度图内与和背景分离的至少一个对象关联的位置；另一深度图内与至少一个对象关联的位置；以及深度图内与和背景分离的至少一个对象关联的位置和另一深度图内与至少一个对象关联的位置之间的改变。装置可以进一步包括控制器，其被配置为基于所识别的姿势控制装置的功能。根据第二方面，提供用于生成深度图的方法，该方法包括：使用具有固定近场焦距的单个相机模块捕获单个图像；将图像分区成多个区域；确定针对多个区域中的每个区域的焦距度量；针对多个区域中的每个区域将焦距度量映射成深度值；以及将多个深度值组合以生成针对单个相机的深度图。方法可以进一步包括：从单个相机模块捕获另一单个图像；将另一图像分区成多个区域；确定针对多个区域中的每个区域的另一焦距度量；针对多个区域中的每个区域将焦距度量映射成另一深度值；以及将多个另一深度值组合以生成针对单个相机的另一深度图。方法可以进一步包括从深度图确定深度图内与和背景分离的至少一个对象关联的位置。方法可以进一步包括从另一深度图确定另一深度图内与至少一个对象关联的位置。方法可以进一步包括追踪深度图内与和背景分离的至少一个对象关联的位置和另一深度图内与至少一个对象关联的位置之间的改变。方法可以进一步包括从以下中的至少一个识别姿势：深度图内与和背景分离的至少一个对象关联的位置；另一深度图内与至少一个对象关联的位置；以及深度图内与和背景分离的至少一个对象关联的位置和另一深度图内与至少一个对象关联的位置之间的改变。方法可以进一步包括基于所识别的姿势控制装置的功能。根据第三方面，提供用于生成深度图的装置，该装置包括：用于使用具有固定近场焦距的单个相机模块捕获单个图像的装置；用于将图像分区成多个区域的装置；用于确定针对多个区域中的每个区域的焦距度量的装置；用于针对多个区域中的每个区域将焦距度量映射成深度值的装置；以及用于将多个深度值组合以生成针对单个相机的深度图的装置。装置可以进一步包括：用于从单个相机模块捕获另一单个图像的装置；用于将另一图像分区成多个区域的装置；用于确定针对多个区域中的每个区域的另一焦距度量的装置；用于针对多个区域中的每个区域将焦距度量映射成另一深度值的装置；以及用于将多个另一深度值组合以生成针对单个相机的另一深度图的装置。装置可以进一步包括用于从深度图确定深度图内与和背景分离的至少一个对象关联的位置的装置。装置可以进一步包括用于从另一深度图确定另一深度图内与至少一个对象关联的位置的装置。装置可以进一步包括用于追踪深度图内与和背景分离的至少一个对象关联的位置和另一深度图内与至少一个对象关联的位置之间的改变的装置。装置可以进一步包括用于从以下中的至少一个识别姿势的装置：深度图内与和背景分离的至少一个对象关联的位置；另一深度图内与至少一个对象关联的位置；以及深度图内与和背景分离的至少一个对象关联的位置和另一深度图内与至少一个对象关联的位置之间的改变。装置可以进一步包括用于基于所识别的姿势控制装置的功能的装置。附图说明现在仅通过示例的方式参照附图，其中：图1示出了包括单个相机传感器设置的用于从单个图像生成深度图的示例设备；图2a和图2b示出了根据一些实施例的示例兴趣区域设置；图3示出了根据一些实施例的示例深度图生成器/姿势确定器装置；图4示出了根据一些实施例的示例焦距测量与对象距离图；图5a至图5c示出了根据一些实施例的示例图像、具有兴趣区域和焦距测量的图像、以及从该图像生成的深度图；以及图6示出了如图3所示的深度图生成器/姿势确定器装置的操作的流程图。具体实施方式与如本文中描述的实施例关联的概念是采用单个相机从单个图像确定深度图。移动电话中的常规的多个相机或者相机阵列实施方式可以例如确定远离移动电话的对象的运动并且因此实现对移动电话的姿势控制。首先，多个相机可以捕获图像。图像信号处理器(ISP)或者处理器可以接着后处理图像以构造3D图。虽然多相机实施方式通常不增加移动电话的Z高度(或者厚度)(这是“像素竞赛”中对于较高分辨率的移动相机而言的普遍问题)，但是两个或者多个相机在设备中的使用需要单个相机两倍(或者M倍)的体积。此外，在一些实施例中，深度图可以从使用飞行时间或者相似光学传感器强化的单个相机生成。这种配置是有问题的并且需要大量硬件和处理以便确定深度图。在一些情况下，单个相机可以从多个图像确定深度图。例如通过拍摄具有不同焦点的两个或者多个分立图像，或者通过使得能够扫描(换句话说，从2个分立视点捕获图像)的相机。在这种实施例中，问题在于，在不同时间进行的曝光可能是两个不同对象的图像(例如当对象非常迅速地移动时)或者已经在曝光之间移动了的相同对象的图像。如下文中进一步描述的概念涉及用于从单个图像生成深度图的装置和方法。在这种装置中，具有固定焦距并且具有短的场深度的单个相机被用于捕获可以被分割成(兴趣)区域的图像。这些图像区域或者部分或者分区可以被分析以便确定针对每个区域的焦距度量。接着通过使用焦距度量值和相距传感器的对象距离之间的关系，针对每个区域生成一系列对象距离值以形成深度图。所生成的深度图接着可以被分析以便确定对象和对对象分类并且此外追踪对象。例如，追踪手指或者手的位置。对对象的追踪接着可以被用于执行姿势确定并且此外用于控制功能或者参数。例如，在汽车环境中，相机可以被设置在汽车本文档来自技高网...

【技术保护点】
一种用于生成深度图的装置，包括：单个相机模块，具有固定近场焦距，被配置为捕获单个图像；图像分割器，被配置为将所述图像分区成多个区域；焦距度量确定器，被配置为确定针对所述多个区域中的每个区域的焦距度量；以及深度图生成器，被配置为针对所述多个区域中的每个区域将所述焦距度量映射成深度值，并且将多个深度值组合以生成针对所述单个相机的深度图。

【技术特征摘要】
2015.12.23 EP 15202560.71.一种用于生成深度图的装置，包括：单个相机模块，具有固定近场焦距，被配置为捕获单个图像；图像分割器，被配置为将所述图像分区成多个区域；焦距度量确定器，被配置为确定针对所述多个区域中的每个区域的焦距度量；以及深度图生成器，被配置为针对所述多个区域中的每个区域将所述焦距度量映射成深度值，并且将多个深度值组合以生成针对所述单个相机的深度图。2.根据权利要求1所述的装置，其中所述单个相机模块被配置为捕获另一单个图像，所述图像分割器被配置为将另一图像分区成多个区域，所述焦距度量确定器被配置为确定针对所述多个区域中的每个区域的另一焦距度量；并且所述深度图生成器被配置为针对所述多个区域中的每个区域将所述焦距度量映射成另一深度值，并且将多个另一深度值组合以生成针对所述单个相机的另一深度图。3.根据权利要求1和2中的任一项所述的装置，进一步包括对象确定器，其被配置为从所述深度图确定所述深度图内与和背景分离的至少一个对象关联的位置。4.根据从属于权利要求2的权利要求3所述的装置，其中所述对象确定器被配置为从所述另一深度图确定所述另一深度图内与所述至少一个对象关联的位置。5.根据权利要求4所述的装置，进一步包括对象追踪器，其被配置为追踪所述深度图内与和背景分离的至少一个对象关联的所述位置和所述另一深度图内与所述至少一个对象关联的所述位置之间的改变。6.根据权利要求5所述的装置，进一步包括姿势确定器，其被配置为从以下中的至少一个识别姿势：所述深度图内与和背景分离的至少一个对象关联的所述位置；所述另一深度图内与所述至少一个对象关联的所述位置；以及所述深度图内与和背景分离的至少一个对象关联的所述...

【专利技术属性】
技术研发人员：D·哈尔，
申请(专利权)人：意法半导体RD有限公司，
类型：发明
国别省市：英国,GB