公开了一种成像装置(22)，其包括辐射源(40)，该辐射源朝向目标场景(24)发射光学辐射的脉冲束(42)。感测元件(78)的阵列(52)输出指示在感测元件阵列上形成的目标场景的第一图像中光子的相应入射时间的信号。图像传感器(64)捕获与第一图像配准的目标场景的第二图像。处理和控制电路(56,58)响应于该信号而标识该阵列的区域，从目标场景的对应区域反射的光学辐射脉冲入射在该阵列的该区域上，并且处理来自所标识的区域中的感测元件的信号以便基于入射时间来测量目标场景的该对应区域的深度坐标，同时响应于第二图像而将目标场景的该区域中的一个或多个区域标识为无深度区域。该区域中的一个或多个区域标识为无深度区域。该区域中的一个或多个区域标识为无深度区域。
【技术实现步骤摘要】
【国外来华专利技术】使用彩色图像数据校准深度感测阵列
[0001]相关申请的交叉引用
[0002]本申请要求2018年9月16日提交的美国临时专利申请62/731,914的权益，该申请以引用方式并入本文。
[0003]本专利技术整体涉及用于深度映射的系统和方法，并且具体地涉及在飞行时间感测中使用的传感器阵列。
技术介绍
[0004]现有的和新兴的消费者应用已产生对实时三维(3D)成像器日益增长的需求。这些成像设备也称为深度传感器或深度映射器，其使得能够通过用光学束照明目标场景并分析反射的光学信号来远程测量与目标场景中每个点的距离(并且常常还有强度)
‑
被称为目标景深。一些系统也捕获目标场景的彩色图像，并且将深度图与彩色图像配准。
[0005]用于确定与目标场景上每个点的距离的常用技术涉及将一个或多个脉冲光学束朝向目标场景传输，然后测量光学束在从源行进到目标场景并返回到与源相邻的检测器阵列时所花费的往返时间，即飞行时间(ToF)。
[0006]一些ToF系统在测量光子到达时间时使用单光子雪崩二极管(SPAD)(也称为盖革模式雪崩光电二极管(GAPD))，或者可能使用SPAD感测元件阵列。在一些系统中，偏置控制电路将阵列中不同SPAD中的偏置电压设定为不同的相应值。
[0007]这种可变偏置能力可用于选择性地致动SPAD阵列中的各个感测元件或感测元件组。(此类阵列中的每个感测元件还称为“像素”。)激光源发射至少一束光脉冲，并且束转向设备在目标场景上传输和扫描该至少一个束。集光光学器件将由所传输的束扫描的目标场景成像到阵列上。电路被耦接以致动阵列的仅选定区域中的感测元件，并且与该至少一个束的扫描同步地在阵列上方扫过所述选定区域。
技术实现思路
[0008]下文描述的本专利技术的实施方案提供了改进的深度映射系统和此类系统的操作方法。
[0009]因此，根据本专利技术的一个实施方案提供了包括辐射源的成像装置，该辐射源被配置为朝目标场景发射光学辐射的第一多个脉冲束。第二多个感测元件的阵列被配置为输出指示感测元件上光子的相应入射时间的信号，其中该第二多个感测元件超过该第一多个脉冲束。物镜光学器件被配置为在感测元件阵列上形成目标场景的第一图像。图像传感器被配置为捕获与第一图像配准的目标场景的第二图像。处理和控制电路被耦接以从该阵列接收该信号并被配置为响应于该信号而标识该阵列的从目标场景的对应区域反射的光学辐射脉冲入射在其上的区域，以及处理来自所标识的区域中的感测元件的信号，以便基于入射时间来测量目标场景的该对应区域的深度坐标，同时响应于该第二图像将目标场景的该
区域中的一个或多个区域标识为无深度区域。
[0010]在一些实施方案中，第二图像是彩色图像。在所公开的实施方案中，处理和控制电路被配置为响应于彩色图像的对应部分的相应颜色来标识无深度区域。例如，该处理和控制电路可被配置为将彩色图像的蓝色部分标识为天空，并且将天空标记为无深度区域。
[0011]另选地，第二图像是深度图。
[0012]在一些实施方案中，该处理和控制电路被配置为将第二图像的亮度低于预定义水平的部分标识为无深度区域。
[0013]除此之外或另选地，该处理和控制电路被配置为通过将深度学习网络应用于第二图像来标识无深度区域，以计算第二图像的像素在无深度区域中的相应概率。在所公开的实施方案中，该深度学习网络被配置为对第二图像和深度坐标两者进行操作。
[0014]在一些实施方案中，当从阵列的所标识的区域中的一者或多者输出的信号低于最小阈值，而目标场景的与所标识的区域中的该一个或多个区域对应的区域不被标识为无深度区域时，该处理和控制电路被配置为重新校准所述阵列，以选择该阵列的一个或多个新区域来从中接收该信号以进行处理。在所公开的实施方案中，该处理和控制电路被配置为通过在感测元件上搜索以找到从目标场景反射的光脉冲被物镜光学器件成像到其上的区域来选择该阵列的该一个或多个新区域。
[0015]在一些实施方案中，该感测元件包括单光子雪崩二极管(SPAD)。除此之外或另选地，该处理和控制电路被配置为将所标识的区域中的每个区域中的感测元件分组在一起以限定超像素，并且将来自超像素中的每个超像素中的感测元件的信号一起处理以便测量深度坐标。
[0016]根据本专利技术的一个实施方案，还提供了一种用于成像的方法，该方法包括将光学辐射的第一多个脉冲束朝向目标场景引导。该目标场景的第一图像形成在第二多个感测元件的阵列上，该第二多个感测元件输出指示感测元件上光子的相应入射时间的信号，其中该第二多个感测元件超过该第一多个脉冲束。校准该阵列以标识该阵列的从目标场景的对应区域反射的光学辐射脉冲入射在其上的区域。处理来自所标识的区域中的感测元件的信号，以便基于入射时间来测量目标场景的对应区域的深度坐标。捕获与第一图像配准的目标场景的第二图像。在对于场景的对应区域未能从阵列的所标识的区域中的一个或多个区域接收到可用信号时，检查第二图像以便确定是否将对应区域标识为无深度区域。当目标场景的与所标识的区域中该一个或多个区域对应的区域不被标识为无深度区域时，阵列被重新校准，以选择阵列的一个或多个新区域来从中接收信号以进行处理。
[0017]结合附图，从下文中对本专利技术的实施方案的详细描述将更全面地理解本专利技术，在附图中：
附图说明
[0018]图1是根据本专利技术的实施方案的深度映射系统的示意性图示说明；
[0019]图2是根据本专利技术的实施方案的图1所示深度映射系统的示意性侧视图；
[0020]图3A是根据本专利技术的实施方案的投影到目标场景上的斑点图案的示意图；
[0021]图3B是根据本专利技术的实施方案的ToF感测阵列的示意性前视图；
[0022]图3C是根据本专利技术的实施方案的图3B的ToF感测阵列的一部分的示意性细部图，
图3A的目标场景的区域中的斑点的图像被投射到这一部分上；
[0023]图4A和图4B是分别由ToF感测阵列和彩色图像传感器捕获的目标场景的图像的示意图；并且
[0024]图5是根据本专利技术的实施方案的示意性地示出用于校准深度映射系统的方法的流程图。
具体实施方式
[0025]概述
[0026]在本专利技术的一些实施方案中，SPAD被分组在一起成为“超像素”，这是指多组相互相邻的像素以及直接耦接到这些像素的数据处理元件。在系统操作期间的任何时间，仅阵列的将接收来自束的反射照明的一个或多个区域中的感测元件例如通过所选超像素中SPAD的适当偏置而被致动，而其余的感测元件是不活动的。因此，感测元件只有在其信号提供有用信息时才被致动。该方法减少了背景信号，从而增强了信号与背景的比率，并且降低了检测器阵列的电力需求和必须附接到SPAD阵列的数据处理单元的数量这两者。
[0027]在这种深度映射系统中要解决的一个问题是要使用的超像素的尺寸和位置。对于准确深度映射，在高信号/背景比的情况下，重要的是超像素包含反射束的大部分能量被成像到上面的检测本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种成像装置，包括：辐射源，所述辐射源被配置为朝向目标场景发射光学辐射的第一多个脉冲束；第二多个感测元件的阵列，所述第二多个感测元件的阵列被配置为输出信号，所述信号指示所述感测元件上光子的相应入射时间，其中所述第二多个超过所述第一多个；物镜光学器件，所述物镜光学器件被配置为在所述感测元件的阵列上形成所述目标场景的第一图像；图像传感器，所述图像传感器被配置为捕获所述目标场景的与所述第一图像配准的第二图像；以及处理和控制电路，所述处理和控制电路被耦接以从所述阵列接收所述信号，并被配置为响应于所述信号而标识从所述目标场景的对应区域反射的光学辐射的脉冲入射在其上的所述阵列的区域，以及处理来自所标识的区域中的感测元件的所述信号，以便基于所述入射时间来测量所述目标场景的所述对应区域的深度坐标，同时响应于所述第二图像将所述目标场景的区域中的一个或多个区域标识为无深度区域。2.根据权利要求1所述的装置，其中所述第二图像为彩色图像。3.根据权利要求2所述的装置，其中所述处理和控制电路被配置为响应于所述彩色图像的对应部分的相应颜色来标识所述无深度区域。4.根据权利要求3所述的装置，其中所述处理和控制电路被配置为将所述彩色图像的蓝色部分标识为天空，并且将所述天空标记为无深度区域。5.根据权利要求1所述的装置，其中所述第二图像是深度图。6.根据权利要求1所述的装置，其中所述处理和控制电路被配置为将所述第二图像的亮度低于预定义水平的部分标识为无深度区域。7.根据权利要求1所述的装置，其中所述处理和控制电路被配置为通过将深度学习网络应用于所述第二图像来标识所述无深度区域，以计算所述第二图像的像素在所述无深度区域中的相应概率。8.根据权利要求7所述的装置，其中所述深度学习网络被配置成对所述第二图像和所述深度坐标两者进行操作。9.根据权利要求1至8中任一项所述的装置，其中所述处理和控制电路被配置为，当从所述阵列的所标识的区域中的一个或多个区域输出的所述信号低于最小阈值而所述目标场景的与所标识的区域中的所述一个或多个区域对应的区域不被标识为无深度区域时，重新校准所述阵列，以选择所述阵列的一个或多个新区域来从中接收所述信号以进行处理。10.根据权利要求9所述的装置，其中所述处理和控制电路被配置为通过在所述感测元件上搜索以找到从所述目标场景反射的光脉冲被所述物镜光学器件成像到其上的区域来选择所述阵列的所述一个或多个新区域。11.根据权利要求1至8中任一项所述的装置，其中所述感测元件包括单光子雪崩二极管(S...
【专利技术属性】
技术研发人员：D，
申请(专利权)人：苹果公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。