基于事件传感器的深度估计制造技术

本文所公开的各种具体实施包括用于使用指示光强度变化的传感器数据来估计深度的技术。在一个具体实施中，一种方法包括：获取由事件传感器输出的对应于设置在该事件传感器的视场内的场景的像素事件。每个相应像素事件是响应于该事件传感器的像素阵列内的特定像素传感器检测到超过比较器阈值的光强度变化而生成的。映射数据是通过将这些像素事件与由光学系统朝向该场景投射的多个照明图案关联而生成。基于该映射数据确定该场景相对于参考位置的深度数据。置的深度数据。置的深度数据。

【技术实现步骤摘要】
【国外来华专利技术】基于事件传感器的深度估计


[0001]本公开一般涉及机器视觉，并且具体地涉及用于使用结构化光来估计深度的技术。

技术介绍

[0002]存在用于通过将光投射到场景上来估计场景的深度信息的各种基于图像的技术。例如，结构化光深度估计技术涉及将已知光图案投射到场景上并且处理场景的图像数据以基于已知光图案来确定深度信息。一般来讲，此类图像数据是从一个或多个常规基于帧的相机获得。通常由此类基于帧的相机提供的高分辨率促进空间致密深度估计。然而，获得和处理此类图像进行深度估计可能需要大量功率并且导致实质时延。

技术实现思路

[0003]本文所公开的各种具体实施涉及用于使用结构化光来估计深度信息的技术。在一个具体实施中，一种方法包括获取由事件传感器输出的对应于设置在该事件传感器的视场内的场景的像素事件。每个相应像素事件是响应于该事件传感器的像素阵列内的特定像素传感器检测到超过比较器阈值的光强度变化而生成的。映射数据是通过将这些像素事件与由光学系统朝向该场景投射的多个照明图案关联而生成。基于该映射数据确定该场景相对于参考位置的深度数据。
[0004]在一个具体实施中，另一方法包括：获取由事件传感器输出的对应于设置在该事件传感器的视场内的场景的像素事件。每个相应像素事件是响应于该事件传感器的像素阵列内的特定像素传感器检测到超过比较器阈值的光强度变化而生成的。通过将这些像素事件与由光学系统朝向该场景投射的多个频率关联而生成映射数据。基于该映射数据确定该场景相对于参考位置的深度数据。
[0005]根据一些具体实施中，非暂态计算机可读存储介质中存储有指令，所述指令是计算机可执行的以执行或使得执行本文所述的任何方法。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。
附图说明
[0006]因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
[0007]图1是根据一些具体实施的示例性操作环境的框图。
[0008]图2是根据一些具体实施的用于事件相机的像素传感器的框图和像素传感器的示例性电路图。
[0009]图3示出根据一些具体实施的以时间复用方式投射多个照明图案的示例。
[0010]图4示出根据一些具体实施的通过使单个照明图案的每个图案元素空间移位不同的预定义空间偏移来形成多个照明图案的示例。
[0011]图5示出根据一些具体实施的照明图案的示例。
[0012]图6示出与图5的示例性照明图案形成互补对的另一示例性照明图案。
[0013]图7示出将单个照明图案投射到投射平面上的示例。
[0014]图8示出将多个照明图案以时间复用方式投射到图7的投射平面上的示例。
[0015]图9示出延伸最大深度估计范围而不增加光学系统的功率消耗的示例。
[0016]图10示出以不同调制频率编码多个照明图案的示例。
[0017]图11示出以不同调制频率编码多个照明图案的另一示例。
[0018]图12是示出用于使用指示光强度变化的传感器数据来估计深度的方法的示例的流程图。
[0019]图13是示出用于使用指示光强度变化的传感器数据来估计深度的方法的另一示例的流程图。
[0020]图14是根据一些具体实施的示例性电子设备的框图。
[0021]根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
具体实施方式
[0022]描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将会知道，其他有效方面或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
[0023]参见图1，用于实现本专利技术的各方面的示例性操作环境100一般被示出和命名为100。如图1的示例中所描绘，操作环境100包括光学系统110和图像传感器系统120。一般来讲，操作环境100表示涉及使用结构化光技术生成场景105的深度数据的各种设备。为此，光学系统110被配置为将已知图案的光(“照明图案”)130投射或发射到场景105上。在图1中，照明图案130使用各自形成照明图案130的特定图案元素的多个光学射线或射束(例如，光学射线131、133和135)来投射到场景105上。例如，光学射线131形成图案元素132、光学射线133形成图案元素134，并且光学射线135形成图案元素136。
[0024]图像传感器系统120被配置为生成指示与场景105的设置在图像传感器系统120的视场140内的一部分相关联的光强度的传感器数据。在各种具体实施中，从由事件传感器(例如，图2的事件传感器200)输出的像素事件流获得该传感器数据的至少子集。如下文更详细地描述，由事件传感器输出的像素事件用于确定场景105相对于参考位置160的深度数据。此类深度数据可包括视场140内的照明图案130的每个图案元素的深度信息(例如，深度150)，该深度信息是通过搜索像素事件与每个图案元素之间的对应关系而确定。在一个具体实施中，一个或多个光学滤波器可设置在图像传感器系统120与场景105之间，以分隔环境光与由光学系统110发射的光。在具体实施中，参考位置160基于以下限定：光学系统110
相对于图像传感器系统120的定向、光学系统110相对于图像传感器系统120的位置或它们的组合。
[0025]在具体实施中，光学系统110包括多个光学源，并且每个光学射线由不同光学源发射。在具体实施中，光学系统110包括单个光学源，并且多个光学射线使用一个或多个光学元件来形成，该一个或多个光学元件包括：镜、棱镜、透镜、光学波导、衍射结构等。在具体实施中，光学系统110包括既超过一个又小于形成给定照明图案的光学射线总数的多个光学源。例如，如果给定照明图案使用四个光学射线来形成，则光学系统110可包括两个或三个光学源。在此具体实施中，多个光学射线中的至少一个光学射线使用一个或多个光学元件来形成。在一个具体实施中，光学系统110包括：用于在可见波长范围内发射光的光学源；在近红外波长范围内发射光的光学源；在紫外波长范围内发射光的光学源；或它们的组合。
[0026]图2是根据一些具体实施的用于示例性事件传感器200或动态视觉传感器(DVS)的像素传感器215的框图以及像素传感器的示例性电路图220。如图2所示，可通过将像素传感器215布置成行和列的二维(“2D”)矩阵210来将像素传感器215在相对本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，所述方法包括：获取由事件传感器输出的像素事件，每个相应像素事件是响应于所述事件传感器的像素阵列内的特定像素传感器检测到超过比较器阈值的光强度变化而生成的，所述像素事件对应于设置在所述事件传感器的视场内的场景；通过将所述像素事件与由光学系统朝向所述场景投射的多个照明图案关联来生成映射数据，其中所述多个照明图案是时间复用的；以及基于所述映射数据确定所述场景相对于参考位置的深度数据。2.根据权利要求1所述的方法，其中生成所述映射数据包括：搜索所述像素事件与跟所述多个照明图案相关联的图案元素之间的对应关系。3.根据权利要求1
‑
2中任一项所述的方法，其中生成所述映射数据包括：使用与所述像素事件相关联的时间戳信息来区分对应于所述多个照明图案之中的不同照明图案的相邻图案元素。4.根据权利要求1
‑
3中任一项所述的方法，其中所述多个照明图案包括第一照明图案和第二照明图案，并且其中所述映射数据将所述像素事件的第一子集与所述第一照明图案相关联并且将所述像素事件的第二子集与所述第二照明图案相关联。5.根据权利要求1
‑
4中任一项所述的方法，其中所述深度数据包括使用与第一照明图案相关联的所述像素事件在第一时间处生成的深度信息以及使用与第二照明图案相关联的所述像素事件在第二时间处生成的深度信息。6.根据权利要求1
‑
5中任一项所述的方法，所述方法还包括：使所述光学系统增加朝向所述场景投射的所述多个照明图案之中所包括的照明图案的数量，其中所述场景的所述深度数据的空间密度与所增加的照明图案的数量成比例地增大。7.根据权利要求1
‑
6中任一项所述的方法，其中所述多个照明图案包括第一照明图案和第二照明图案，所述第二照明图案通过使所述第一照明图案的每个图案元素空间移位预定义空间偏移而形成。8.根据权利要求1
‑
7中任一项所述的方法，其中所述多个照明图案包括一对互补照明图案，所述一对互补照明图案包括第一照明图案和限定所述第一照明图案的逻辑负的第二照明图案。9.根据权利要求1
‑
8中任一项所述的方法，其中所述多个照明图案具有分布在不同数量的图案元素之中的共同辐射功率。10.根据权利要求1
‑
9中任一项所述的方法，其中所述多个照明图案之中的每个照明图案具有不同时间签名。11.根据权利要求1
‑
10中任一项所述的方法，所述方法还包括：以与所述多个照明图案之中所包括的照明图案的数量成反比的速率更新所述场景的所述深度数据。12.根据权利要求1
‑
11中任一项所述的方法，其中当存在量值超过所述比较器阈值的光强度增大或减小时，发生超过所述比较器阈值的所述光强度变化。13.一种方法，所述方法包括：获取由事件传感器输出的像素事件，每个相应像素事件是响应于所述事件传感器的像
素阵列内...

【专利技术属性】
技术研发人员：W，
申请(专利权)人：苹果公司，
类型：发明
国别省市：