双频飞行时间三维图像传感器及测量对象深度的方法技术

公开了一种双频飞行时间三维图像传感器及测量对象深度的方法。三维图像系统包括：调制器，其被配置成生成具有预定频率差的第一调制信号和第二调制信号；照明源，其被配置成生成由第一调制信号调制的光信号；以及由第二调制信号调制的像素阵列。像素阵列中的至少一个像素被配置成接收反射的调制的光信号并且基于在不同的获取时间处进行的多个图像获取来生成多个测量信号。控制器被配置成：通过将第一调制频率和第二调制频率设置成具有大于零的预定频率差来控制第一调制信号与第二调制信号之间的相位差；以及基于多个测量信号计算对象的深度，该深度是从3DI系统到对象的距离。

Dual-Frequency Time-of-Flight 3D Image Sensor and Method of Measuring Object Depth

【技术实现步骤摘要】
双频飞行时间三维图像传感器及测量对象深度的方法
本公开内容总体上涉及与三维图像(3DI)传感器相关的装置及方法，并且更具体地涉及利用双频原理来测量对象深度的装置及方法。
技术介绍
间接飞行时间(ToF)三维图像(3DI)图像传感器是基于用于场景照明的连续调制的光，以及在积分阶段期间在像素级上对接收的光的解调。通过计算来自若干图像获取的像素值来获得深度信息，该若干图像获取具有光发射与像素调制之间的预定义且恒定的相位阶跃。例如，可以使用具有0°/90°/180°/270°的分立(全等)相位差的四个深度图像来估计每个像素的深度值。然而，因为这些相位差必须全等，所以系统缺乏灵活性。鉴于照明和像素调制中与理想信号波形的偏差与这些预定义的相位阶跃相组合导致系统误差分量——所谓的摆动误差——其至少需要在相机组件处利用电子校准盒计算，这会导致制造商的时间和费用两者成本的增加。此外，测量准确度受使用的相位阶跃的数量以及预配置的摆动校准的限制。在对随后的深度估计进行大量的计算的情况下，高速3D深度测量也是不可能的，因为通常使用至少四个帧读数。此外，需要复杂的相移器来保持高度精确的、不改变的相位阶跃，这导致3DI传感器专用集成电路(ASIC)的复杂性和工作量增加。因此，可以期望简化工作量、允许高测量准确度或高测量速率以及降低ToF3DI相机和传感器芯片的成本的深度测量进程。
技术实现思路
提供了用于利用飞行时间(ToF)三维图像(3DI)相机和传感器来测量对象的深度的系统、装置和方法。一个或更多个实施方式提供一种3DI系统，该3DI系统包括：调制器，其被配置成生成具有第一调制频率的第一调制信号和具有第二调制频率的第二调制信号；照明源，其被配置成基于第一调制信号生成调制的光信号；传感器核，其包括由第二调制信号调制的像素阵列，其中，像素阵列中的至少一个像素被配置成接收从对象反射的调制的光信号作为反射的调制的光信号并且在图像获取期间利用第二调制信号来对反射的调制的光信号进行解调以生成测量信号，其中，至少一个像素被配置成基于在不同的获取时间处进行的多个图像获取来生成多个测量信号；以及控制单元，其包括至少一个处理器。该控制单元被配置成：通过将第一调制频率和第二调制频率设置为具有大于零的预定频率差来控制第一调制信号与第二调制信号之间的相位差；控制传感器核以在不同的获取时间处启动多个图像获取；接收多个测量信号，以及基于多个测量信号计算对象的深度，其中，深度是从3DI系统到对象的距离。一个或更多个实施方式提供一种通过三维图像(3DI)系统来测量对象的深度的方法。该方法包括：生成具有第一调制频率的第一调制信号；生成具有第二调制频率的第二调制信号；基于第一调制信号生成调制的光信号；通过第二调制信号调制像素阵列；基于像素阵列中的至少一个像素接收从对象反射的调制的光信号作为反射的调制的光信号，基于在不同的获取时间处进行的多个图像获取来生成多个测量信号；通过将第一调制频率和第二调制频率设置为具有大于零的预定频率差来控制第一调制信号与第二调制信号之间的相位差；在不同的获取时间处启动多个图像获取；接收多个测量信号；以及基于多个测量信号计算对象的深度，其中，该深度是从3DI系统到对象的距离。附图说明在本文中参照附图描述实施方式。图1示出了图像获取的图像获取时间的示例；图2是根据一个或更多个实施方式的三维(3D)深度相机系统的示意框图；图3A示出了具有0.1Hz的频率差的调制的传感器核信号以及照明信号在10秒内的时间绘图；图3B示出了具有0.1Hz的频率差的调制的传感器核信号与照明信号之间的相位差在10秒内的线性增加的时间绘图；以及图4示出了根据一个或更多个实施方式的深度测量操作的流程图。具体实施方式在下文中，将参照附图详细描述各种实施方式。应注意，这些实施方式仅用于说明目的，而不应被解释为限制性的。例如，虽然实施方式可以被描述为包括多个特征或元件，但是这不应被解释为指示需要所有这些特征或元件来实现实施方式。相反，在其他实施方式中，特征或元件中的一些可以省略，或者可以由可替选的特征或元件替换。另外，可以提供除了明确示出和描述的特征或元件之外的另外的特征或元件，例如传感器装置的常规部件。可以组合来自不同实施方式的特征以形成另外的实施方式，除非另外特别说明。关于实施方式中的一个实施方式描述的变化或修改也可以适用于其他实施方式。在一些情况下，公知的结构和装置以框图的形式示出而不是详细地示出，以便避免使实施方式模糊。附图中示出的或本文描述的元件之间的连接或耦接可以是基于有线的连接或无线连接，除非另外说明。此外，这样的连接或耦接可以是没有附加中间元件的直接连接或耦接，或者是具有一个或更多个附加中间元件的间接连接或耦接，只要根本上保持连接或耦接的一般目的例如发送某种信号或发送某种信息即可。实施方式涉及传感器和传感器系统并且涉及获得关于传感器和传感器系统的信息。传感器可以指将待测量的物理量转换为例如电流信号或电压信号的电信号的部件。物理量可以例如包括诸如可见光、红外(IR)辐射或其他类型的照明信号的电磁辐射、电流或电压，但不限于此。如本文使用的，IR辐射也可以称为IR光。如本文使用的传感器装置可以指包括传感器和另外的部件的装置，另外的部件例如是偏置电路、模数转换器或滤波器。传感器装置可以集成在单个芯片上，尽管在其他实施方式中，多个芯片或者芯片外部的部件也可以用于实现传感器装置。更具体地，实施方式涉及三维(3D)图像传感器，其被配置成利用飞行时间(ToF)原理来确定从深度相机或者更具体地从像素阵列到对象的深度(即，距离)。通常，光从深度相机被发送并且被对象反射回来。反射的光由像素阵列接收，其中，在逐个像素基础上，在图像获取期间对反射的光进行解调以生成测量信号。每个像素还可以被配置成在不同的获取时间处执行多个图像获取，并且从而根据其生成多个测量信号。图1示出了图像获取的图像获取时间的示例。图像获取包括三个阶段：(1)积分阶段，(2)数据读出阶段，以及(3)等待阶段。因此，每个阶段具有与其相关联的相应时间段(例如积分时间、读出时间和等待时间)。整个获取时间占据帧速率的一部分(例如1/帧速率)。在积分阶段期间，光学有源像素对反射的光信号执行有源解调，并且基于接收的光信号生成像素值(即存储的电荷)。在数据读出阶段期间，像素值(即存储的电荷)被读出为数据(例如测量信号)并且被发送到处理单元用于进一步处理。例如，像素值可以被读出，通过模数转换器(ADC)经历到数字值的模数转换，并且然后被传送到处理单元(例如，用于深度计算)。还将理解的是，ADC可以与处理单元集成。在等待阶段期间，像素等待下一个积分阶段的开始(即，用于下一个图像获取)。可替选地，对于一些图像获取可以不使用或者可以跳过等待阶段。例如，可以在第一(当前)图像获取的读出时间的一部分处，例如在将光子生成的电荷传送到像素结构中的存储栅极之后，开始第二(随后的)积分时间(即，用于新图像获取)。在那种情况下，可以在第二积分时间期间执行第一图像获取的剩余读出，以使用于为此目的而构建的3DI传感器的整体获取时间最小化(即，使帧速率最大化)。图2是根据一个或更多个实施方式的三维(3D)深度相机系统200的示意框图。3D深度相机系本文档来自技高网...

【技术保护点】
1.一种三维图像3DI系统，包括：调制器，被配置成生成具有第一调制频率的第一调制信号和具有第二调制频率的第二调制信号；照明源，被配置成基于所述第一调制信号生成调制光信号；传感器核，包括由所述第二调制信号调制的像素阵列，其中，所述像素阵列中的至少一个像素被配置成接收从对象反射的所述调制光信号作为反射的调制光信号并且在图像获取期间利用所述第二调制信号来对所述反射的调制光信号进行解调以生成测量信号，其中，所述至少一个像素被配置成基于在不同获取时间处进行的多个图像获取来生成多个测量信号；以及控制单元，包括至少一个处理器，所述控制单元被配置成：通过将所述第一调制频率和所述第二调制频率设置成具有大于零的预定频率差来控制所述第一调制信号与所述第二调制信号之间的相位差；控制所述传感器核以在所述不同获取时间处启动所述多个图像获取；接收所述多个测量信号，以及基于所述多个测量信号计算所述对象的深度，其中，所述深度是从所述3DI系统到所述对象的距离。

【技术特征摘要】
2018.02.09 US 15/892,7061.一种三维图像3DI系统，包括：调制器，被配置成生成具有第一调制频率的第一调制信号和具有第二调制频率的第二调制信号；照明源，被配置成基于所述第一调制信号生成调制光信号；传感器核，包括由所述第二调制信号调制的像素阵列，其中，所述像素阵列中的至少一个像素被配置成接收从对象反射的所述调制光信号作为反射的调制光信号并且在图像获取期间利用所述第二调制信号来对所述反射的调制光信号进行解调以生成测量信号，其中，所述至少一个像素被配置成基于在不同获取时间处进行的多个图像获取来生成多个测量信号；以及控制单元，包括至少一个处理器，所述控制单元被配置成：通过将所述第一调制频率和所述第二调制频率设置成具有大于零的预定频率差来控制所述第一调制信号与所述第二调制信号之间的相位差；控制所述传感器核以在所述不同获取时间处启动所述多个图像获取；接收所述多个测量信号，以及基于所述多个测量信号计算所述对象的深度，其中，所述深度是从所述3DI系统到所述对象的距离。2.根据权利要求1所述的3DI系统，其中，所述至少一个处理器被配置成：选择所述第一调制信号与所述第二调制信号之间的多个相位差，其中，所述至少一个处理器被配置成针对每个图像获取的至少一部分选择相位差，以及确定所述不同获取时间，包括基于针对相应图像获取配置的预定频率差以及基于针对所述相应图像获取配置的相位差来确定所述多个图像获取中的每一个的获取时间。3.根据权利要求1所述的3DI系统，其中，所述不同获取时间中的每一个包括积分时间和所述积分时间之后的等待时间，以及所述控制单元被配置成针对以下中的至少一个设置所述预定频率差：所述多个图像获取中的每一个的积分时间的至少一部分或者所述多个图像获取中的每一个的等待时间的至少一部分。4.根据权利要求1所述的3DI系统，其中，所述不同获取时间中的每一个包括积分时间和所述积分时间之后的等待时间，所述控制单元被配置成在所述等待时间的至少一部分期间将所述预定频率差设置为恒定值，使得所述第一调制信号与所述第二调制信号之间的相位差在所述等待时间的至少一部分期间连续地改变，以及所述控制单元被配置成在所述积分时间期间将所述第一调制频率和所述第二调制频率设置为相同，使得所述第一调制信号与所述第二调制信号之间的相位差在所述积分时间期间恒定。5.根据权利要求1所述的3DI系统，其中，所述不同获取时间中的每一个包括积分时间和所述积分时间之后的等待时间，所述控制单元被配置成在所述积分时间的至少一部分期间将所述预定频率差设置为恒定值，使得所述第一调制信号与所述第二调制信号之间的相位差在所述积分时间的至少一部分期间连续地改变，以及所述控制单元被配置成在所述等待时间期间将所述第一调制频率和所述第二调制频率设置为相同，使得所述第一调制信号与所述第二调制信号之间的相位差在所述等待时间期间恒定。6.根据权利要求1所述的3DI系统，其中，所述不同获取时间中的每一个包括积分时间和所述积分时间之后的等待时间，以及所述控制单元被配置成在所述积分时间的至少一部分期间以及在所述等待时间的至少一部分期间将所述预定频率差设置为恒定值，使得所述第一调制信号与所述第二调制信号之间的相位差在所述积分时间的至少一部分以及所述等待时间的至少一部分期间连续地改变。7.根据权利要求1所述的3DI系统，其中，所述不同获取时间中的每一个包括积分时间和所述积分时间之后的等待时间，所述控制单元被配置成在所述积分时间的至少一部分期间将所述预定频率差设置为第一恒定值，使得所述第一调制信...

【专利技术属性】
技术研发人员：托马斯·图尔纳，
申请(专利权)人：英飞凌科技股份有限公司，
类型：发明
国别省市：德国,DE