用于利用使用调幅连续光的飞行时间相机进行校正的深度测量的方法技术

本发明专利技术涉及一种用于利用使用调幅连续光的飞行时间相机(1)进行校正的深度测量的方法。为了能够利用飞行时间相机进行精确且有效的深度测量，本发明专利技术提供了一种方法包括，针对相机(1)的传感器阵列(2)的多个像素(3)中的每一个：‑利用相机(1)获取(510)用于像素(3)的原始深度值r

【技术实现步骤摘要】
【国外来华专利技术】用于利用使用调幅连续光的飞行时间相机进行校正的深度测量的方法
本专利技术涉及一种用于利用使用调幅连续光的飞行时间相机进行校正的深度测量的方法。
技术介绍
飞行时间相机用于在三维对象或场景的图像中提供逐像素深度信息。相机包括具有多个像素的(通常是二维的)传感器阵列。每个像素提供可以从其导出空间中的记录点的深度(即，距相机的距离)的信息。除了使用光脉冲的TOF相机之外，另一类型的TOF相机使用调幅连续光。换句话说，相机发射调幅光的连续场，调幅光的连续场从相机的视场中的对象反射。反射光由单独的像素接收。由于振幅调制，可以从振幅推导出接收光的相位，并且通过相对相位差，可以确定飞行时间，并且因此确定到反射对象的距离。根据公知的方法，采用了锁相像素(lock-inpixel)，其中，每个像素的读出同步到光的调制频率。特别地，每个像素的读出频率可以是调制频率的4倍。这也被称为4抽头方法。通过零差原理很好地描述了使用调幅连续光(AMCL)和锁相像素利用ToF相机的深度测量。其中，光和像素时钟的调制频率相等。两个函数的相关信号对于测量过程和研究对象是相关的。然而，两个信号(光调制和像素曝光过程)通常是非谐波的(正弦与方波函数之间的中间状态)，因此，相关信号也是非谐波的。通过利用基波的四倍的频率进行采样来解调连续调制的非谐波信号导致混叠效应。因此，较高的谐波影响重构信号。因此，与初始信号相比，发生重构的周期性偏差。因此，误差的“基本”频率至少是初始调制频率的四倍。开发了很多方法来校正所提及的系统深度误差，即所谓的摆动误差。然而，迄今为止的方法还包括逐相机、逐积分时间或甚至逐像素校正。这意味着每个样本必须在复杂的高度耗时的过程中被单独地校准，这在工业飞行时间相机的生产中是不合适的。此外，所得到的校准参数需要大的存储器空间。专利技术目的因此，本专利技术的目的是使得能够利用飞行时间相机进行精确且有效的深度测量。这个问题通过根据权利要求1所述的方法解决。
技术实现思路
本专利技术提供了一种用于利用使用调幅连续光的飞行时间相机进行校正的深度测量的方法。此处的深度测量当然是指测量距相机的距离，使得可以获得3D传感器阵列。使用调幅连续光的飞行时间(ToF)相机的原理本身是公知，并且已经在上文进行了解释。尽管术语“光”可以指可见光，但是应当理解，也可以采用红外光或紫外光。该方法包括针对相机的传感器阵列的多个像素中的每一个的以下两个步骤。像素特别地可以是锁相像素。传感器阵列包括多个(通常在几百与几千之间)像素，多个像素通常以二维图案设置，尽管一维布置也是可以想到的。在第一步骤中，利用相机获取用于像素的原始深度值rm。该原始深度值rm一般地受到测量误差的影响，并且不能准确地表示实际深度。在第二步骤中，根据以下等式rt自动计算地面真值：rt＝g(rm-cm)+ct(等式1)其中，cm是与像素相关的第一偏移，g是与像素无关的第一函数，并且ct是与像素无关的第二偏移。更具体地，cm是用于每个单独的像素的第一偏移，而第一函数g对于所有像素是相同的，并且第二偏移ct对于所有像素是相同的。也可以说，为了计算地面真值rt，单独的第一偏移cm用于每个单独的像素，而相同的第一函数g用于所有像素，并且相同的第二偏移ct用于所有像素。应当理解，第一偏移cm、第一函数g和第二偏移ct是在计算地面真值rt之前预先确定的。自动计算优选地由相机自身执行。为此目的，相机可以包括易失性存储器和/或非易失性存储器以及处理单元。处理单元可以至少部分地由软件实施。尽管地面真值rt可能仍然与实际深度不同(最小程度地)，但它一般地是足够精确的近似。也可以说，地面真值rt(至少近似地)表示用于相应的像素的实际深度。用于像素的实际深度是相应的像素与由该像素所接收的光从其反射的点之间的实际物理距离。计算地面真值rt以校正原始深度值rm的系统深度误差，即，原始深度值rm具有系统深度误差，并且通过计算地面真值rt，从原始深度值rm校正系统深度误差。换句话说，通过计算地面真值rt来执行深度校正。尽管第一步骤和第二步骤的顺序对于具体像素是固定的，但针对不同的像素，存在可以执行步骤的顺序的各种可能性。例如，可以针对传感器阵列中的所有像素顺序地执行第一步骤，可以在(易失性)存储器中存储原始深度值rm，并且可以随后计算用于所有像素的地面真值rt。另一可能性是在获取用于下一像素的原始深度值rm之前，计算用于每个像素的地面真值rt。尽管这种方法有助于最小化存储器空间，但是它可能减慢3D图像的记录，并且因此如果3D图像中发生快速改变，则这种方法可能是不适合的。另一可能性是并行地执行第一步骤和第二步骤，即，可以在正在获取用于至少一个像素的原始深度值rm的同时，计算用于至少一个像素的地面真值rt。在查看等式1时，可以清楚地看出，地面真值rt的计算相对简单。它需要以下三个步骤：1)减去与像素相关的第一偏移cm；2)应用与像素无关的第一函数g；以及3)添加与像素无关的第二偏移ct。这些计算可以实时完成，例如，在获取每个深度传感器阵列帧之后。唯一需要的输入是传感器阵列的像素。应当注意，第一步骤和第三步骤分别是简单的加法或减法。此外，第三步骤是对于所有像素相同的单个值的相加。同样地，第二步骤需要应用对于所有像素相同的第一函数g。因此，需要与传感器阵列的大小成比例的存储器空间的唯一步骤是第一步骤，其需要用于每个单独的像素的第一偏移cm的存储器。然而，记住，对于每个像素仅需要一个或几个字节，第一偏移所需的存储器空间对应于仅一个深度图像，并且第一偏移cm所需的总存储器相对较小。因此，本专利技术的方法使得能够对ToF相机进行有效的深度校正，而不需要任何附加设备、大的存储器空间或大量的处理能力。尽管本专利技术不限于此，但获取原始深度值rm通常包括以调幅连续光的调制频率的四倍的采样频率来确定四个振幅样本。这也可以被称为4抽头方法，其中，四个振幅A0…3(被称为抽头)是用于调制光的相位恢复的基础，因为相位可以计算为：光振幅与像素时钟之间的相关函数在每个基本周期被等延迟的采样点采样四次。因此，采样频率是基本调制频率的四倍。根据香农-奈奎斯特定理，混叠仅可能针对具有高于二阶的谐波发生。因此，基本频率的振幅和相位由所有较高的谐波频率(自然地是奇数阶)失真。在一些情况下，可以实时计算第一函数g的函数值。在其他情况下，可能期望节省处理工作量，或者第一函数g的解析形式甚至可能是未知的。由于这些和其他原因，优选地通过访问表示第一函数g的查找表来应用第一函数g。查找表的所需存储器空间可以相对小。例如，查找表可以由需要在几kB与几十kB之间的存储器空间的一维向量表示(例如，每mm一个条目，对于20MHz的调制频率，这将是大约15kB)。通常，第一函数g的解析形式是复杂的或者甚至是未知。然而，为了创建查找表，注意反函数就足够了。通常，通过应用第二函数f来计算查找表，第二函数f是第一函数g的反函数。显然，查找表表示第二本文档来自技高网...

【技术保护点】
1.一种用于利用使用调幅连续光的飞行时间相机(1)进行校正的深度测量的方法，所述方法包括，针对所述相机(1)的传感器阵列(2)的多个像素(3)中的每一个：/n-利用所述相机(1)获取(510)用于所述像素(3)的原始深度值r

【技术特征摘要】
【国外来华专利技术】20181204 LU LU101024;20190212 LU LU1011201.一种用于利用使用调幅连续光的飞行时间相机(1)进行校正的深度测量的方法，所述方法包括，针对所述相机(1)的传感器阵列(2)的多个像素(3)中的每一个：
-利用所述相机(1)获取(510)用于所述像素(3)的原始深度值rm；以及
-根据下式自动计算(520)地面真值rt：
rt＝g(rm-cm)+ct,
以校正所述原始深度值rm的系统深度误差，其中，cm是与像素相关的第一偏移，g是与像素无关的第一函数，并且ct是与像素无关的第二偏移。


2.根据权利要求1所述的方法，其特征在于，获取(510)所述原始深度值rm包括以所述调幅连续光的调制频率的四倍的采样频率来确定四个振幅样本。


3.根据前述权利要求中任一项所述的方法，其特征在于，通过访问表示所述第一函数g的查找表来应用所述第一函数g。


4.根据权利要求3所述的方法，其特征在于，通过应用第二函数f来计算(270)所述查找表，所述第二函数f是所述第一函数g的反函数。


5.根据权利要求4所述的方法，其特征在于，所述第二函数f包括相对于所述调制频率的线性项、三阶谐波项和五阶谐波项。


6.根据前述权利要求中任一项所述的方法，其特征在于，在所述校正的深度测量之前，针对所述相机(1)执行校准(100)，其中，确定所述第一偏移cm、所述第一函数g和所述第二偏移ct中的至少一个。


7.根据前述权利要求中任一项所述的方法，其特征在于，所述校准(100)包括一般校准(200)，其中，针对多个相机(1)，确定所述第一偏移cm和所述第一函数g中的至少一个仅一次。


8.根据权利要求6或7所述的方法，其特征在于，通过访问表示所述第一函数g的查找表来应用所述第一函数g，所述查找表是通过应用第二函数f来计算(270)的，所述第二函数f是所述第一函数g的反函数，并且所述校准(100)包括通过以下步骤来确定所述第二函数f：
-利用所述相机(1)执行(220)多个不同的深度测量，每个深度测量提供用于感兴趣区域(4)中的多个像素(3)中的每个像素的原始深度值rm(k)，其中，k＝1,.,N是所述深度测量的数量；
-针对每个深度测量并且针对所述感兴趣区域(4)中的每...

【专利技术属性】
技术研发人员：B·米尔巴赫，H·克洛斯，M·博古斯劳斯基，T·索利尼亚克，
申请(专利权)人：IEE国际电子工程股份公司，
类型：发明
国别省市：卢森堡;LU