用于利用使用幅度调制的连续光的飞行时间相机进行深度测量的方法技术

本发明专利技术涉及一种利用使用幅度调制的连续光的飞行时间相机(1)进行深度测量的方法，所述方法包括以下步骤：针对相机(1)的传感器阵列(2)的多个像素(3)中的每个像素，以高于所述幅度调制的连续光的调制频率的采样频率获取(120)至少一个样本序列，所述样本序列包括至少四个幅度样本(A0,A1,A2,A3)。为了能够使用飞行时间相机进行准确并且有效的深度测量，本发明专利技术规定该方法还包括：—针对每个像素(3)的每个样本序列确定(130)置信度值(C)，所述置信度值指示幅度样本(A0,A1,A2,A3)与幅度的正弦时间演变的对应程度；以及—针对多个分箱区域(4)中的每个分箱区域基于来自所述分箱区域(4)的像素(3)的样本序列的幅度样本(A0,A1,A2,A3)来确定(260)分箱的深度值(D

【技术实现步骤摘要】
【国外来华专利技术】用于利用使用幅度调制的连续光的飞行时间相机进行深度测量的方法


[0001]概括地说，本公开内容涉及一种利用使用幅度调制的连续光的飞行时间相机进行深度测量的方法。

技术介绍

[0002]飞行时间相机用于提供在三维对象或风景的图像中的像素深度信息。相机包括具有多个像素的(通常为二维的)传感器阵列。每个像素都提供信息，从中可以得出空间中记录点的深度(即距相机的距离)。除了使用光脉冲的TOF相机外，另一种类型的TOF相机使用幅度调制的连续光。换句话说，相机发出连续场的幅度调制的光，该光被从相机视场中的对象反射。反射光被各个像素接收。由于幅度调制，可以从幅度推导出接收的光的相位，并可以通过相对相位差导出飞行时间，并且从而确定到反射对象的距离。根据公知的方法，采用锁定像素，其中每个像素的读出与光的调制频率同步。具体而言，每个像素的读出频率可以是调制频率的4倍。这也被称为4抽头(4
‑
tap)方法。其基于在四个连续时间点接收和评估四个连续幅度样本，每个时间间隔对应于90
°
相移。每个幅度测量都可以被称为抽头。
[0003]4抽头方法的一个潜在问题是对象在测量期间可能移动。因此，针对连续抽头检测到的幅度样本可以对应于不同的实际深度，例如前景中移动对象的深度和背景的深度。例如，如果对象的运动具有垂直于相机光轴的分量，则给定像素可以在一个抽头处对应于对象的一部分，并且在下一个抽头处可能对应于背景的一部分，或反之亦然。图像中靠近对象边缘的像素可能会出现此问题，并且通常会导致错误和不期望的深度。如果对象仅远离或朝向相机移动，由于相机感知的拉伸或收缩，也会发生这种情况，因此边缘附近的像素也可能在对象和背景之间发生变化。这种效果在文献中也被称为“飞行像素”。
[0004]EP 2 966 475 A1公开了一种对来自场景的TOF数据进行分箱(binning)的方法，以用于提高TOF测量的准确性并降低其中的噪声，TOF数据包括相位数据和置信度数据。根据该方法，通过用多个调制的信号照射场景来获取多个TOF数据，并且每个调制的信号分别与由相位和置信度数据定义的向量相关联。将多个向量相加以获得分箱的向量，并且对分箱的向量的相位和置信度数据进行处理以获得场景的深度数据。根据描述，“置信度”对应于反射信号的幅度。
[0005]DE 10 2015 195 161 A1公开了一种用于检测目标空间中对象的运动的装置，其中该对象位于距图像捕获设备一定距离处，该图像捕获设备被配置为：测量该距离并提供指示该距离的传感器信号，如果对象静止，则传感器信号可以在包括奇次谐波的分解中进行分解。该装置包括：确定电路，其被配置为：接收传感器信号并基于传感器信号的分解的至少一个偶次谐波生成至少一个运动信号；以及检测电路，其被配置为：基于至少一个运动信号来检测对象的运动并提供指示对象的运动的检测信号。图像捕获设备被配置为：捕获包括多个像素的图形，并且其中，确定电路被配置为：在不依赖于多个像素的相邻像素的情况下，接收传感器信号并且生成针对多个像素中的每个像素的运动信号。
[0006]专利技术目的
[0007]因此，本专利技术的目的是利用飞行时间相机来实现准确且有效的深度测量。
[0008]该问题通过根据权利要求1所述的方法来解决。

技术实现思路

[0009]本专利技术提供了一种利用使用幅度调制的连续光的飞行时间相机来进行深度测量的方法。本文中的深度测量当然是指测量距相机的距离，以便得到3D图像。使用幅度调制的连续光的飞行时间(TOF)相机的原理是众所周知的，并且已经在上文进行了解释。虽然术语“光”可以指可见光，但是应当理解也可以使用红外光或紫外光。
[0010]在第一步骤中，该方法包括：针对相机的传感器阵列的多个像素中的每个像素，以高于幅度调制的连续光的调制频率的采样频率获取至少一个样本序列，样本序列包括至少四个幅度样本。像素具体而言可以是锁定像素。传感器阵列包括多个(通常在几百到几千之间)像素，通常以二维图案布置，但也可以设想一维布置。样本序列包括至少四个幅度样本，该幅度样本以高于幅度调制的连续光的调制频率的采样频率而被采样。特别地，采样频率可以是调制频率的整数倍。幅度样本通常与发射信号和接收信号之间的相关函数的幅度相对应。对于与静止对象的表面相对应的像素，相关函数应该是正弦的，即它应该对应于具有正常非零相移的正弦函数(或为余弦函数，分别地)。
[0011]在该方法的另一个步骤中，针对每个像素的每个样本序列确定置信度值，该置信度值指示幅度样本与幅度的正弦时间演变的对应程度。确定置信度值的方法有多种，下面将讨论其中的一些方法。通常，置信度被如下定义，使得高对应度的置信度高，而低对应度的置信度低。该方法步骤基于以下假设：对于静止对象，幅度样本应对应于正弦函数。根据诸如测量误差等各种因素，幅度样本通常不会与正弦时间演变完全对应，而仅在一定程度上对应。然而，如果对象在运动并且一些幅度样本实际上对应于从对象的表面接收到的信号，而另一些对应于从背景接收到的信号，则幅度样本和任何正弦函数之间通常会有很大的差异。换句话说，幅度样本将根本不会对应于正弦时间演变，这会影响置信度值。需要说明的是，一般至少需要4个幅度样本来确定对应程度。正弦函数可以用4个参数来描述，即幅度、偏移、相位和频率。由于在当前情况下正弦函数的频率是已知的，因此保留3个参数。因此，总是有可能找到针对3个(或更少)幅度样本的“拟合”正弦函数。另一方面，如果有4个或更多幅度样本，则可以确定与正弦时间演变的任何偏差。
[0012]在该方法的另一个步骤中，针对多个分箱区域中的每个分箱区域，每个分箱区域包括多个像素，基于来自分箱区域的像素的样本序列的幅度样本来确定分箱的深度值，其中，样本序列对分箱的深度值的贡献取决于其置信度值。该方法步骤可以被描述为“分箱步骤”。这样的分箱在本领域中是已知的，但是本专利技术的方法应用可以被称为“智能分箱”等的先前未知的变体。定义多个分箱区域，其中每个分箱区域包括多个像素。每个分箱区域可以是矩形的，例如包括m x n像素或n x n像素。也可以将分箱区域称为像素组。通常，每个分箱区域是相干的，即它对应于传感器阵列的相干区域。可以想象，两个分箱区域重叠，使得给定的像素属于多于一个分箱区域。但是，通常情况下，不同的分箱区域是分开的。在这种情况下，分箱区域共同可以被视为低分辨率图像的单位或“像素”，而传感器阵列的像素对应于高分辨率图像。来自分箱区域的像素样本序列的幅度样本对该分箱区域的分箱的深度
值有贡献。也可以说对来自分箱区域的像素的样本序列的幅度样本的信息进行组合以获得分箱的深度值。如何计算分箱的深度值有多种可能性，其中一些将在下面进一步讨论。
[0013]如果针对单个像素(和单个样本序列)确定深度值，这将通过确定正弦函数的相对相位来完成，该相位将对应于深度值。然而，如上所述，由于正弦函数的相位是根据幅度样本确定的，如果一些幅度样本对应于对象而一些对应于其背景，则相位信息会受到影响。从具有这种幅度样本的样本序列得出的任何本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于利用使用幅度调制的连续光(10)的飞行时间相机(1)来进行深度测量的方法，所述方法包括：—针对所述相机(1)的传感器阵列(2)的多个像素(3)中的每个像素，以高于所述幅度调制的连续光的调制频率的采样频率获取(120)至少一个样本序列，所述至少一个样本序列包括至少四个幅度样本(A0,A1,A2,A3)；其特征在于，所述方法还包括：—针对每个像素(3)的每个样本序列确定(130)置信度值(C)，所述置信度值指示所述幅度样本(A0,A1,A2,A3)与幅度的正弦时间演变的对应程度；以及—针对多个分箱区域(4)中的每个分箱区域基于来自所述分箱区域(4)的像素(3)的样本序列的幅度样本(A0,A1,A2,A3)来确定(260)分箱的深度值(D
b
)，所述多个分箱区域中的每个分箱区域包括多个像素(3)，其中，所述样本序列对所述分箱的深度值(D
b
)的贡献取决于其置信度值(C)。2.根据权利要求1所述的方法，其特征在于，所述方法包括以比所述幅度调制的连续光(10)的调制频率高四倍的采样频率来获取(120)四个幅度样本(A0,A1,A2,A3)。3.根据前述权利要求中任意一项权利要求所述的方法，其特征在于，所述方法包括针对至少一个像素(10)获取多个样本序列。4.根据前述权利要求中任意一项权利要求所述的方法，其特征在于，所述置信度值(C)由个体样本序列的幅度样本(A0,A1,A2,A3)彼此之间的关系确定。5.根据前述权利要求中任意一项权利要求所述的方法，其特征在于，所述方法包括：如果所述置信度值(C)满足预定义标准，则将每个样本序列分类(150,190)为有效，否则如果所述置信度值(C)不满足预定义标准，则将每个样本序列分类(150,190)为无效；以及仅当所述样本序列有效时，才使用样本序列的幅度样本(A0,A1,A2,A3)来确定所述分箱的深度值(D
b
)。6.根据权利要求5所述的方法，其特征在于，所述样本序列是基于所述置信度值(C)与第一阈值(C
min
)的关系而被分类的。7.根据前述权利要求中任意一项权利要求所述的方法，其特征在于，所述分箱的深度值(D
b
)是基于来自所述分箱区域(4)的像素(3)的样本序列的幅度样本(A0,A1,A2,A3)的线性组合确定的，其中，每个样本序列对所述线性组合的所述贡献取决于相应的样本序列的置信度值(C)。8.根据权利要求1至6中任意一项权利要求所述的方法，其特征在于，所述分箱的深度值(D
b
)是通过对来自所述分箱区域(4)的像素(3)的样本序列的像素深度值(D)进行平均来确定的，其中，每个像素深度值(D)的权重取决于相应的像素(3)的相应的样本序列的置信度值，并且其中，所述像素深度值(D)是基于所述像素(3)的样本序列的幅度样本(A0,A1,A2,A3)来确定的。9.根据前述权利要求中任意一项权利要求所述的方法，其特征在于，所述方法包括：确定像素(3)的样本序列的第一幅度样本(A0)和第三幅度样本(A2)之间的第一差值...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：IEE国际电子工程股份公司，
类型：发明
国别省市：