TOF相机系统以及用于测量与该系统的距离的方法技术方案

本发明专利技术涉及用于测量场景对象和飞行时间相机系统之间的距离以及提供该对象的深度图的方法，该飞行时间相机系统包括照明单元、具有像素矩阵的成像传感器以及图像处理装置，该方法的特征在于以下步骤：以离散方式修改该照明单元的照度从而分别用不同入射强度来照亮该场景的基本区域，以将直接入射光束和间接入射光束区分开来；将由该基本区域反射的光束接收到该传感器的像素矩阵上，以及为该图像处理装置提供对应的数据；处理该对应的数据来消除该间接光束在该对象的深度图中的影响。

TOF camera system and method for measuring distance from the system

The invention relates to a method for measuring time of flight between scene object and camera system and a method for depth map distance of the object, the flight time of camera imaging sensor system includes a lighting unit, having a matrix of pixels and image processing apparatus, the method is characterized by the following steps: to modify the discrete lighting unit and illumination respectively. The basic region to illuminate the scene with different incident intensity, to distinguish between direct and indirect incident beam incident beam; the beam will be the reflection of the basic region receives the pixel matrix of the sensor, and the corresponding data for the image processing device; the corresponding data processing to eliminate the influence of the indirect beam depth in the figure in the object.

【技术实现步骤摘要】
【国外来华专利技术】专利技术
本专利技术涉及(i)用于测量场景的对象和飞行时间(Time-Of-Flight)相机系统之间的距离的方法，以及(ii)与之相关联的飞行时间相机系统。具体而言，本专利技术涉及场景内光线的直接和间接反射问题，以及由这些多个反射所引起的深度测量的错误。应当理解，场景意指围绕该对象的光线可以直接或间接反射于其上的所有表面。专利技术背景飞行时间技术(TOF)是用于深度感知的颇具前景的技术。图1中解说了标准TOF相机系统3的公知的基本操作原理。TOF相机系统3通过分析光从专用照明单元18飞行到对象的飞行时间来捕捉场景15的3D图像。TOF相机系统3包括相机(例如，像素矩阵1)和数据处理装置4。场景15使用专用照明单元18来用预定波长的经调制光16来进行有源照明，例如用一些具有至少一个预定频率的光脉冲。经调制的光被从场景内的对象反射回去。镜头2收集反射光17并且将对象的图像形成到相机的成像传感器1上。取决于对象到相机的距离，在经调制光(例如，所谓的光脉冲)的发射与在相机处对那些反射的光脉冲的接收之间经历了延迟。反射对象以及相机之间的距离可以被确定为所观察到的时间延迟以及光速常量值的函数。该技术的一个缺点由图2来解说并且涉及所谓的多径现象。示出了标准TOF相机系统9，其包括用于在多个方向上照亮场景24的照明单元8、用于检测所发射的光的反射的TOF传感器6，以及用于处理由TOF传感器6所获得的数据的处理装置7。TOF传感器6的像素(未示出)测量从照明单元8到场景24以及从场景24返回像素的直接路径25。但是，二次反射26或更高阶的反射也可以在相同的像素上被捕捉到并且破坏第一直接反射25所感知到的延迟。传感器6所捕获的光可以源自直接路径25和二次反射26二者，所测得的深度图27(表示与场景的每一点相关联的深度)由此是错误的。在现有技术中，已经实现了多种方法来恢复入射光的直接分量。例如，通过用不同调制频率来获得一组深度测量实现了多频率办法，但是所获得的分辨率仍然较低。另一种办法使用了由例如数字光处理(DLP)投影机生成的一组不同空间图案。通过在场景中创建暗斑块和明斑块，直接和间接分量可以被分开，因为从图案的黑暗部分获得的深度仅由源自多路径的间接信号产生。用场景的每一部分在黑暗情形中捕获的方式来选择不同的图案。通过用足够的交叠来定义图案抵消了边际效应。然而，这些不同图案的产生是昂贵的。仍然要提出一种方案来用最有成本效益的方式来仅检索反射光的直接分量，从而执行对于场景的对象和TOF相机系统之间的距离的更为准确的测量。
技术实现思路
本专利技术涉及用于测量场景对象和飞行时间相机系统之间的距离以及提供该对象的深度图的方法，该飞行时间相机系统包括照明单元、具有像素矩阵的成像传感器以及图像处理装置，该方法的特征在于以下步骤：-以离散方式修改该照明单元的照度从而分别用不同入射亮度来照亮该场景的基本区域，以用于区分直接入射光束和间接入射光束；-将由该基本区域反射的光束接收到该传感器的矩阵的像素上，以及为该图像处理装置提供对应的数据；-处理该对应的数据来消除该间接光束在该对象的深度图中的影响。有利地，当处理数据时，该方法可包括例如在中间深度图上(但并非仅在中间深度图上)标识与仅有间接入射光束能照射于其上的基本区域相关联的尖峰。通过标识此类尖峰，该数据可以被处理以供消除间接光束的影响以及获得场景的最终准确的深度图。本专利技术还涉及用于测量场景的对象和TOF相机系统之间的距离以及用于提供该对象的深度图的飞行时间(TOF)相机系统，该TOF相机系统包括：-用于用经调制光照亮该场景的照明单元；-具有像素矩阵的成像传感器，其用于将由该场景反射的光束接收到该传感器的矩阵的像素上；-图像处理装置，其用于从该成像传感器接收对应于所反射的光束的数据以及用于处理该对应的数据；其特征在于，其进一步包括：-图案装置，其用于以离散方式修改该照明单元的照度从而分别用不同入射亮度来照亮该场景的基本区域，以用于将直接入射光束和间接入射光束区分开来，以及用于在处理该对应数据的过程中消除该间接光束在该对象的深度图中的影响。有利地，照明的修改由以离散方式遮蔽该照明单元来执行。该图案装置可以例如是避免直接入射光束照射到该场景的一些基本区域的遮罩。更为有利地，该图案装置可包括用于使得能够进行该数据更简便处理的一系列相同的图案群。当结合所附附图来理解以下具体描述时，本专利技术的其他优点和新颖特征将会变得更为明显。附图说明参照以下描述和所附附图，本专利技术将会被更好地理解。图1解说了TOF相机系统的基本操作原理；图2解说了多径现象；图3解说了根据本专利技术实施例的TOF相机系统；图4解说了图案装置的示例；图5解说了场景的中间深度图以及TOF相机系统的相关联的像素；图6解说了场景和投影在场景上的光图案，该光图案包括两个不同的空间区域。当结合所附附图来理解以下具体描述时，本专利技术的优点和新颖特征将会变得更为明显。专利技术详述图3解说了根据本专利技术实施例的TOF相机系统10。飞行时间相机系统10包括用于用经调制光来照亮场景24的照明单元20。由该照明单元20发射的光被布置成适用于使用飞行时间技术测量距离。例如，照明单元20可以被布置成用于发射具有恰适脉冲宽度的光脉冲。事实上，当使用脉冲时，每个光脉冲的脉冲宽度决定了相机射程(camerarange)。例如，对于50ns的脉冲宽度，该射程被限定于7.5m。结果，场景照明对TOF相机系统的操作变得至关重要，并且照明单元的高速驱动频率要求使得必需使用专业光源(诸如，发光二极管(LED)或激光)来生成此类短光脉冲。照明单元被布置成用于发射多向光，如图3中表示的多个发射光射线25、26和28所表示的。TOF相机系统进一步包括成像传感器21，该成像传感器21通常包括像素矩阵阵列，该成像传感器用于接收并检测反射光束以及形成场景24的图像。出于清楚及解说的目的，图3中仅表示了两个像素22和23，但是本专利技术不应当限于两个像素的矩阵。应当理解，像素是指对光电磁辐射敏感的图元及其相关的电子电路系统。像素的输出能够被用于确定光从照明单元20到场景24中对象以及从该对象反射回成像TOF传感器21的飞行时间。TOF相机系统10进一步包括用于在场景24上产生光图案的图案装置30。光图案可以是直接从激光干扰获得的，或者从可放置在照明单元20前面的图案装置获得的，或者从激光散斑和图案装置30二者的组合获得的本地激光散斑图。当使用图案装置30时，照明单元20所发射的光通过这些图案装置，使得这些光被修改以及在场景上形成光图案，该光图案具有不同亮度的定界基本区域31、32。在照射场景24之前，照明单元20所发射的光可以在图案装置30的给定区域上被阻碍或者在该给定区域上其亮度可以被降低，并且在其他区域上不被阻碍，这导致了在场景上产生了分别具有低光强的区域31和高光强的区域32。出于解说的目的，这些区域已经用粗直线31和32来表示，但是应当理解，在场景上产生的光图案并不是附着于场景24上的实体图案或物理图案，而是源自放置在照明单元20前的图案装置30的光效果的结果。光图案是由照明单元20投影在场景上的。图案装置30可以是滤镜装置、遮罩、网格或实现以离散方式修改照明的任何装置。理想地，图案装置应当在场景上提本文档来自技高网...

【技术保护点】
一种用于测量场景(20、24)的对象和飞行时间相机系统(10)之间的距离以及提供所述对象的深度图的方法，所述飞行时间相机系统(10)包括照明单元(20)、具有像素(22、23)矩阵的成像传感器(21)以及图像处理装置(30)，所述方法的特征在于以下步骤：‑以离散方式修改所述照明单元(20)的照度从而分别用不同入射亮度来照亮所述场景的基本区域(31、32)，以将直接入射光束(25)和间接入射光束(26、28)区分开来；‑将由所述基本区域(31、32)反射的光束接收到所述传感器(21)的所述像素矩阵上，以及为所述图像处理装置(30)提供对应的数据；‑处理所述对应的数据以供通过从由直接和间接分量二者获得的复数据中减去由所述间接分量主导的光的飞行时间测量获得的复数据以形成新的复数据来消除所述间接光束在所述对象的所述深度图中的影响。

【技术特征摘要】
【国外来华专利技术】2014.06.11 EP 14171985.61.一种用于测量场景(20、24)的对象和飞行时间相机系统(10)之间的距离以及提供所述对象的深度图的方法，所述飞行时间相机系统(10)包括照明单元(20)、具有像素(22、23)矩阵的成像传感器(21)以及图像处理装置(30)，所述方法的特征在于以下步骤：-以离散方式修改所述照明单元(20)的照度从而分别用不同入射亮度来照亮所述场景的基本区域(31、32)，以将直接入射光束(25)和间接入射光束(26、28)区分开来；-将由所述基本区域(31、32)反射的光束接收到所述传感器(21)的所述像素矩阵上，以及为所述图像处理装置(30)提供对应的数据；-处理所述对应的数据以供通过从由直接和间接分量二者获得的复数据中减去由所述间接分量主导的光的飞行时间测量获得的复数据以形成新的复数据来消除所述间接光束在所述对象的所述深度图中的影响。2.如权利要求1所述的方法，其特征在于，所述修改所述照明的步骤是以离散方式遮蔽所述照明单元(20)以供在所述场景上创建基本区域(31)的步骤，没有直接入射光束可以照射于所述基本区域(31)上。3.如权利要求1或2所述的方法，其特征在于，所述处理所述对应的数据的步骤包括标识仅有间接入射光束可以照射于其上的基本区域(31)的步骤。4.如前述任一项权利要求所述的方法，其特征在于，进一步包括确定所述场景(24、40)上的基本区域的两个不同空间区域(45、46)的步骤，所述两个不同空间区域(45、46)分别与所述像素(22、23)矩阵的不同像素集合相关联...

【专利技术属性】
技术研发人员：W·范德腾佩尔，
申请(专利权)人：软动力学传感器公司，
类型：发明
国别省市：比利时;BE