利用飞行时间相机的反射率感测制造技术

技术编号:26595270 阅读:37 留言:0更新日期:2020-12-04 21:16
本公开的实施例涉及利用飞行时间相机的反射率感测。用于使用飞行时间(ToF)测量设备获得反射率测量值的技术。一种示例方法包括:使用ToF传感器中的一个或多个像素来获得距离测量值;使用一个或多个像素来获得与距离测量值相对应的强度测量值;以及基于距离测量值、强度测量值和反射率校准因子来计算反射率值。在一些实施例中,校准距离如下来获得:通过使用ToF传感器中的参考像素来测量到校准表面的参考距离,并从所测量的参考距离获得校准距离。在一些实施例中,反射率校准因子如下来获得:通过使用参考像素获得与参考距离相对应的参考强度,并作为参考强度和一个或多个像素的视角的函数来计算反射率校准因子。

【技术实现步骤摘要】
利用飞行时间相机的反射率感测
本公开总体上涉及飞行时间(ToF)测量,并且更具体地涉及用于使用ToF传感器来获得反射率测量的技术。
技术介绍
在光学感测应用中,深度测量,即,对到图像传感器的视野中的一个或多个对象的各个特征的距离测量,可以作为所谓的飞行时间(ToF)测量来执行,该测量是使用光速和图像/像素传感器来确定的距离测量。到感兴趣对象的距离通常每像素来进行计算,并且一旦经过计算,该距离可以用于深度检测、姿势识别、对象检测等。每像素的距离被组合来创建深度图,该深度图提供三维图像。ToF测量技术越来越多地出现在便携式电子设备(例如,蜂窝电话和“智能”设备)中。许多常规的TOF测量方案需要多次顺序的曝光,其也被称为复本。每次曝光需要利用相对于参考信号处于相应相位处的调制信号,来对从光源生成的光进行振幅调制,该参考信号被应用到对从一个或多个感兴趣对象反射的光进行解调制的像素,对于不同的曝光,相位是不同的。例如,一个方案需要四次单独的曝光,其中调制信号的相对于参考信号的相位分别处于0°、90°、180°和270°。来自四个曝光的测量信息被收集并且进行比较,以确定深度图。对于具有扩展的明确范围的高精度测量,甚至可以执行更多的曝光,例如,多达九次单独的原始测量。该常规方案以及若干变型和支持硬件在于2018年10月31日提交的题为“ImageSensorwithInterleavedHoldforSingle-ReadoutDepthMeasurement”的共同待决的美国专利申请序列号16/176,817中详细描述,出于提供本公开的上下文的目的,其全部内容通过引用并入本文。
技术实现思路
本文描述的是用于测量针对飞行时间(ToF)传感器的每个像素的一个或多个所成像的对象的反射率的技术。在该上下文中,反射率是对象或材料表面在反射辐射能量中的效率,并且可以被理解为照射在对象或材料表面的光被反射回ToF传感器的百分比。使用下面描述的校准和测量技术,ToF传感器可以被用来产生反射率图以及深度图。例如,这可以用于对所成像的材料进行分类,和/或提供用于对象和面部识别的附加数据。反射率数据还可以用于例如检测皮肤颜色或检测人皮肤上的汗水。下面详细描述的实施例包括如在飞行时间(ToF)测量设备中实现的用于反射率测量的示例方法。该示例方法包括以下步骤:使用ToF传感器中的一个或多个像素来获得距离测量值;以及使用相同的一个或多个像素,获得与距离测量值相对应的强度测量值。该方法还包括基于距离测量值、强度测量值和反射率校准因子来计算针对一个或多个像素的反射率值。这些步骤可以使用对相应的像素或相应的像素组特定的反射率校准因子,而针对若干(或许多)像素或像素组中的每个像素或像素组来执行。在一些实施例中,计算反射率值包括:将强度测量值乘以反射率校准因子,并且乘以与距离测量值的平方成比例的因子。在一些实施例中,例如,针对每个像素i,j的反射率值根据Ri,j=ci,jIi,j(di,j/dcalib)2计算,其中Ri,j是针对像素i,j的所计算的反射率值;ci,j是针对像素i,j的反射率校准因子;Ii,j是针对像素i,j的所测量的强度;di,j是针对像素i,j的距离测量值;并且dcalib是反射率校准距离。在一些实施例中,ToF测量设备通过如下来获得校准距离:通过例如使用ToF传感器中的参考像素来测量到校准表面的参考距离,并且从所测量的参考距离获得校准距离,该参考像素具有与ToF传感器的光学轴对准的视角。在一些实施例中,ToF测量设备作为像素或像素组的视角以及参考反射率的函数、或作为由像素或像素组测量的到校准表面的距离以及参考反射率的函数、或作为上述两者和参考反射率的函数,来计算针对每个相应的像素或相应的像素组的反射率校准因子。例如,在一些实施例中,对于每个像素或每个像素组,反射率校准因子通过以下方式来获得:针对像素或像素组,测量来自校准表面的反射强度;基于像素或像素组相对于ToF传感器的光学轴的视角,对所测量的强度进行缩放;以及根据经缩放的所测量的强度和参考反射率,计算针对像素或像素组的反射率校准因子。在这些实施例的一些实施例中,ToF测量设备测量针对每个像素或每个像素组的到校准表面的距离,并根据来计算针对每个像素或每个像素组的经缩放的所测量的强度,其中:Li,j是针对像素i,j的经缩放的所测量的强度;Ii,j是针对像素i,j的所测量的强度;dci,j是针对像素i,j的所测量的到校准表面的距离;βi,j是像素i,j相对于ToF传感器光学轴的视角;并且dcalib是校准距离。根据本文所公开的技术计算的反射率值可以例如用于将二维图像中的像素值或像素值组标准化。这可以用于机器学习目的,例如允许将强度值映射到固定的缩放度,该固定的缩放度独立于距离。作为另一示例,根据这些技术计算的反射率值可以用于形成反射率图像,或者形成三维点云,该三维点云包括距离测量值和对应的反射率值。在附图中也图示并在下面描述了与以上概述和以下详述的方法相对应的装置。附图说明图1是图示了根据本文描述的实施例中的一些实施例的用于飞行时间(ToF)测量的系统的图。图2图示了一个示例光子混合器件(PMD)。图3是图示了根据飞行时间(TOF)技术的相位测量的原理的图。图4图示了根据本文描述的实施例中的一些实施例的示例校准过程的原理。图5是图示了根据一些实施例的用于使用ToF传感器来测量反射率的示例方法的流程图。图6是图示了根据一些实施例的被配置用于执行反射率测量的示例ToF测量设备的组件的框图。具体实施方式现在将参考附图来描述本专利技术,其中贯穿全文,相同的附图标记用于指代相同的元素,并且其中所图示的结构和设备不一定按比例绘制。在本公开中,术语“图像”和“图像传感器”不限于涉及可见光的图像或传感器,而是涵盖了可见光和其他电磁辐射的使用。因此,本文所使用的术语“光”广义地意指和指代可见光、以及红外辐射和紫外辐射。图1图示了众所周知的连续波(CW)飞行时间(TOF)测量的基本原理。诸如发光二极管(LED)或垂直腔表面发射激光器(VCSEL)的光源110利用电信号(例如,例如300MHz的射频正弦)来进行调制,使得光源110朝向目标场景120发射经振幅调制的光学信号。光信号以光速c行进,光信号从场景120中的一个或多个对象反射,并返回到达TOF传感器130中的像素阵列135,其具有去往目标场景120和从其返回的飞行时间,从而在像素阵列135处所接收的光学信号上相对于原始传输的光学信号施加相移调制信号137用于对所发射的光或其相移形式进行调制,调制信号137也作为参考信号被提供给像素阵列135中的像素,以与叠加在经反射的光学信号上的调制信号相关——实际上,经反射的光学信号由像素阵列135中的每个像素进行解调制。虽然光感测像素的结构和设计可以变化,但是在某些情况下,像素阵列135中的像素中的每个像素可以是光子混合器件或PMD。图2图示了示例PMD的基本结构,该示例P本文档来自技高网
...

【技术保护点】
1.一种在飞行时间(ToF)测量设备中的方法,所述方法包括:/n使用ToF传感器中的一个或多个像素来获得距离测量值;/n使用所述一个或多个像素来获得与所述距离测量值相对应的强度测量值;以及/n基于所述距离测量值、所述强度测量值和反射率校准因子,计算所述一个或多个像素的反射率值。/n

【技术特征摘要】
20190517 US 16/414,9691.一种在飞行时间(ToF)测量设备中的方法,所述方法包括:
使用ToF传感器中的一个或多个像素来获得距离测量值;
使用所述一个或多个像素来获得与所述距离测量值相对应的强度测量值;以及
基于所述距离测量值、所述强度测量值和反射率校准因子,计算所述一个或多个像素的反射率值。


2.根据权利要求1所述的方法,其中所述反射率校准因子特定于所述ToF传感器中的所述一个或多个像素。


3.根据权利要求1所述的方法,其中所述计算包括:将所述强度测量值乘以所述反射率校准因子,并且乘以与所述距离测量值的平方成比例的因子。


4.根据权利要求1所述的方法,其中所述反射率值根据以下来计算:
Ri,j=ci,jIi,j(di,j/dcalib)2,
其中Ri,j是所计算的所述反射率值,ci,j是所述反射率校准因子,Ii,j是所述强度测量值,di,j是所述距离测量值,并且dcalib是针对所述反射率校准因子的校准距离。


5.根据权利要求1所述的方法,还包括:使用所计算的所述反射率值来将二维图像中的像素值或像素值组标准化。


6.根据权利要求1所述的方法,其中所述方法包括:
使用所述ToF传感器来获得多个距离测量值,其中每个距离测量值是使用所述ToF传感器中的相应的像素或相应的像素组而被获得;
使用相应的所述像素或相应的所述像素组,获得与所述距离测量值中的每个距离测量值相对应的强度测量值;以及
基于所述强度测量值、相应的所述距离测量值和相应的反射率校准因子,计算与每个强度测量值相对应的反射率值。


7.根据权利要求6所述的方法,其中相应的所述校准因子各自特定于相应的像素或相应的像素组。


8.根据权利要求6所述的方法,其中针对每个相应的像素或每个相应的像素组,所述计算包括:将针对相应的所述像素或相应的所述像素组的所述强度测量值乘以针对相应的所述像素或相应的所述像素组的所述反射率校准因子,并且乘以与相应的所述像素或相应的所述像素组的所述距离测量值的平方成比例的因子。


9.根据权利要求6所述的方法,其中针对每个像素i,j的所述反射率值根据以下来计算:
Ri,j=ci,jIi,j(di,j/dcalib)2,其中:
Ri,j是针对像素i,j的所计算的所述反射率值;
ci,j是针对像素i,j的所述反射率校准因子;
Ii,j是针对像素i,j的所测量的所述强度;
di,j是针对像素i,j的所述距离测量值;以及
dcalib是校准距离。


10.根据权利要求6所述的方法,还包括:使用所计算的反射率值来将二维图像中的像素值或像素值组标准化。


11.根据权利要求6所述的方法,其中所述方法还包括:从所计算的所述反射率值形成反射率图像。


12.根据权利要求6所述的方法,其中所述方法还包括:形成三维点云,所述三维点云包括所述距离测量值和对应的所述反射率值。


13.根据权利要求6所述的方法,其中所述方法包括:通过如下来获得所述校准距离:
使用所述ToF传感器中的参考像素,测量到校准表面的参考距离,并且从所测量的所述参考距离获得所述校准距离。


14.根据权利要求6所述的方法,其中所述方法包括:通过如下来获得所述反射率校准因子:
作为针对所述像素或所述像素组的视角和参考反射率的函数,或者作为由所述像素或所述像素组测量的到校准表面的距离和所述参考反射率的函数,或者作为针对所述像素或所述像素组的所述视角、所述到校准表面的距离二者以及所述参考反射率的函数,来计算针对相应的所述像素或相应的所述像素组中的每个像素或每个像素组的所述反射率校准因子。


15.根据权利要求14所述的方法,其中所述函数是Rref/cosβi,j函数,其中Rref是所述参考反射率,并且βi,j是相应的所述像素或相应的所述像素组相对于所述ToF传感器的光学轴的所述视角。


16.根据权利要求6所述的方法,其中所述方法包括:针对每个像素或每个像素组,通过如下来获得所述反射率校准因子:
使用所述像素或所述像素组,测量来自校准表面的反射强度;
基于所述像素或所述像素组相对于所述ToF传感器的所述光学轴的所述视角,将所测量的所述强度进行缩放;
作为经缩放的所测量的所述强度和参考反射率的函数,计算针对所述像素或所述像素组的所述反射率校准因子。


17.根据权利要求16所述的方法,其中将所测量的所述强度进行缩放包括:根据Li,j=Ii,j/(cosβi,j)3来计算经缩放的所测量的所述强度,其中:
Li,j是针对像素i,j的经缩放的所测量的所述强度;
Ii,j是针对像素i,j的所测量的所述强度;以及
βi,j是像素i,j相对于所述ToF传感器的所述光学轴的所述视角。


18.根据权利要求16所述的方法,其中所述方法还包括:测量针对每个像素或每个像素组的到所述校准表面的距离,并且其中将所测量的所述强度进行缩放包括:根据来计算经缩放的所测量的所述强度,其中:
Li,j是针对像素i,j的经缩放的所测量的所述强度;
Ii,j是针对像素i,j的所测量的所述强度;
dci,j是针对像素i,j的所测量的到所述校准表面的所述距离;
βi,j是像素i,j相对于所述ToF传感器的所述光学轴的所述视角;
以及
dcalib是所述校准距离。


19.一种飞行时间(ToF)测量设备,包括:
光源,被配置为发射一系列光脉冲,所述一系列光脉冲通过利用调制信号对光进行振幅调制而形...

【专利技术属性】
技术研发人员:H·波兰克
申请(专利权)人:英飞凌科技股份有限公司
类型:发明
国别省市:德国;DE

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1