飞行时间调制光的展开相位制造技术

针对飞行时间相机的自适应相位展开。利用具有两个或更多个频率的调制光照射场景，该两个或更多个频率不具有公共整数分母。在传感器阵列处接收从场景内的对象反射的调制光。然后在复域中处理和加权所接收的调制光，以确定针对两个或更多个频率的调制光中的每个调制光的展开相位。的展开相位。的展开相位。

【技术实现步骤摘要】
【国外来华专利技术】飞行时间调制光的展开相位

技术介绍

[0001]飞行时间(ToF)成像系统可以用于产生环境的深度图像，其中深度图像的每个像素表示到环境中的对应点的距离。到环境中的成像表面上的点的距离是基于由成像系统发出的光传播到该点并且然后返回到成像系统中的传感器阵列的时间间隔(即，ToF)的长度来确定的。光学ToF相机测量针对表面上的很多点的这个间隔，从而组装深度图像，其中针对深度图像中的每个像素的深度坐标与在该像素处所观察到的ToF成比例。

技术实现思路

[0002]提供本“
技术实现思路
”以便以简化的形式介绍在下面的“具体实施方式”中进一步所描述的概念的选择。本“
技术实现思路
”不旨在确定所要求保护的主题的关键特征或者基本特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中所指出的任何或者所有缺点的实现。
[0003]使用飞行时间相机，用具有两个或更多个频率的调制光照射场景，该两个或更多个频率不具有公共整数分母。在飞行时间相机的传感器阵列处接收从场景内的对象反射的调制光。然后，处理所接收的调制光以确定针对两个或更多个频率的调制光中的每个调制光的展开相位。
附图说明
[0004]图1示出了具有嵌入式或者外围数码相机的示例电子设备的方面。
[0005]图2示出了示例数码相机的方面。
[0006]图3示出了用于经由飞行时间相机确定展开相位的示例方法。
[0007]图4示出了用于基于噪声条件调节相位展开参数的示例方法。
[0008]图5A示出了展开通过速率的示例图。
[0009]图5B示出了图5A的示例图的缩放版本。
[0010]图6A示出了针对噪声条件的直到16.67m的距离的相位展开的示例图。
[0011]图6B示出了针对零噪声条件的图6A的示例相位展开的图。
[0012]图6C示出了针对噪声条件的直到50m的距离的相位展开的示例图。
[0013]图6D示出了针对零噪声条件的图6C的示例相位展开的图。
[0014]图6E示出了图6C的示例图的截断版本。
[0015]图6F示出了图6D的示例图的截断版本。
[0016]图7示意性地示出了计算系统的非限制性实施例。
具体实施方式
[0017]由于高速高分辨率光学传感器阵列的发展，光学飞行时间(ToF)成像已经成为主要的深度成像技术。“基于相位”的光学ToF成像是该技术的重要变体，其中深度是基于从对象反射回来的调制光的相位滞后来计算的。采用这种技术的设备越来越多地在工业和消费
应用中被发现，包括设备自动化应用、游戏和虚拟现实应用、生物识别和面部识别应用等。本公开涉及对ToF成像的改进，其使用具有没有公共整数分母的两个或更多个频率的调制光来实现多频成像。进而，这导致能够调节所使用的频率，从而改进深度测量、改进功耗和/或提供其他优势。
[0018]图1示出了具有嵌入式或者外围数码相机(102A
‑
D)的电子设备(100A
‑
D)的四个不同示例的方面。设备100A是包括相机102A的智能电话。设备100B是包括网络相机102B的个人计算机。设备100C是包括外围3D相机102C的视频游戏系统。设备100D是包括3D相机102D的虚拟现实耳机。在这些和其他设备环境中，本文中所公开的校正方法可以适用于这些和其他类型的面向用户和/或面向世界的数码相机的输出。
[0019]图2示出了在一个实现中包括数码相机202的示例成像环境200的方面。数码相机202包括：具有多个传感器元件206(例如，像素)的传感器阵列204、控制器208和物镜系统210。物镜系统210被配置为将摄影对象222的至少一个表面220的图像聚焦到传感器阵列204上。控制器208被配置为收集和处理来自各种传感器元件206的数据，并且从而构造对象的数字图像。控制器208可以跨一个或多个计算设备来实现，计算设备的示例在本文中关于图7讨论。
[0020]由控制器208构造的数字图像可以表示为数值数组，其中为一组像素(X，Y)
j
中的每个像素提供了值S
j
。数字图像的每个像素的X、Y位置被映射到传感器阵列204的相关联的传感器元件206，并且经由物镜系统210被映射到表面220的对应关联轨迹224。在一些实现中，将图像像素映射到传感器元件的映射可以是1∶1映射，但也可以使用其他映射，诸如1∶4、4∶1等。在一些实现中，数码相机202可以被配置为获取对象222的数字图像的时间分辨序列——即视频。
[0021]像素(X，Y)
j
的S
j
值的维度没有特别限制。在一些示例中，S
j
可以是指定像素(X，Y)
j
的亮度的实数或者整数值标量。在其他示例中，S
j
可以是指定像素(X，Y)
j
的颜色的实数或者整数值的向量——例如，使用红色、绿色和蓝色颜色通道的标量分量值。在其他示例中，S
j
可以被预处理以包括复数值其中a和b是整数或者实数。如下文更详细描述的，复数值S
j
可以被用于表示采用连续波(CW)调制和相位鉴别来解析径向距离的光学ToF相机的传感器元件的信号响应。这样的相机在本文中被称为“CW
‑
ToF相机”。
[0022]图2的数码相机202是CW
‑
ToF相机，该CW
‑
ToF相机被配置为解析到摄影对象222的表面220上的多个点j的径向距离Z。为了实施基于相位的ToF成像，CW
‑
ToF相机202包括调制光发射器230和传感器阵列204，传感器阵列204具有模拟和/或数字调制的电子快门232。调制光发射器230可以被配置为发射具有由传感器元件206可检测的任何频率的电磁辐射。例如，调制光发射器230可以是红外和/或近红外发光二极管(LED)或者激光二极管(LD)，并且传感器阵列可以是互补金属氧化物半导体(CMOS)传感器元件206的高分辨率阵列。设置在物镜系统210和波长滤波器234后面，其中波长滤波器234可以是传感器外光学组件或者直接位于传感器204上的滤光层上，传感器阵列被配置为对来自调制光发射器230的光进行成像，该光从表面220反射并且返回到相机。其他光学ToF相机可以包括不同光学、光发射器和/或传感器阵列变体——例如，电荷耦合器件(CCD)传感器阵列或者微透镜物镜阵列。
[0023]电子快门232可以是指受控电压信号，包括任何合适的调制波形，该信号具有可选
地同时施加到传感器阵列204的各种传感器元件206的某些电极结构的调节偏置。在一些示例中，接收具有偏置的受控电压信号的电极结构可以包括集电器，该集电器取决于偏置电压信号的电平而引起在传感器元件206内产生的光电子漂移到集电器并且经由到电压转换器的电流被测量为电流或者电压。在一些示例中，接收受控偏置电压信号的电极结本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种飞行时间相机，包括：调制光发射器，被配置为利用具有两个或更多个频率的调制光照射场景，所述两个或更多个频率不具有公共整数分母；传感器阵列，被配置为接收从所述场景内的对象反射的所述调制光；控制器，被配置为：处理所接收的所述调制光以确定针对每个频率的调制光的包裹相位向量；以及确定针对所述两个或更多个频率的调制光中每个调制光的展开相位。2.根据权利要求1所述的飞行时间相机，其中所述控制器还被配置为：将所述包裹相位向量转换为复域中的相位标量；以及基于所述相位标量确定所述复域中的展开相位。3.根据权利要求2所述的飞行时间相机，其中所述相位标量用单个未知整数M表示，其中M是针对给定频率的调制光的2π模的包裹周期数。4.根据权利要求3所述的飞行时间相机，其中所述控制器还被配置为：在所确定的最大展开距离内确定所述包裹相位向量的M
max
的值；以及基于生成针对U
M
的值的极值的值，来确定M的值使得0≤M≤M
max
，其中并且其中N
k
是在每个频率处的总相移步长，AB
m
是在每个频率f
m
处的有效亮度，并且t
d,m
是在每个频率f
m
处的包裹飞行时间。5.根据权利要求4所述的飞行时间相机，其中针对一频率的调制光的展开相位至少基于生成针对所述U
M
的值的极值的所述M的值来确定。6.根据权利要求2所述的飞行时间相机，其中所述控制器还被配置为：在所述复域中使用数字滤波器从所述相位向量中过滤高斯噪声。7.根据权利要求1所述的飞行时间相机，其中所述控制器还被配置为：基于所述所接收的调制光的有效亮度对系统鲁棒性进...

【专利技术属性】
技术研发人员：许展平，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：