飞行时间深度相机制造技术

提供了一种用于操作飞行时间(TOF)深度相机的方法。该方法包括，使用图像处理模块(110)，至少基于由图像处理模块接收到的调制频率和占空比校准组合的经更新集合来为多个像素传感器(122)的每一个像素传感器内插经更新的定时延迟校准，该多个像素传感器耦合到定时时钟并接收由光源(116)生成并在3维环境中反射的光，调制频率和占空比校准组合的经更新集合替代对应的工厂预载定时延迟校准。该方法包括将经更新的定时延迟校准应用于与多个像素传感器(122)的每一个像素传感器相对应的像素数据，以生成3维环境的深度图。

【技术实现步骤摘要】
【国外来华专利技术】飞行时间深度相机背景飞行时间(TOF)技术被用在多个领域以确定光行进通过媒介所花费的时间。例如，TOF方法可被用于相机中以确定3维环境中的深度测量。概述提供了一种用于操作飞行时间(TOF)深度相机的方法。该方法包括，使用图像处理模块，至少基于由图像处理模块接收到的调制频率和占空比校准组合的经更新集合来为多个像素传感器的每一个像素传感器内插经更新的定时延迟校准，该多个像素传感器被耦合到定时时钟并接收由光源生成并在3维环境中反射的光，并且调制频率和占空比校准组合的经更新集合替代对应的工厂预载定时延迟校准，并将经更新的定时延迟校准应用于与多个像素传感器的每一个像素传感器相对应的像素数据以生成3维环境的深度图。以此方式，针对像素传感器的定时延迟校准可在相机被运输到消费者之后被更新。结果，TOF深度相机的操作模式可被改变并且TOF深度相机的性能状态可在生产出厂之后被修改，从而允许TOF深度相机的适用性被扩展。具体地，TOF深度相机的性能可被改善以更好地适合新操作环境。深度相机中的各种参数可被改变以改善相机操作，诸如照明频率，占空比(例如，光源和像素检测器占空比)、峰值功率和积分时间等，并且定时延迟可被调节以匹配参数改变。调节这些参数使得准确性、精度、深度噪声、近和远范围、信噪比、混合像素分辨率、运动模糊，和/或其它合适的性能特征在相机中被改变以提供期望的操作特征。因此，当这些参数能够在相机被运输到消费者之后动态更新时，深度相机的使用寿命可被延长并且相机的用户体验可被增强。提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。附图简述图1示出了飞行时间(TOF)系统的示意性描绘；图2示出了TOF系统的操作的方法；图3和4示出了TOF系统的操作的另一方法；图5示出了示例TOF系统以及TOF和TOF系统中的定时延迟的图形表示；图6示出了通过包括在多个像素传感器中的一个像素传感器接收的波形和从光源发出的波形之间的定时延迟的图形表示；图7示出了TOF深度相机的工厂校准期间获得的数据的线性回归的图形表示；以及图8示出了示例性计算设备。详细描述深度相机可在娱乐和游戏系统中被用作输入设备来标识用户移动并响应于检测到的移动在设备中执行功能。深度相机还可被用于这些系统中以供面部识别、对象扫描等。然而，将理解深度相机可被用于大量其它系统中。归因于相机内的硬件配置(例如，定时时钟和光源安排)，深度相机可能有定时延迟。具体而言，深度相机通常包括连接到像素传感器和激光器的定时机制。该像素传感器可能比激光器更接近定时机制。因此，在像素传感器接收的定时信号和定时信号触发的激光照明的实际时刻之间存在实质性延迟。该延迟导致深度误差，其在某些情况中可能是数十至数百厘米的量级。为考虑这些延迟，TOF深度相机可在它们的生产工厂被校准以确定针对相机中的每个像素传感器的设定定时延迟。定时延迟是取决于相机操作模式的量。这一操作模式可基于预期的操作环境来被确定。例如，游戏系统中的操作模式可被选择来供在室内环境(诸如起居室)中使用。工厂校准确定给定操作模式的定时延迟。这些经工厂校准的延迟是静态的且一旦相机被提供给消费者就不能被修改。以此方式固定定时延迟限制了相机的灵活性，因为它不允许对操作模式的改变。具体而言，更改光学参数(诸如照明频率、占空比、峰值功率、积分时间等)影响定时延迟，从而致使经工厂校准的定时延迟无效。结果，这些类型的深度相机的适用性受限，因为它们不能在现场动态更新。已开发了飞行时间(TOF)系统和飞行时间系统的操作方法(如下所述)以改善定时延迟校准。图1示出了TOF系统100的示意性描绘。TOF系统100包括TOF深度相机102、校准计算设备104，以及更新计算设备106。校准计算设备104被配置来向TOF深度相机102提供工厂校准。更新计算设备106被配置来在相机被销售或以其他方式提供给消费者之后向TOF深度相机102提供生产后校准。换言之，更新计算设备106被配置来提供现场重新校准功能。提供现场重新校准通过允许定时基于相机的参数中的调整来重新计算定时误差而使得TOF深度相机102的适用性能被提高。将理解，当新信息变得可用、软件算法被改善、相机在非预期操作环境中被使用等时，改变相机的参数可能是合乎需要的。结果，相机性能特征可被重新分发来针对未曾预料到的终端用户情形改善相机操作。执行TOF深度相机的工厂校准以及在TOF深度相机102上更新校准的方法在此被更详细地讨论。进一步，在其它示例中，工厂校准和生产后动态校准可通过单个计算设备被提供。此外，如在图1中描绘的，更新计算设备106通过网络108(诸如因特网)与TOF深度相机102电子通信。然而，已设想了其它合适的网络。校准计算设备104被示为与TOF深度相机102直接电子通信。此外，校准计算设备104可通过合适的网络(包括但不限于网络108)与TOF深度相机102通信。TOF深度相机102包括配置用于确定定时误差并执行在此更详细描述的附加功能的图像处理模块110。TOF深度相机102还包括定时时钟112。定时时钟112与可被配置来存储占空比和频率组合的图像处理模块110电子通信。定时时钟112被配置来生成调制信号114(例如，调制电压)。将理解，调制信号114可以是类似的。例如，类似的调制信号可从定时时钟被发送到光源和像素快门。将理解，尽管相同信号可被从定时时钟发送到光源以及像素快门，归因于信号经由其传播的各电子连接中的差异，通过光源和像素快门接收的信号可具有轻微差异。因此，在一个示例中，发送到至少一个快门的调制信号和发送到光源的调制信号是同一信号。调制信号114可被基于存储在图像处理模块110中的调制频率和占空比组合来被生成。如所示出的，调制信号114从定时时钟112被发送到光源116和像素阵列118。将理解，调制信号规定光源生成的波形的形状和定时。光源116包括一个或多个激光器120和/或其它合适的光生成设备，诸如发光二极管(LED)。激光器120被配置来生成光。在一个示例中，激光器被配置来发射红外频谱中的光(即，波长范围1毫米mm-700纳米nm内的光)。然而，已经构想了生成其它频谱的光的光源。像素阵列118包括多个像素传感器122。像素阵列118进一步包括与多个像素传感器122的每一个像素传感器相关联的至少一个快门124。在一个示例中，两个快门可与多个像素传感器的每一个像素传感器相关联。此外，在其它示例中，将理解，快门被集成到多个像素传感器122中。再进一步，在一个示例中，像素阵列118可被集成到定时时钟112中。发送到像素阵列的调制信号规定快门操作的定时(例如，开和闭)。因此，调制信号确定由像素阵列接收的波形的定时。将理解，光源116被配置来将其中生成的光投射到3维环境126，如通过箭头128所指示。光被反射离开3维环境126中的对象并返回多个像素传感器122，如通过箭头130所指示。将理解，快门124调理进入多个像素传感器122的光的定时。如所示，像素阵列118与图像处理模块110电子通本文档来自技高网...

【技术保护点】
一种用于操作飞行时间(TOF)系统的方法：使用图像处理模块，至少基于由所述图像处理模块接收到的调制频率和占空比校准组合的经更新集合来为多个像素传感器的每一个像素传感器内插经更新的定时延迟校准，所述多个像素传感器耦合到定时时钟并接收由光源生成并在3维环境中反射的光，所述调制频率和占空比校准组合的经更新集合替代对应的工厂预载定时延迟校准；以及将经更新的定时延迟校准应用于与所述多个像素传感器的每一个像素传感器相对应的像素数据，以生成3维环境的深度图。

【技术特征摘要】
【国外来华专利技术】2014.10.22 US 14/521,1451.一种用于操作飞行时间(TOF)系统的方法：使用图像处理模块，至少基于由所述图像处理模块接收到的调制频率和占空比校准组合的经更新集合来为多个像素传感器的每一个像素传感器内插经更新的定时延迟校准，所述多个像素传感器耦合到定时时钟并接收由光源生成并在3维环境中反射的光，所述调制频率和占空比校准组合的经更新集合替代对应的工厂预载定时延迟校准；以及将经更新的定时延迟校准应用于与所述多个像素传感器的每一个像素传感器相对应的像素数据，以生成3维环境的深度图。2.如权利要求1所述的方法，其特征在于，进一步包括，在所述图像处理模块处内插所述经更新的定时延迟校准之前，在所述图像处理模块处从更新计算设备接收调制频率和占空比校准组合的所述经更新集合。3.如权利要求2所述的方法，其特征在于，调制频率和占空比校准组合的所述经更新集合通过网络发送。4.如权利要求1所述的方法，其特征在于，进一步包括，在所述图像处理模块处内插所述经更新的定时延迟校准之前，向与所述多个像素传感器的每一个像素传感器相对应的像素数据应用所述工厂预载定时延迟校准以生成第二3维环境的第二深度图，所述工厂预载定时延迟校准对应于工厂预载的调制频率和占空比校准组合的集合，工厂预载的调制频率和占空比校准组合的集合不同于调制频率和占空比校准组合的所述经更新集合。5.如权利要求4所述的方法，其特征在于，进一步包括，在校准计算设备处，在应用所述工厂预载定时延迟校准之前，为每个像素传感器确定校准算法中的常数，并基于所述工厂预载的调制频率和占空比校准组合来确定所述工厂预载的定时延迟校准。6.权利要求5所述的方法，其特征在于，所述工厂预载的调制频率和占空比校准组合被归一化以确定所述常数。7.如权利要求1所述的方法，其特征在于，内插所述经更新的定时延迟校准包括计算多个定时延迟的平均。8.如权利要求1所述的方法，其特征在于，所述经更新的定时延迟校准被应用于所述光源生成的光的经调制的波形和所述像素传感器中的每...

【专利技术属性】
技术研发人员：M·A·霍尔，M·施密特，T·佩里，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US