距飞行时间相机的深度制造技术

描述了原始飞行时间图像中的感兴趣区域检测。例如，计算设备接收由飞行时间相机针对单个帧捕获的至少一个原始图像。原始图像描绘飞行时间相机的环境中的一个或多个对象(例如，人的手、身体或任何其他对象)。将原始图像输入到经训练的区域检测器，并且作为响应，接收原始图像中的一个或多个感兴趣区域。接收的感兴趣区域包括原始图像的、被预测为描绘对象之一的至少部分的图像元素。深度计算逻辑从原始图像的一个或多个感兴趣区域计算深度。

Depth of flight time camera

The detection of the region of interest in the original flight time image is described. For example, the computing device receives at least one original image captured by the fly time camera for a single frame. The original image depicts one or more objects in the environment of the flying time camera (e.g., the human hand, body, or any other object). The original image is fed into the trained region detector and in response to one or more regions of interest in the original image. The received region of interest includes the image element of the original image, which is predicted to be at least part of one of the depicted objects. The depth calculation logic calculates depths from one or more regions of interest in the original image.

【技术实现步骤摘要】
【国外来华专利技术】距飞行时间相机的深度
技术介绍
飞行时间(TOF)相机越来越多地用于各种应用中，例如人机交互、汽车应用、测量应用和机器视觉。TOF相机可以用于生成深度图，深度图包含与场景中的对象到相机的深度相关的信息。深度是指距离在从相机延伸的假想线上的投影，其中距离是绝对径向距离或从成像平面到场景中的表面的距离。TOF相机处的光源照亮场景，并且光被场景中的对象反射。相机接收反射光，该反射光依赖于对象到相机的距离而经历延迟。鉴于光速是已知的，则可以生成深度图。以下描述的实施例不限于解决已知飞行时间相机或飞行时间图像处理系统的任何或所有缺点的实现。
技术实现思路
以下呈现本公开的简要概述，以向读者提供基本理解。该概述不是本公开的广泛综述，并且不标识关键/重要的元素或描绘本说明书的范围。其唯一目的是以简化的形式呈现本文中所公开的概念的选择，作为稍后呈现的更详细描述的序言。描述了原始飞行时间图像中的感兴趣区域检测。例如，计算设备接收由飞行时间相机针对单个帧捕获的至少一个原始图像。原始图像描绘飞行时间相机的环境中的一个或多个对象(例如，人的手、身体或任何其他对象)。将原始图像输入到经训练的区域检测器，并且作为响应，接收原始图像中的一个或多个感兴趣区域。接收的感兴趣区域包括原始图像的、被预测为描绘对象之一的至少部分的图像元素。深度计算逻辑计算到原始图像的一个或多个感兴趣区域的深度。很多伴随的特征将更容易理解，因为这些特征通过参考结合附图考虑的以下详细描述会变得更好理解。附图说明从根据附图阅读的以下详细描述将能更好地理解本说明书，其中：图1是飞行时间相机捕获环境中的用户的手的原始图像数据、以及从原始图像数据计算深度图的区域检测器和深度计算部件的示意图；图2是图1的区域检测器的更详细的示意图；图3是图2的区域检测器处的方法的流程图；图4是训练用于在图2的区域检测器中使用的分类器的方法的流程图；图5是操作作为图2的区域检测器的部分的经训练的分类器的方法的流程图；图6是飞行时间相机的示意图；图7是用于在图6的飞行时间相机处使用的计算深度的方法的流程图；以及图8示出了其中可以实现区域检测器和飞行时间深度计算逻辑的实施例的示例性基于计算的设备。相同的附图标记在附图中用于表示相同的部件。具体实施方式以下结合附图提供的详细描述旨在作为对本示例的描述，而非旨在表示可以构造或利用本示例的仅有形式。该描述阐述了示例的功能以及用于构造和操作示例的步骤序列。然而，相同或等同的功能和序列可以通过不同的示例来实现。图1是飞行时间相机100捕获用户在环境中进行复杂手姿势的手108的原始图像数据112的、以及从原始图像数据计算深度图122的区域检测器114和深度计算部件120的示意图。在该示例中，示出了一只手108。然而，实际上，在场景中可以有来自一个或多个用户的多个手。本文中认识到，在诸如存储器和处理能力的计算资源方面以及在时间方面，从原始传感器数据112计算深度是资源密集的。图1的新处理管线使得能够以更有效的方式分配计算资源和存储器。区域检测器114检测原始图像数据中的感兴趣区域。来自飞行时间传感器的原始图像是多个传感器测量(例如，红外强度值)。可以针对飞行时间传感器的单个帧感测多个原始图像，多个原始图像中的一个用于多个调制频率中的一个。在图1的示例中，感兴趣区域是与背景表面、前臂和腕表面相反的、描绘手的区域。然而，感兴趣的区域将根据正在使用飞行时间相机的特定任务来描绘不同的对象或对象的部分。在一些示例中，区域检测器用作分割器和检测器。例如，区域检测器区分描绘单个手(或其他对象或对象的部分，这取决于所涉及的任务)的原始图像数据的区域；即，区域检测器分割描绘单独的手的原始图像数据的区域。当两只手正在交互时(例如，握手或做出“举手击掌”手势)，这是特别困难的。然而，在一些示例中，在计算深度之后，在处理管线中稍后执行分割。区域检测器114的输出为来自飞行时间相机的、原始传感器数据的每帧零个、一个或多个候选区域118。如图1所示并且在下面更详细地描述的，每个帧可以包括多个原始传感器数据图像。这些区域被输入到深度计算部件120，深度计算部件120计算到原始传感器数据的区域的深度值。这使得能够更有效地分配资源，因为仅针对帧的候选区域118计算深度，而不是针对帧的完整原始传感器数据来计算深度。先前的方法计算了针对整个数据帧的深度。从原始传感器数据检测感兴趣区域不简单，因为原始传感器数据由于传感器噪声而有噪声，可能包含环境照明并且不提供缩放信息。已经训练了新处理管线的区域检测器114来学习原始飞行时间图像的图像元素和感兴趣区域之间的关联。例如，区域检测器包括经训练的分类器，其用于对原始传感器数据图像、或聚合的原始传感器数据图像的图像元素进行分类。然后将分类的结果用于计算如下面更详细地描述的候选区域。在一些示例中，区域检测器114利用高级信息116(例如，感兴趣区域中的对象类型的知识、来自下游系统124的状态数据、或在先前帧中检测的感兴趣区域)。状态数据可以是例如在游戏系统128上执行的游戏的状态、或增强现实系统130的状态。状态数据提供可能或不可能的感兴趣区域的指示。来自深度计算部件的深度图122被输入到下游系统124(例如，自然用户界面126、游戏系统128或增强现实系统130)。这些仅是示例，并且可以使用其他下游系统124。在一些示例中，深度图122被输入到姿态跟踪器，姿态跟踪器被布置为跟踪用户的手的高维度姿态。在一些示例中，深度图用于距离测量、汽车应用(例如，停车传感器和防撞系统)、以及测量到对象的准确距离的其他应用。在图1所示的示例中，为了清楚起见，区域检测器114和深度计算部件120被示出在飞行时间相机100外部。然而，区域检测器114和深度计算部件120可以与飞行时间相机整体地或部分地集成。这将在下面参考图6进行说明。在其他示例中，区域检测器114和/或深度计算部件在能够例如使用有线或无线通信链路或以其他方式从飞行时间相机接收数据的计算设备(例如，图8的计算设备)中。在一些示例中，区域检测器和/或深度计算部件位于云中的计算设备处。飞行时间相机100可以是相位调制飞行时间相机或者使用快门定时的门控飞行时间相机。它包括光源102和接收器104。在相位调制飞行时间相机的情况下，光源102发射调制光。在示例中，调制光源102可以是发射透射光106的非相干光源，使用调制频率为fmod的信号来调制透射光106。在一个示例中，来自设备的光可以在高频率(例如，在MHz范围中的频率)处被调制，使得照明量周期性地变化。在一个示例中，照明的周期性变化可以采用正弦函数的形式。在相位调制飞行时间示例中，调制光源102以多个调制频率(例如，三个调制频率)发射光。可以选择光源102，使得发射的光的波长对于特定应用是最合适的波长。在一个示例中，光源可以是不可见光源(例如，近红外光源)。在另一示例中，光源可以是可见光源。在一个实施例中，光源可以被选择为用于其预期的应用的适当波长的光源。在门控(也称为基于脉冲的)飞行时间相机的情况下，光源102发射极短的照明脉冲。例如，使用发射皮秒持续时间的光脉冲的强大的激光光源。在门控飞行时间相机的情况下，接收器104包括具有能够分辨光源102的短脉冲的分本文档来自技高网...

【技术保护点】
一种方法，包括：接收由飞行时间相机针对单个帧捕获的至少一个原始图像，所述原始图像描绘所述飞行时间相机的环境中的一个或多个对象；向经训练的区域检测器输入所述原始图像，并且作为响应接收所述原始图像中的一个或多个感兴趣区域，感兴趣区域包括图像元素，所述图像元素被预测为描绘所述对象中的一个对象的至少一部分；以及从所述原始图像的所述一个或多个感兴趣区域计算深度。

【技术特征摘要】
【国外来华专利技术】2014.10.14 US 14/513,7461.一种方法，包括：接收由飞行时间相机针对单个帧捕获的至少一个原始图像，所述原始图像描绘所述飞行时间相机的环境中的一个或多个对象；向经训练的区域检测器输入所述原始图像，并且作为响应接收所述原始图像中的一个或多个感兴趣区域，感兴趣区域包括图像元素，所述图像元素被预测为描绘所述对象中的一个对象的至少一部分；以及从所述原始图像的所述一个或多个感兴趣区域计算深度。2.根据权利要求1所述的方法，所述区域检测器已经被训练为学习感兴趣区域和原始飞行时间图像的图像元素之间的关联。3.根据权利要求1所述的方法，包括仅从所述原始图像的所述一个或多个感兴趣区域计算深度。4.根据权利要求1所述的方法，其中来自所述飞行时间相机的所述原始图像是多个红外强度值。5.根据权利要求1所述的方法，包括：接收由所述飞行时间相机针对单个帧捕获的多个原始图像；聚合所述多个原始图像，以产生经聚合的原始图像；以及向所述经训练的区域检测器输入所述经聚合的原始图像。6.根据权利要求1所述的方法，包括接收由所述飞行时间相机针对单个帧捕获的多个原始图像；以及向所述经训练的区域检测器输入所述原始图像中的每一个。7.根据权利要求1所述的方法，包括使用所述经训练的区域检测器，将所述原始图像的图像元素分类为在感兴趣区域中或不在感兴趣区域中。8.根...

【专利技术属性】
技术研发人员：J·D·J·朔顿，C·科斯金，C·莱曼，T·夏普，D·P·罗伯特森，P·科利，A·W·菲兹吉邦，S·伊扎迪，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US