根据原始飞行时间图像的模型拟合制造技术

描述了根据原始飞行时间图像数据的模型拟合，其用于例如追踪人手或其他实体的位置和取向。在各种示例中，从飞行时间相机接收描绘实体的原始图像数据。访问实体的3D模型，并且使用3D模型从3D模型中渲染描绘具有规定姿势/形状的实体的原始飞行时间图像数据的模拟。比较模拟的原始图像数据和所接收的原始图像数据的至少部分，并且基于比较来计算实体的参数。

【技术实现步骤摘要】
【国外来华专利技术】根据原始飞行时间图像的模型拟合
技术介绍
飞行时间(TOF)相机越来越多地用于各种应用中，例如人机交互、汽车应用、测量应用和机器视觉。TOF相机可以用于生成深度图，其包含与场景中的对象到相机的深度相关的信息。深度是指距离在从相机延伸的假想线上的投影，其中距离是绝对径向距离。TOF相机处的光源照亮场景，并且光被场景中的对象反射。相机接收反射光，该反射光取决于对象到相机的距离，并且经历延迟。假设光速是已知的，则可以生成深度图。以下描述的实施例不限于解决已知飞行时间相机或飞行时间图像处理系统的任何或所有缺点的实现。
技术实现思路
以下呈现本公开的简要概述，以便向读者提供基本理解。该概述不是本公开的全面综述，并且不标识关键/重要的元件或描绘本说明书的范围。其唯一目的是以简化的形式呈现本文中所公开的概念的选择，作为稍后呈现的更详细描述的序言。描述了根据原始飞行时间图像数据的模型拟合，其用于例如追踪人手或其他实体的位置、取向、形状中的任一种。在各种示例中，从飞行时间相机接收描绘实体的原始图像数据。访问实体的3D模型，并且利用模型的规定参数值使用3D模型并从3D模型渲染描绘实体的原始飞行时间图像数据的模拟。比较模拟的原始图像数据和所接收的原始图像数据的至少部分，并且基于比较来计算实体的参数。很多伴随的特征将更容易理解，因为这些特征通过参考结合附图考虑的以下详细描述会变得更好理解。附图说明从根据附图阅读的以下详细描述将能更好地理解本说明书，在附图中：图1是捕获在环境中的用户的手的原始图像数据的飞行时间相机、以及根据原始飞行时间图像数据来计算手的参数的追踪器的示意图；图2是图1的追踪器的更详细的示意图；图3是图2的模型拟合引擎的更详细的示意图；图4是在诸如图2的比较部件处的方法的流程图；图5是在渲染器处的用于渲染合成的原始飞行时间图像的方法的流程图；图6是飞行时间相机的示意图；图7是在图6的飞行时间相机处计算3D模型参数的方法的流程图；以及图8示出了其中可以实现追踪器和可选的深度图计算逻辑的实施例的基于计算的示例性设备。相同的附图标记在附图中用于表示相同的部件。具体实施方式以下结合附图提供的详细描述旨在作为对本示例的描述，而非旨在表示可以构造或利用本示例的仅有形式。该描述阐述了示例的功能以及用于构造和操作示例的步骤序列。然而，相同或等同的功能和序列可以通过不同的示例来实现。图1是捕捉在环境中作出复杂手势的用户的手106的原始图像数据108的飞行时间相机100、以及根据由相机100捕获的原始飞行时间数据108的帧计算手的姿势和/或形状114的追踪器112的示意图。在该示例中，示出了一只手106。然而，实际上，在相机100的视野中可以存在任何一个或多个对象或对象的部分。例如，在场景中可以存在来自一个或多个用户的多个手。在另一示例中，游戏的玩家的身体姿势被追踪器追踪。在另一示例中，诸如咖啡杯等对象在相机的视场中，并且计算其姿势和/或形状。尽管图1的示例涉及用户手的追踪参数，但是本文中所描述的方法和装置也可以用于追踪其他实体的3D模型参数，诸如面部、整个身体、或者其他刚性或可变形对象。通过直接根据原始飞行时间图像计算姿势和/或形状(或其他3D模型参数)，而不需要根据原始飞行时间数据计算深度，获得了各种益处。例如，可以增加3D模型参数追踪的速度，因为直接根据原始飞行时间计算姿势、形状或其他参数可以比根据原始飞行时间计算深度并且然后使用深度来计算姿势或形状或其他量的计算密集度更小。提高了3D模型参数追踪的准确性。这是因为原始飞行时间图像通常比根据原始飞行时间图像计算的深度图具有更少的噪声。通过直接根据原始飞行时间图像计算参数，减小了噪声对所得到的追踪参数的影响。对象或对象的一部分的3D模型的参数至少包括姿势参数和/或形状参数。术语“姿势”用于指代对象或对象的一部分的全局位置和全局取向。在诸如手或人体等关节式对象的情况下，姿势还可以包括关节式运动对象的运动学模型的多个关节角度。例如，根据所使用的运动学手模型的细节和复杂性，手姿势可以包括多于10或多于20个自由度。在一些示例中，姿势被表示为姿势参数的矢量。在本文中认识到，根据原始传感器数据112计算深度在诸如存储器和处理能力等计算资源方面以及在时间方面是资源密集型的。图1的新处理流水线使得能够以更有效的方式分配计算资源和存储器。这是通过使追踪器112能够将正被追踪的实体的3D模型直接拟合到原始飞行时间图像数据而不需要计算深度来实现的。根据飞行时间传感器的原始图像是多个传感器测量值，诸如照明强度值、快门定时、相位测量。在使用相位调制飞行时间相机的示例中，可以针对飞行时间传感器的单个帧感测多个原始图像，多个调制频率中的每个调制频率一个原始图像。在使用门控飞行时间相机的示例中，可以针对飞行时间传感器的单个帧感测多个原始图像，多个原始图像中的每个用于多个曝光时间中的一个。在一些示例中，来自飞行时间传感器的原始图像是在飞行时间相机的主动照明关闭的期间捕获光的环境图像。来自追踪器112的参数值114被输入到下游系统116，诸如自然用户界面120、游戏系统118、增强现实系统122或姿势识别系统124。这些仅是示例，可以使用其他下游系统116。在图1的示例中，参数值114是姿势和/或形状参数。然而，可以使用其他类型的参数。追踪器112可以与飞行时间相机100整体或部分地集成。追踪器112可以是诸如PC、智能电话、平板计算机或膝上型计算机等终端用户计算设备的一部分。在一些示例中，追踪器112中的部分或全部位于云中，并且可由诸如终端用户计算设备等的终端用户设备访问。在图1所示的示例中，为了清楚起见，追踪器112被示出为在飞行时间相机100外部。然而，追踪器112可以与飞行时间相机整体或部分地整合。这将在下面参考图6进行说明。在其他示例中，追踪器112在能够例如使用有线或无线通信链路或以其它方式从飞行时间相机接收数据的计算设备(诸如图8的计算设备)中。在一些示例中，追踪器位于云中的计算设备处。飞行时间相机100可以是相位调制飞行时间相机，或使用快门定时的门控飞行时间相机。其包括光源102和接收器104。也可以使用其他类型的飞行时间相机。在相位调制飞行时间相机的情况下，光源102发射调制光。在示例中，调制光源102可以是发射用调制频率为fmod的信号调制的透射光106的非相干光源。在示例中，来自设备的光可以以高频(例如在MHz范围内)被调制，使得照明量周期性地改变。在示例中，照明的周期性变化可以采用正弦函数的形式。在相位调制飞行时间示例中，调制光源102以多个调制频率(例如三个调制频率)发射光。可以选择光源102，使得发射的光的波长对于特定应用是最合适的波长。在示例中，光源可以是不可见光源，例如，近红外光源。在另一示例中，光源可以是可见光源。在实施例中，光源可以被选择为具有用于其预期的应用的适当波长的光源。在门控(也称为基于脉冲的)飞行时间相机的情况下，光源102发射极短的照明脉冲。例如使用发射皮秒持续时间的光脉冲的强大的激光光源。在门控飞行时间相机的情况下，接收器104包括具有能够分辨光源102的短脉冲的分辨率的高速距离传感器。例如，接收器104具有皮秒分辨率。光源102可以照明在相机的视场内的对象本文档来自技高网...

【技术保护点】
一种追踪实体的参数的方法，包括：从飞行时间相机接收描绘所述实体的原始图像数据；访问所述实体的3D模型，所述3D模型具有模型参数；从具有所述模型参数的规定值的所述3D模型渲染描绘所述实体的原始飞行时间图像数据的模拟；将所模拟的原始图像数据与所接收的原始图像数据的至少部分相比较；基于所述比较来计算所追踪的所述实体的参数的值。

【技术特征摘要】
【国外来华专利技术】2014.10.30 US 14/528,9281.一种追踪实体的参数的方法，包括：从飞行时间相机接收描绘所述实体的原始图像数据；访问所述实体的3D模型，所述3D模型具有模型参数；从具有所述模型参数的规定值的所述3D模型渲染描绘所述实体的原始飞行时间图像数据的模拟；将所模拟的原始图像数据与所接收的原始图像数据的至少部分相比较；基于所述比较来计算所追踪的所述实体的参数的值。2.根据权利要求1所述的方法，其中所追踪的所述实体的参数的所述值被计算而不需要根据所接收的原始图像数据计算深度。3.根据任一前述权利要求所述的方法，包括从仅一个通道接收所述原始图像数据。4.根据权利要求1所述的方法，包括在多个通道上接收所述原始图像数据并且在做出所述比较之前跨通道聚合所述数据。5.根据权利要求1所述的方法，包括在多个通道上接收所述原始图像数据，每个通道具有不同的时间戳，并且针对每个通道独立地执行所述渲染、比较和计算。6.根据任一前述权利要求所述的方法，包括通过根据所述模型参数的所述规定值根据所述3D模型渲染深度图并且使用所述深度图计算所述模拟，来渲染所述模拟。7.根据权利要求6所述的方法，包括以将所述实体的遮挡和/或表面反射率考虑在内的方式来渲染所述深度图。8.根据权利要求6所述的方法，其中使用所述深度图来计算所述模拟包括向所述飞行时间相机的相机响应函数输入所述深度图，所述相机响应函数描述当将光反射到所述相机中的表面的深度变化时所述相机的传感器的行为。9.根据权利要求6所述的方法，包括以将所述相...

【专利技术属性】
技术研发人员：A·W·菲兹吉邦，P·科利，R·S·B·诺沃津，T·夏普，J·D·J·肖顿，J·J·泰勒，S·伊扎迪，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US