基于模型的多假设目标追踪器制造技术

本公开描述一种目标追踪器，其评估由深度相机所获取的一个或多个目标（诸如身体部分、身体和/或对象）的数据的帧。之前帧中的（多个）目标的关节的位置以及来自当前帧的数据被用于确定当前帧中的（多个）目标的关节的位置。为了执行该任务，追踪器提出若干假设并且然后评估数据以验证相应假设。最佳适配由深度相机生成的数据的假设被选择，并且相应地映射（多个）目标的关节。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】基于模型的多假设目标追踪器
技术介绍
在很大程度上，人类与诸如计算机、平板和移动电话之类的电子设备的交互要求 物理地操纵控件、按压按钮或触摸屏幕。例如，用户经由诸如键盘和鼠标之类的输入设备与 计算机交互。尽管键盘和鼠标对于诸如录入文本和滚动文档之类的功能是有效的，但是它 们对于用户可能与电子设备交互的许多其它方式并不是有效的。握持鼠标的用户的手被约 束到仅沿着平坦的二维（2D)表面移动，并且利用鼠标通过三维虚拟空间的导航是笨拙且非 直观的。类似地，触摸屏的平坦接口不允许用户传达任何深度概念。这些设备将整个范围 的可能手部和手指移动约束到合乎技术约束的二维移动的有限子集。 与电子设备交互的更自然且直观的方式是通过在用户与设备之间的空间中自由 地移动手部和手指。为了实现这种交互，必要的是实时鲁棒地且精确地追踪用户手部及其 手指的关节联接的配置。【附图说明】 图1是图示了在其中定位两个相机以观看区域的示例环境的图。 图2是图示了在其中使用多个相机以捕获用户交互的示例环境的图。 图3是图示了在其中使用多个相机以捕获多个用户进行的交互的示例环境的图。 图4是图示了通过追踪用户手部和/或手指控制远程设备的示意图。 图5是图示了其中用户可以使用手部姿势与机动车控制台交互的示例环境的图。 图6A-6F示出了可以被追踪的手部姿势的示例的图形图示。图6A示出了手指展开 的朝上敞开的手部；图6B示出了食指平行于拇指向外指向并且其它手指被拉向手掌的手 部；图6C示出了拇指和中指形成圆、其它手指向外伸展的手部；图6D示出了拇指和食指形 成圆且其它手指向外伸展的手部；图6E示出了手指触摸且向上指向的敞开手部；并且图6F 示出了食指和中指展开并向上指向，无名指和小拇指朝向手掌弯曲并且拇指触摸无名指。 图7A-7D示出了可以被追踪的手部姿势的示例的附加图形图示。图7A示出了动 态波状姿势；图7B示出了松散闭合的手部姿势；图7C示出了拇指和食指触摸的手部姿势； 并且图7D示出了动态挥击姿势。 图8是手部追踪系统的示例组件以及各组件之中的信息流的框图。 图9示出了所获取的深度图以及从深度图分割出的手部的示例。 图10是图示了示例分割过程的流程图。 图11示出了结皮手部骨骼模型的示例。 图12是图示了骨骼模型的示例校准过程的流程图。 图13示出了具有可见阴影效果的深度图像的示例。 图14是图不了不例追踪过程的流程图。 图15是图示了示例轮廓匹配过程的流程图。 图16示出了用于追踪器模块的示例性架构。 图17是示出了根据本公开的实施例的可以用于实现追踪技术的处理系统的架构 的示例的框图。【具体实施方式】 描述了用于实时追踪用户手部和手指的系统和方法。方法处理由深度相机获取并 以高交互帧速率捕获的深度数据，并且实现专用算法，其针对数据的每一个帧计算手部配 置和手指关节联接("手部姿态")。一旦计算了用户手部的移动和配置，它们就可以用于控 制设备，要么是通过将用户移动的位置映射到显示屏，要么是通过将移动解释为由用户执 行的具体姿势。具体地，用户手部和手指可以以一些表示可视化在屏幕上，诸如鼠标光标， 并且用户手部和手指的这种表示可以被操纵以与同样显示在屏幕上的其它可视对象交互。 美国专利申请号 13/676,017，"SystemandMethodforUserInteractionandControl ofElectronicDevices" 以及美国专利申请号 13/532,609，"SystemandMethodfor Close-RangeMovementTracking"描述了这样的交互，并且特此以其整体将其并入。 现在将描述本专利技术的各个方面和示例。以下描述提供用于透彻理解和实现这些示 例的描述的具体细节。然而，本领域技术人员将理解到，本专利技术可以在没有这些细节中的许 多的情况下实践。附加地，可能没有详细描述或示出一些众所周知的结构或功能，以免不必 要地模糊相关描述。 在以下所呈现的描述中使用的术语旨在以其最宽的合理方式进行解释，尽管其是 与技术的某些具体示例的详细描述结合使用的。某些术语甚至可以在下文强调；然而，旨在 以任何受约束的方式解释的任何术语将公开地且具体地如该详细描述部分中这样进行限 定。 深度相机以每秒多个帧捕获深度图像一一一般是连续深度图像的序列。每一个 深度图像包含每像素深度数据，也就是说，图像中的每一个像素具有表示所成像的场景中 的对象的对应区域与相机之间的距离的值。深度相机有时被称为三维（3D)相机。深度 相机可以包含深度图像传感器、光学透镜和光照源、以及其它组件。深度图像传感器可以 依赖于若干不同传感器技术中的一个。在这些传感器技术中有称为"T0F"的飞行时间 (time-of-flight)(包括扫描T0F或阵列T0F)、结构化光、激光闪烁图案技术、立体相机、主 动式立体相机、来自聚焦技术的深度、以及来自阴影技术的深度。这些技术中的大多数在它 们供应其自身的光照源的方面而言依赖于主动式传感器。相比而言，诸如立体相机之类的 被动式传感器技术不供应其自身的光照源，而是相反取决于周围环境照明。除深度数据之 外，相机还可以以与常规彩色相机所用相同的方式生成颜色数据，并且颜色数据可以与深 度数据相组合以用于处理。 由深度相机生成的数据具有由常规二维2D相机所生成的若干优势。具体地，深度 数据大大简化从前景中的对象分割出背景的问题，对于照明状况中的改变一般是鲁棒的， 并且可以有效地用于解释遮蔽。使用深度相机，可能实时标识和追踪用户手部及其手指二 者。 2012 年 4 月 6 日提交的标题为"SystemandMethodforEnhanced0bject Tracking"的美国专利申请号13/441，271描述了一种使用来自飞行时间（T0F)相机的深度 数据和幅度数据的组合标识并追踪用户的（多个）身体部分的方法，并且特此以其整体将其 并入本公开中。 出于本公开的目的，术语"姿势识别"是指用于标识由用户执行的具体移动或姿态 配置的方法。例如，姿势识别可以是指标识手部在具体方向上以特定速度的挥击、手指在触 摸屏上追踪具体形状、或者手部的挥动。姿势识别通过首先追踪深度数据并且标识例如用 户手部和手指的特征(诸如关节)，并且然后随后分析该追踪数据以标识由用户执行的姿势 来完成。 在本公开中描述的方法计算用户手部的关节的3D位置和旋转。该数据随后可以 由姿势识别组件处理，该组件决定用户是否已经执行具体姿势。不管是通过所追踪的关节 位置还是具体姿势的检测，对用户手部配置的知识可以用于激励自然、直观的用户交互范 例。 例如，用户的自然、不受约束的手部和手指移动可以用于控制虚拟环境。这样的用 户交互机制相比诸如鼠标和键盘和触摸屏之类的电子设备的用户交互和控制的标准方法 而言存在若干优势。首先，用户不必延伸他的手臂以触摸屏幕，这可能引起疲劳并且还阻挡 他对屏幕的观看。其次，3D空间中的移动提供更多自由度。再次，取决于相机的视场，相比 仅仅屏幕本身，用户可以具有在其中四周移动的更大交互区域。 例如，用户可以朝向监视显示器的中心挥击他的手部以带出菜单。随后，他可以使 用手指选择菜单上的项目并且利用他的手指挥击以启本文档来自技高网...

【技术保护点】
一种用于追踪深度图像的序列中的目标的方法，该方法包括：利用深度传感器获取深度图像的序列；针对深度图像的序列的所选深度图像中的目标配置制定多个假设，其中多个假设中的每一个包括深度图像的序列中的之前深度图像中的已知目标配置与所选深度图像中的目标配置之间的对应点的集合；使用目标骨骼模型来合成多个假设中的每一个的所选深度图像中的目标配置的深度图；通过比较相应合成深度图与所选深度图像来测试每一个假设以标识最紧密地适配所选深度图像中的目标配置的最佳假设。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：S弗雷斯曼，Y里夫恩伊，G克里梅，G库特里罗夫，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US