骨架关节识别和跟踪系统技术方案

本发明专利技术公开了用于使用NUI系统来识别和跟踪用户的骨架关节的系统和方法，并且进一步公开了用于只识别和跟踪一些骨架关节（如用户的上半身）的系统和方法。该系统可包括肢体标识引擎，它可使用各种方法来评估、标识并跟踪场景中的一个或多个用户的身体部位的位置。在各示例中，可通过将视野分成各较小的区并且一次集中于一个区来实现进一步的处理效率。此外，每一个区可具有它自己的被识别的预定义姿势。

【技术实现步骤摘要】
【国外来华专利技术】骨架关节识别和跟踪系统
技术介绍
在过去，诸如计算机游戏和多媒体应用之类的计算应用使用控制器、遥控器、键盘、鼠标等来允许用户操纵应用的游戏角色或其他方面。近来，计算机游戏和多媒体应用已开始使用相机和软件姿势识别引擎来提供自然用户界面(“NUI”)。使用NUI，检测、解释原始关节数据和用户姿势并将其用于控制游戏人物或应用的其他方面。NUI应用通常跟踪用户的所有关节的运动以及来自整个视野的背景物体。然而，用户有时只使用他或她身体的一部分来与NUI应用进行交互。例如，用户可坐在椅子上或轮椅上，不使用他或她的腿。在这些情况下，NUI应用仍然跟踪用户的下半身。
技术实现思路
本文公开了用于使用NUI系统来识别和跟踪用户的骨架关节的系统和方法，并且在各实施例中，公开了用于只识别和跟踪一些骨架关节(如用户的上半身)的系统和方法。该系统可包括接收来自图像捕捉设备的视野的帧数据的肢体标识引擎。肢体标识引擎随后可使用各种方法(包括Exemplar和质心生成、磁性以及各种打分测试)来评估、标识以及跟踪场景中的一个或多个用户的头部、肩部、以及其他身体部位的位置。在各实施例中，本专利技术系统包括用于捕捉视野中的一个或多个玩家(本文中也称为用户)的彩色图像和/或深度图像的捕捉设备。给定彩色和/或深度图像或图像序列，其中一个或多个玩家在活动，人类跟踪系统(如本专利技术技术的系统)的共同最终目标是分析这一(些)图像并稳健地确定这些人处于该场景中的何处，包括他们的身体部位的位置。用于解决这一问题的系统可被分解成两个子问题标识多个候选身体部位位置并随后将它们协调成整个或部分骨架。肢体标识引擎的各实施例包括用于标识多个候选的身体部位位置的身体部位建议系统以及用于将这些候选的身体部位协调成整个或部分骨架的骨架解析系统。身体部位建议系统可使用图像并产生该场景各处的一组候选的身体部位位置(其中每一身体部位可能有多个候选)。这些身体部位建议系统可以是无状态或有状态的。无状态系统是在不参考先前状态(先前帧)的情况下产生候选的身体部位位置的系统。有状态系统是在参考先前状态(或先前帧)的情况下产生候选的身体部位位置的系统。无状态身体部位建议系统的示例包括用于标识候选的身体部位的Exemplar加质心。本专利技术技术还公开了本文称为磁性的用于标识候选的身体部位的有状态的系统。身体部位建议系统本来就通常可产生许多假肯定。因此，肢体标识引擎还包括用于协调候选的身体部位并对视野内的假肯定和正确地标识的身体和/或身体部位加以区分的骨架解析系统。骨架解析系统使用来自一个或多个身体部位建议系统的身体部位建议(可能包括多个假肯定)，并将该数据协调成整个稳健的骨架。在一个实施例中，骨架解析系统通过以各种方式连接各身体部位建议以产生大量(部分或整体)骨架假设来工作。为了降低计算复杂度，可首先解析骨架的某些部位(诸如头部和肩部)，之后解析其他部位(诸如手臂)。然后，以各种方式对这些假设打分，且分数和其他信息被用来选择最佳假设并协调玩家实际在哪里。使用许多稳健的成本函数对各假设打分。在成本函数中得分较高的身体部位建议和骨架假设更可能是正确地标识的身体部位。这些成本函数中的一些是高级的，因为它们可在一开始就执行以在高级处移除若干骨架假设。根据本专利技术系统的这样的测试包括给定骨架假设在运动学上是否是有效的(即是否可能)。根据本专利技术系统的其他高级测试包括关节旋转测试，它测试骨架假设中的一个或多个关节的旋转是否超过了预期身体部位的关节旋转限制。其他成本函数较低级，并且跨所有骨架假设在骨架假设内的每一身体部位建议上执行。根据本专利技术系统的一个这样的成本函数是轨迹和突出性测试，它检查一个或多个身体部位建议内的轨迹样本的深度值和一个或多个身体部位建议外部的突出性样本的深度值。具有预期深度值的样本在这一测试下得分较高。根据本专利技术系统的另一成本函数是像素运动检测测试，它测试以确定身体部位(诸如手)是否在动。在假设的关键区域中在X、y和/或z方向上检测到的像素运动可增加该假设的分数。另外，描述了手部改进技术，它结合骨架解析系统产生极其稳健的经改进的手部位置。在本专利技术技术的其他实施例中，可通过将视野分成各较小的区并且一次聚焦于一个区来实现进一步的处理效率。此外，每一个区可具有它自己的被识别的并且各区不同的预定义姿势集合。这避免了在一区内接收并处理相冲突的姿势的可能性，并进一步简化且加快了处理速度。在一个示例中，本专利技术技术涉及一种姿势识别方法，包括以下步骤a)从场景中的用户接收位置信息，该用户具有第一身体部位和第二身体部位；b)识别来自第一身体部位的姿势；c)忽略由第二身体部位执行的姿势；以及d)执行与在所述步骤b)中识别的来自第一身体部位的姿势相关联的动作。在另一示例中，本专利技术技术涉及一种识别并跟踪用户的各身体部位的方法，包括以下步骤a)从场景中的用户接收位置信息；b)从在所述步骤a)中接收到的位置信息中标识用户的第一组关节；c)忽略用户的第二组关节；d)标识第一组关节中的各关节的位置；以及e)基于在所述步骤d)中标识的各关节的位置来执行动作。本专利技术技术的另一示例涉及能够将处理器编程以执行一种方法的计算机可读存储介质，该方法识别并跟踪具有对至少一个不能动的身体部位的至少有限使用的用户的各身体部位。该方法包括下列步骤a)从用户接收至少一个不动的身体部位的身份的指示；b)标识用户的第一组关节，这些关节不包括在至少一个不能动的身体部位内；c)标识第一组关节中的各关节的位置；以及d)基于在所述步骤c)中标识的关节的位置来执行动作。提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本
技术实现思路
并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。附图说明图1A示出了目标识别、分析和跟踪系统的示例实施例。图1B示出了目标识别、分析和跟踪系统的另一示例实施例。图1C示出了目标识别、分析和跟踪系统的又一示例实施例。图2示出了可以在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。图3是根据本专利技术技术的各实施例的用于经由自然用户界面来对上半身的关节进行建模和跟踪的系统的高级流程图。图4A和4B是根据本专利技术技术的各实施例的用于经由自然用户界面来对上半身的关节进行建模和跟踪的系统的详细流程图。图5A和5B是根据本专利技术技术的各实施例的、图4A中的步骤308的用于生成头部和肩部三角以供经由自然用户界面来对上半身的关节进行建模和跟踪的流程图。图6是图5的步骤368的、示出用于对图5中生成的头部和肩部三角进行打分的因素的流程图。图7是图4A的步骤312的、示出了用于对图4A、4B中的手位置进行评估的打分因素的流程图。图8是图4A的步骤318的、示出了用于对图4A、4B中的肘位置进行评估的打分因素的流程图。图9是根据本专利技术技术的各实施例的所生成的用户和头部三角的图示。图10是用户和头部及肩部的轨迹及突出性采样点的图示。图11是用户和用户上臂、前臂及手的轨迹及突出性采样点的图示。图12示出根据本专利技术技术而返回的用户的头部、肩部、肘部、腕部、以及手部的骨架关节位置。图13A和13B示出了根据本专利技术技术的各本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.06.29 US 12/825,6571.一种在包括耦合到用于从场景中捕捉位置信息的捕捉设备的计算环境的系统中的、姿势识别的方法，包括 a)从所述场景中的用户接收位置信息，所述用户具有第一身体部位和第二身体部位； b)识别来自所述第一身体部位的姿势； c)忽略由所述第二身体部位执行的姿势；以及 d)执行与在所述步骤b)中识别的来自所述第一身体部位的姿势相关联的动作。2.如权利要求1所述的方法，其特征在于，忽略所述第二身体部位执行的姿势的所述步骤c)包括具有从中接受姿势的身体部位的定义的步骤，所述第二身体部位不被包括在所述定义中。3.如权利要求1所述的方法，其特征在于，忽略所述第二身体部位执行的姿势的所述步骤c)包括不接收来自所述第二身体部位的位置信息的步骤。4.如权利要求1所述的方法，其特征在于，还包括将所述视野分成多个区的步骤，在所述第二身体部位作出的姿势被忽略时所述第二身体部位处于所述多个区中的第一区内，并且所述方法还包括当在所述多个区中的第二区作出来自所述第二身体部位的同一姿势时识别该姿势并对该姿势进行响应的步骤。5.一种在包括耦合到用于从场景中捕捉位置信息的捕捉设备的计算环境的系统中的、识别和跟踪用户的身体部位的方法，包括 a)从接收来自所述场景的位置信息的无状态身体部位建议系统获得身体部位建议； b)从有状态身体部位建议系统获得身体部位建议...

【专利技术属性】
技术研发人员：P·托塞尔，A·威尔逊，A·AA·基普曼，J·C·李，A·巴兰，J·肖顿，R·摩尔，O·威廉姆斯，R·盖斯，M·菲诺齐奥，K·S·佩雷斯，A·科恩布卢姆，J·克拉维，
申请(专利权)人：微软公司，
类型：
国别省市：