基于关节跳过的姿势检测制造技术

本发明专利技术公开了基于关节跳过的姿势检测方法和装置。公开了用于通过标识由非相邻关节形成的向量并标识该向量与基准点形成的角来检测或确认用户执行的姿势的系统。由此，该系统跳过端部关节和较靠近用户的身体核心的邻近关节之间的一个或多个中间关节。跳过一个或多个中间关节导致对用户执行的位置或移动的更可靠指示，且因此导致对给定姿势的更可靠指示。

Postural detection based on joint skipping

The present invention discloses a posture detection method and device based on joint skipping. A system for detecting or confirming a gesture executed by a user by identifying a vector formed by a non contiguous joint and identifying the angle formed by the vector with the reference point is disclosed. As a result, the system skips one or more intermediate joints between the proximal joint and the adjacent joint closer to the user's body core. Skipping one or more intermediate joints leads to a more reliable indication of the position or movement of the user, and thus leads to more reliable instructions for a given position.

【技术实现步骤摘要】

本专利技术涉及运动捕捉系统，尤其涉及运动捕捉系统中的姿势检测。
技术介绍
在过去，诸如计算机游戏和多媒体应用等计算应用程序使用控制命令来允许用户 操纵游戏人物或应用的其他方面。通常，此类控制命令使用例如控制器、遥控器、键盘、鼠标 等来输入。近来，计算机游戏和多媒体应用已开始使用照相机和软件姿势识别引擎来提供 人机接口(“HCI”)。使用HCI，检测、解释用户姿势并将其用于控制游戏人物或应用的其他 方面。在常规的游戏和多媒体应用中，通常使用用户的身体位置来测量用户是否执行了 给定姿势。具体地，HCI系统可以测量穿过一对相邻关节的向量相对于诸如水平等基准平 面形成的角度。该角度自身或与其他姿态或运动信息一起用于标识用户执行了的姿势。由 此，作为一示例，HCI系统可测量用户的前臂(如腕和肘的位置所指示的)与水平基准平面 形成的角度来标识用户是否执行了给定姿势。这一传统的姿势检测方法的问题是在两个相邻的端部关节之间形成的角度遭受 大量的抖动和噪声。由此，使用相邻关节有时候可能对于姿势检测是不可靠的。
技术实现思路
本专利技术的技术一般涉及通过标识非相邻关节形成的向量并标识这些向量与基准 点、面或线形成的角度来检测或确认姿势。由此，本专利技术的技术的各实施例跳过了端部关节 和较靠近用户的身体核心的邻近关节之间的一个或多个中间关节。跳过一个或多个中间关 节导致对用户执行的位置或移动的更可靠指示，并且因此导致对给定姿势的更可靠指示。 该姿势检测方法可代替传统的端部关节姿势检测来使用，或作为对传统的端部关节姿势检 测的确认来使用。在一个实施例中，提供了用于检测用户在真实世界空间中执行的姿势的本系统。 该系统包括用于捕捉视野和计算环境内的用户的深度图像的捕捉设备。该计算环境从捕捉 设备接收深度图像，并确定用户的多个关节的位置。多个关节包括端部关节、该端部关节附 近的至少一个中间关节、以及该至少一个中间关节附近的核心身体关节。该系统还包括用 于生成非相邻关节位置向量的、捕捉设备中的处理器或处理器。非相邻关节位置向量具有 位于端部关节处以及来自中间关节和核心身体关节之一的、与端部关节不相邻的关节处的 端点。非相邻关节位置向量用于确定用户是否执行了预定义姿势。附图说明图IA和IB示出了伴随用户玩游戏的目标识别、分析和跟踪系统的示例实施例。图2示出了可在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。图3A示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的示例实施例。图;3B示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算 环境的另一示例实施例。图4示出了从图2的目标识别、分析和跟踪系统生成的用户的骨架映射。图5示出了执行姿势的用户以及对相邻关节位置向量的测量。图6示出了根据本专利技术的技术的一个实施例的执行姿势的用户以及对非相邻和 相邻关节位置向量的测量。图7示出了根据本专利技术的技术的一个替换实施例的执行姿势的用户以及对非相 邻和相邻关节位置向量的测量。图8示出了根据本专利技术的技术的另一替换实施例的执行姿势的用户以及对非相 邻和相邻关节位置向量的测量。图9示出了根据本专利技术的技术的另一替换实施例的执行姿势的用户以及对非相 邻和相邻关节位置向量的测量。图10是示出根据本专利技术的技术的一个实施例的对非相邻关节位置向量的测量的 流程图。图11是示出根据本专利技术的技术的一个替换实施例的对非相邻关节位置向量的测 量的流程图。图12是示出用于确定姿态信息是否匹配存储的姿势的姿势识别引擎的框图。图13是示出姿势识别引擎的操作的流程图。具体实施例方式现在将参考图1-13来描述本专利技术的技术的各实施例，本专利技术的技术一般涉及用 于从姿态信息中标识姿势的系统，姿态信息包括使用穿过一对彼此不相邻的关节的向量获 得的关节位置向量。在各实施例中，该系统可测量基准点、面或线与一对非相邻关节之间形 成的角。例如，该系统可使用诸如踝等端部关节，以及诸如髋等较靠近身体核心的邻近关 节。该系统跳过邻近关节和端部关节之间的一个或多个中间关节。使用邻近关节并跳过一 个或多个中间关节导致对用户执行的姿态或移动的更可靠指示，并且因此导致对给定姿势 的更可靠指示。该姿势检测方法可代替传统的相邻关节姿势检测来使用，或作为对传统的 相邻关节姿势检测的确认来使用。最初参考图1A-2，用于实现本专利技术的技术的硬件包括目标识别、分析和跟踪系统 10，该系统可用于识别、分析和/或跟踪诸如用户18等的人类目标。目标识别、分析和跟踪 系统10的各实施例包括用于执行游戏或其他应用的计算环境12，以及用于从游戏或其他 应用提供音频和视觉表示的视听设备16。系统10还包括用于捕捉用户执行的位置和移动 的捕捉设备20，计算环境接收、解释并使用这些位置和移动来控制游戏或其他应用。这些组 件中的每一个都会在以下详细描述。如图IA和IB所示，在一示例实施例中，在计算环境12上执行的应用可以是用户 18可能正在玩的拳击游戏。例如，计算环境12可使用视听设备16来向用户18提供拳击对 手19的视觉表示。计算环境12还可使用视听设备16来提供用户18可通过他的或她的移 动来控制的玩家化身21的视觉表示。例如，如图IB所示，用户18可在物理空间中挥重拳来使得玩家化身21在游戏空间中挥重拳。因此，根据一示例实施例，目标识别、分析和跟踪 系统10的计算环境12和捕捉设备20可用于识别和分析用户18在物理空间中的重拳，从 而使得该重拳可被解释为对游戏空间中的玩家化身21的游戏控制。用户18的其他移动也可被解释为其他控制命令或动作，诸如上下快速摆动、闪 避、滑步、格挡、用拳猛击或挥动各种不同力度的重拳等控制。在各示例实施方式中，诸如用 户18等的人类目标可持有一物体。在这些实施方式中，电子游戏的用户可手持该物体，以 使得玩家和物体的运动可被用来调整和/或控制游戏的参数。例如，可以跟踪并利用手持 球拍的玩家的运动来控制电子运动游戏中的屏上球拍。在另一示例实施方式中，可以跟踪 并利用手持物体的玩家的运动来控制电子格斗游戏中的屏上武器。图2示出可在目标识别、分析和跟踪系统10中使用的捕捉设备20的示例实施例。 关于与本专利技术的技术一起使用的捕捉设备的进一步细节在题为“Device For Identifying And Tracking Multiple Humans Over Time”(用于随时间标识和跟踪多个人的设备)的 共同待审的专利申请第12/475，308号中有阐述，该申请通过整体引用结合于此。然而，在 一示例实施例中，捕捉设备20可被配置成经由任何合适的技术——包括例如飞行时间、结 构化光、立体图像等——捕捉带有深度图像的视频，该深度图像可包括深度值。根据一实施 例，捕捉设备20可将所计算的深度信息组织为“Z层”，即可与从深度照相机沿其视线延伸 的Z轴垂直的层。如图2所示，捕捉设备20可包括图像相机组件22。根据一示例实施例，图像相机 组件22可以是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维 (2-D)像素区域，其中2-D像素区域中的每一像素可表示来自相机的所捕捉的场景中的对 象的长度，该长度可采用例如厘米、毫米等单位。如图2所示，根据一示例实施例，图像相机组件2本文档来自技高网...

【技术保护点】
１．一种在包括计算环境（１２）的系统（１０）中的方法，所述计算环境耦合到用于捕捉用户位置的捕捉设备（２０），所述方法生成用于确定用户是否执行了给定姿势的姿态信息，所述方法包括：（ａ）经由所述捕捉设备（２０）检测所述用户位置的第一骨架关节（３０２ａ－３２２）的位置；（ｂ）经由所述捕捉设备（２０）检测所述用户位置的第二骨架关节（３０２ａ－３２２）的位置，所述第二骨架关节不是与所述第一骨架关节（３０２ａ－３２２）相邻的关节；以及（ｃ）生成所述姿态信息，包括相对于所述第二骨架关节（３０２ａ－３２２）的位置的、所述第一骨架关节（３０２ａ－３２２）的位置，以便用于确定用户是否执行了给定姿势。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：P·托塞尔，A·威尔逊，
申请(专利权)人：微软公司，
类型：发明
国别省市：US