对身体和道具的检测制造技术

本发明专利技术公开了对身体和道具的检测。描述了一种用于检测和跟踪包括身体部位和道具的目标的系统和方法。在一方面，所公开的技术获得一个或多个深度图像，生成与一个或多个身体部位和一个或多个道具相关联的一个或多个分类图，使用骨架跟踪系统来跟踪一个或多个身体部位，使用道具跟踪系统来跟踪一个或多个道具，以及报告与一个或多个身体部位和一个或多个道具有关的度量。在某些实施例中，反馈可在骨架跟踪系统和道具跟踪系统之间发生。

【技术实现步骤摘要】

本专利技术涉及计算机应用，尤其涉及目标检测技术。优先权要求本专利技术要求2009年5月20日提交的题为“Human Body Pose Estimation (人类身体姿态估计)”、申请号为12/454，628的美国专利申请的优先权，该美国专利申请要求2009 年5月I日提交的题为“Human Body Pose Estimation(人类身体姿态估计)”、申请号为 61/174，878的临时专利申请的优先权。上述申请中的每一个的全部内容通过引用结合于此。
技术介绍
在典型的计算环境中，诸如多媒体应用或计算机游戏等计算应用的用户使用输入设备来控制计算应用的各方面。用于控制计算应用的常见输入设备包括控制器、键盘、操纵杆、遥控器、鼠标等。近来，计算游戏应用已开始使用相机和姿势识别软件来提供自然用户界面。使用自然用户界面，用户的身体部位和移动可被检测、解释、和用于控制计算应用的游戏角色或其他方面。
技术实现思路
描述了用于检测、分析和跟踪包括身体部位和道具的目标的技术。在一个实施例中，自然用户界面系统包括目标检测和跟踪系统。在一个实施例中，该目标检测和跟踪系统包括目标建议系统和目标跟踪系统。目标建议系统标识特定视野内的一个或多个候选身体部位以及一个或多个候选道具位置。在一个示例中，目标建议系统向特定深度图像中的一个或多个像素分配属于一个或多个候选身体部位和/或道具的概率。由于目标建议系统可产生许多假肯定，因此目标跟踪系统被用于协调一个或多个候选身体部位和/或道具、并正确地输出标识出的身体部位和/或道具。在一个实施例中，所公开的技术获得一个或多个深度图像，生成与一个或多个身体部位和一个或多个道具相关联的一个或多个分类图，使用骨架跟踪系统来跟踪一个或多个身体部位，使用道具跟踪系统来跟踪一个或多个道具，以及报告与一个或多个身体部位和一个或多个道具有关的度量。在某些实施例中，反馈可在骨架跟踪系统和道具跟踪系统之间发生。在某些实施例中，持有一个或多个道具(例如，诸如塑料玩具剑或吉他之类的游戏道具)的一个或多个游戏玩家的物理移动被跟踪并被解释为调节和/或控制电子游戏的各部分的实时用户控制。例如，持有真实的网球拍或相似的物理对象的游戏玩家在玩虚拟网球游戏时，可在游戏空间中实时地控制虚拟球拍。提供本
技术实现思路
以便以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。本
技术实现思路
并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。附图说明图IA和IB描绘跟踪用户的目标检测和跟踪系统的一个实施例。图IC描绘跟踪用户的目标检测和跟踪系统的一个实施例。图2描绘目标检测和跟踪系统的一个实施例。图3示出深度图像的一个示例实施例。图4示出根据本专利技术各实施例的计算环境的一个示例。图5示出根据本专利技术各实施例的计算环境的一个示例。图6A是描述用于检测和跟踪一个或多个目标的过程的一个实施例的流程图。图6B是描述用于生成一个或多个分类图的过程的一个实施例的流程图。图6C是描述用于生成一个或多个分类图的过程的一个实施例的流程图。图7描绘原始图像和对应的被分割的图像。图8描绘已经用3-D模型改型的三个训练图像。图9A-9C描绘深度图像和对应的被分割的图像。具体实施例方式描述了用于检测、分析和跟踪包括身体部位和道具的目标的技术。在一个实施例中，自然用户界面系统包括目标检测和跟踪系统。在一个实施例中，该目标检测和跟踪系统包括目标建议系统和目标跟踪系统。目标建议系统标识特定视野内的一个或多个候选身体部位以及一个或多个候选道具位置。在一个示例中，目标建议系统向特定深度图像中的一个或多个像素分配属于一个或多个候选身体部位和/或道具的概率。由于目标建议系统可产生许多假肯定，因此目标跟踪系统被用于协调一个或多个候选身体部位和/或道具、并正确地输出标识出的身体部位和/或道具。图IA和IB通过用户18在玩拳击游戏来描绘目标检测和跟踪系统10的一个实施例。目标检测和跟踪系统10可用于检测、识别、分析、和/或跟踪人类目标(诸如用户18) 和/或非人类目标(诸如用户18拿着的道具(未示出))。如图IA所示，目标检测和跟踪系统10可包括计算环境12。计算环境12可包括计算机、游戏系统或控制台等等。在一个实施例中，计算环境12可包括硬件组件和/或软件组件，使得计算环境12可用于执行操作系统和诸如游戏应用、非游戏应用等的应用。在一个实施例中，计算系统12可包括可执行存储在处理器可读存储设备上的用于执行此处描述的过程的指令的处理器，如标准化处理器、专用处理器、微处理器等。如图IA所示，目标检测和跟踪系统10还可包括捕捉设备20。在一个实施例中，捕捉设备20可包括可用于在视觉上监视包括诸如用户18等一个或多个用户的一个或多个目标。由一个或多个用户执行的姿势(包括姿态)可被捕捉、分析、和跟踪，以便执行对操作系统或应用的用户界面的一个或多个控制或动作。用户可通过移动他或她的身体来创建姿势。姿势可包括用户的运动或姿态，其可被捕捉为图像数据并解析其意义。姿势可以是动态的，包括运动，如模仿投球。姿势可以是静态姿势，诸如保持其前臂交叉。姿势也可结合道具，如挥动仿制的剑。在一个实施例中，捕捉设备20可捕捉与一个或多个用户和/或对象有关的图像和5音频数据。例如，捕捉设备20可用于捕捉与一个或多个用户的部分或全部身体移动、姿势和语音有关的信息。由捕捉设备20捕捉的信息可通过计算环境12和/或捕捉设备20内的处理元件来接收，并用于对游戏或其他应用的各方面进行呈现、交互和控制。在一个示例中，捕捉设备20捕捉与特定用户有关的图像和音频数据，并且计算环境12处理所捕捉的信息以便通过执行面部和语音识别软件来标识该特定用户。在一个实施例中，目标检测和跟踪系统10可被连接到可向诸如用户18等用户提供游戏或应用视觉和/或音频的视听设备16，如电视机、监视器、高清电视机(HDTV)等。例如，计算环境12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从计算环境12接收视听信号，然后可向用户18输出与视听信号相关联的游戏或应用视觉和/或音频。在一个实施例中，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。如图IA和IB所示，在计算环境12上执行的应用可以是用户18可能正在玩的拳击游戏。计算环境12可使用视听设备16来向用户18提供拳击对手22的视觉表示。计算环境12还可使用视听设备16来提供用户18可通过他的或她的移动来控制的玩家化身24 的视觉表示。例如，如图IB所示，用户18可在物理空间中挥重拳来使得玩家化身24在游戏空间中挥重拳。在一个实施例中，目标检测和跟踪系统10的计算机环境12和捕捉设备 20可用于识别和分析用户18在物理空间中的重拳，从而使得该重拳可被解释为对游戏空间中的玩家化身24的游戏控制。在一个实施例中，用户移动可被解释为可对应于除控制玩家化身24之外的动作的控制。例如，用户18可以使用移动来结束游戏、暂停游戏、保存游戏、选择级别、查看高分、与朋友交流等。在另一实施例中，目标检测和跟踪系统10将目标的移动解释为游戏领域本文档来自技高网...

【技术保护点】

【技术特征摘要】
...

【专利技术属性】
技术研发人员：S·伊扎迪，J·肖顿，J·温，A·克里米尼斯，O·希尔戈斯，M·科克，D·莫利纽克斯，
申请(专利权)人：微软公司，
类型：发明
国别省市：