全自动动态关节连接的模型校准制造技术

深度传感器获取用户身体的诸如手之类的关节连接的部位的图像。提供了关节连接的身体部位的预定义模型。该模型被匹配到从深度传感器获取的对应深度像素，以提供初始匹配。初始匹配随后使用距离约束、冲突约束、角度约束以及使用光栅化模型的像素比较来细化。距离约束包括对手的关节连接的部位的距离的约束。在该模型满足指定条件时，诸如在该模型的至少两个相邻手指指节被确定为位于指定相对位置（例如平行）时，可以实施冲突约束。光栅化模型包括模型的被比较以标识重叠像素的深度像素。该模型的关节连接的部位的维度被个别地调整。

【技术实现步骤摘要】
【国外来华专利技术】全自动动态关节连接的模型校准背景成像系统获得关于关节连接的对象(诸如人)或其他物体在物理空间中的位置、姿态和/或移动的数据，并且可使用该数据作为计算系统中的某一应用的输入。可以有许多应用，例如用于军事、娱乐、体育和医学目的。例如，对象的姿态和/或运动可用于控制动画人物或化身、参与游戏、从命令的屏幕上菜单中作出选择等等。姿态可表示对象在某一时间点(诸如一深度像素帧)的构造或形状，而对象的运动可由诸如在多个深度像素帧中的姿态序列来表示。成像系统可包括使用相机来在视野中检测对象的存在的光学系统。然而，以更高的保真度来对对象进行成像需要进一步细化。具体而言，希望以高度的保真度来对诸如手之类的关节连接(articulated)的身体部位进行成像。概述提供了用于以改进的保真度来对诸如用户的手之类的关节连接的身体部位进行成像的处理器实现的方法、成像系统和有形计算机可读存储设备。例如，用户可以作出手势来导航菜单、在浏览或购物体验中交互、选择要玩的游戏、或访问通信特征，如向朋友发送消息。用户可使用手来控制光标以从屏幕上菜单选择项目，或者控制化身在3D虚拟世界中的移动。一般来说，手位置和姿态可被检测并用作对成像系统中的应用的控制输入。为提升成像系统准确地标识关节连接的身体部位的能力，提供了关节连接的身体部位的模型。该模型被匹配到从深度传感器获取的对应深度像素，以提供初始匹配。该匹配过程随后使用距离约束、冲突约束、角度约束以及使用光栅化模型的像素比较来细化。在一个实施例中，提供了其上包含计算机可读软件的计算机可读存储设备，该计算机可读软件用于对至少一个处理器进行编程以执行一种用于对对象(诸如用户/人、动物、机器人等)的关节连接的身体部位的姿态进行建模的方法。该方法包括获取关节连接的身体部位的深度像素。深度像素可使用深度传感器例如在一个或多个帧中获取。深度像素是传感器数据。该方法还包括处理该一个或多个帧的深度像素以标识关节连接的身体部位。该方法还包括访问模型，其中该模型包括与该对象的关节连接的身体部位相对应的关节连接的身体部位。该模型的关节连接的身体部位被匹配到所标识的该对象的关节连接的身体部位，以提供初始匹配。在一种可能的方式中，此匹配过程将该模型的每一关节连接的身体部位的代表性吸引点匹配到一个或多个帧中的深度像素的相应质心。该方法还包括估计该模型的关节连接的身体部位在初始匹配中违反距离约束的程度，其中这些距离约束包括对该模型的关节连接的身体部位之间的距离的约束。该模型被调整以试图满足距离约束，包括基于距离约束被违反的程度来调整该模型的关节连接的身体部位中的至少一个的长度。作为一个示例，可以增大或减小关节连接的身体部位的长度。在该模型满足指定条件时，诸如在该模型的至少两个相邻手指指节(segment)被确定为位于指定相对位置(例如，彼此平行)时，可以实施冲突约束。该模型可被调整以诸如通过减小该模型的至少两个相邻手指指节的宽度来试图满足冲突约束。像素比较可涉及将手的关节连接的部位中的至少一个的深度像素与一个或多个帧中的深度像素进行比较，以标识一个或多个帧中的非重叠深度像素以及手的关节连接的部位中的至少一个的非重叠深度像素。该模型可基于比较步骤来调整，以便诸如通过减小和/或增加该模型的关节连接的身体部位中的至少一个的维度，使得该模型更紧密地匹配一个或多个帧中的深度像素。提供本概述以便以简化形式介绍将在以下的【具体实施方式】中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。附图简述在附图中，相同编号的元件彼此对应。图1描绘了成像系统的示例实施例。图2描绘了图1的成像系统的示例框图。图3描绘了可以在图1的成像系统中使用的计算环境的示例框图。图4描绘了可以在图1的成像系统中使用的计算环境的另一个示例框图。图5描绘了包括关节和吸引点的用户的手的模型。图6描绘了用于以改进的保真度在成像系统中检测关节连接的身体部位的姿态的方法。图7A描绘了图6的步骤700、720和750的进一步细节。图7B描绘了图6的步骤760的进一步细节。图8A描绘了深度像素(包括用户的手的深度像素)的帧。图8B描绘了图8A的用户的手的深度像素，而背景像素被移除。图9A描绘了来自图7A的样例步骤712、针对图8B的用户的手的深度像素的远端手指指节以及远端拇指指节的概率值。图9B描绘了在图7A步骤721中针对图8B的用户的手的深度像素的中间手指指节以及近端拇指指节所生成的质心。图9C描绘了在图7A步骤721中针对图SB的用户的手的深度像素的近端手指指节所生成的质心。图9D描绘了在图7A步骤721中针对图8B的用户的手的深度像素的手掌所生成的质心。图9E描绘了在图7A步骤721中针对图8B的用户的手的深度像素的手腕所生成的质心。图10描绘了在图7A步骤721中从用户的手的测试数据所生成的质心。图11描绘了图7A中针对质心到吸引点匹配的步骤734的细节。图12A描绘了图7A中针对吸引点到质心的刚性变换的步骤736的细节。图12B描绘了图7A中用于将吸引点移向更接近质心的步骤752的细节。图12C描绘了图7B中用于使模型光栅化以提供该模型的深度像素的步骤764的细节。图12D描绘了图7B中用于针对拇指区域，将模型的深度像素与传感器的深度像素进行比较的步骤766-772的细节。图12E描绘了图7B的步骤778的细节，其与图12D相一致地示出了根据基于像素的调整向量对该模型的关节的调整。图12F描绘了图12E中使用的基于像素的调整向量。图12G描绘了图7B中的步骤792的细节，其与图12E相一致地示出了对模型的更新。图13A描绘了图7B中用于将模型的深度像素与传感器的深度像素进行比较的步骤768、770和772的进一步细节，其中比较平面横穿深度传感器的深度轴。图13B描绘了图13A的比较平面1310的进一步细节。图14描绘了用于以改进的保真度在成像系统中使用距离约束、冲突约束以及像素比较来检测关节连接的身体部位的姿态的方法。图15描绘了供与图14的方法一起使用的用户的手的深度像素的示例。图16A1描绘了将图5的模型匹配到图15的深度像素，其中距离约束不被施加，并且该模型比所期望的小。图16A2是图16A1的替代，其中描绘了父和子关节。图16B1描绘了图16A1的图像中针对食指的细节。图16B2是图16B1的替代，其中描绘了父和子关节。图16C描绘了在施加距离约束之后对图16B1的模型的调整。图16D描绘了光栅化之后图16C的模型，以及与深度传感器的深度像素的比较。图16E描绘了基于像素比较来对图16D的模型进行的调整。图17A描绘了将图5的模型匹配到图15的深度像素的另一示例，其中距离约束不被施加，并且该模型比所期望的大。图17B是图17A的替代，其中描绘了父和子关节。图18A描绘了图5的模型中的两个相邻手指示出冲突。图18B描绘了施加冲突约束之后图18A的这两个相邻手指。详细描述此处所提供的技术提供了通过概率信息和约束以高度自由度来实时地估计关节连接的对象的状态(姿态和/或形状)，以生成可作为各种人机交互任务的输入源来消费的提议。关节连接的对象可以是具有大部分有六个自由度的许多关节的已知3D本文档来自技高网...

【技术保护点】
一种其上包含计算机可读软件的计算机可读存储设备，所述计算机可读软件用于对至少一个处理器编程以执行一种用于对对象的关节连接的身体部位的姿态进行建模的方法，所述方法包括：在一个或多个帧中获取关节连接的身体部位的深度像素；处理所述一个或多个帧的深度像素，以标识所述对象的关节连接的身体部位；访问模型，所述模型包括与所述对象的关节连接的身体部位相对应的关节连接的身体部位；将所述模型的关节连接的身体部位匹配到所标识的所述对象的关节连接的身体部位，以提供初始匹配；估计所述模型的关节连接的身体部位在初始匹配中违反距离约束的程度，所述距离约束包括对所述模型的关节连接的身体部位之间的距离的约束；以及调整所述模型以试图满足所述距离约束，包括基于所述距离约束被违反的程度来调整所述模型的关节连接的身体部位中的至少一个的长度。

【技术特征摘要】
【国外来华专利技术】2011.06.22 AU 2011203028;2011.06.29 US 13/172,2551.一种其上包含计算机可读软件的计算机可读存储设备，所述计算机可读软件用于对至少一个处理器编程以执行一种用于对对象的关节连接的身体部位的姿态进行建模的方法，所述方法包括: 在一个或多个帧中获取关节连接的身体部位的深度像素； 处理所述一个或多个帧的深度像素，以标识所述对象的关节连接的身体部位； 访问模型，所述模型包括与所述对象的关节连接的身体部位相对应的关节连接的身体部位； 将所述模型的关节连接的身体部位匹配到所标识的所述对象的关节连接的身体部位，以提供初始匹配； 估计所述模型的关节连接的身体部位在初始匹配中违反距离约束的程度，所述距离约束包括对所述模型的关节连接的身体部位之间的距离的约束；以及 调整所述模型以试图满足所述距离约束，包括基于所述距离约束被违反的程度来调整所述模型的关节连接的身体部位中的至少一个的长度。2.如权利要求1所述的计算机可读存储设备，其特征在于: 所述距离约束对所述模型的要被端对端地安排的关节连接的身体部位中的至少两个进行约束； 所述估计包括估计所述模型的关节连接的身体部位中的至少两个按如下各项中的至少一项来安排的程度:比初始匹配中的端对端更远，以及比初始匹配中的端对端更近；以及 调整长度包括以下各项中的至少一项:(i)根据所述模型的关节连接的身体部位中的至少两个被安排得比初始匹配中的端对端更远的程度，加宽所述模型的关节连接的身体部位中的至少两个，以及(ii)根据所述模型的关节连接的身体部位中的至少两个被安排得比初始匹配中的端对端更近的程度，缩短所述模型的关节连接的身体部位中的至少两个；其中: 关节连接的身体部位包括手的手掌和手指，所述手指包括手指指节； 所述模型的关节连接的身体部位中的至少两个包括所述手指中的一个手指的手指指节。3.如权利要求1所述的计算机可读存储设备，其特征在于: 关节连接的身体部位包括手的手掌和手指； 所述距离约束约束所述模型的手指在手掌的预定义关节处从所述模型的手掌延伸；所述估计包括估计所述模型的手指未从手掌的预定义关节延伸的程度；以及调整所述模型包括根据所述模型的手指未从手掌的预定义关节延伸的程度，移动所述模型的手指以从手掌的预定义关节延伸。4.如权利要求1所述的计算机可读存储设备，其特征在于: 关节连接的身体部位包括手的手掌和手指； 对于所述手指中的每一个，个别地执行估计和调整长度。5.如权利要求1所述的计算机可读存储设备，其特征在于: 所述距离约束包括对所述模型的关节连接的身体部位的关节之间的距离的约束。6.如权利要求1所述的计算机可读存储设备，其特征在于，所执行的方法还包括:光栅化所述模型，以提供所述模型的深度像素； 将所述模型的深度像素与所述一个或多个帧的深度像素进行比较，以便从所述一个或多个帧的深度像素中标识所述一个或多个帧的在至少一个比较平面上与所述模型的深度像素不重叠的非重叠深度像素；以及 基于比较步骤，通过调整所述模型的关节连接的身体部位中的至少一个的维度来调整所述模型，以使所述模型更紧密地匹配所述一个或多个帧的非重叠深度像素； 基于所述比较步骤来调整所述模...

【专利技术属性】
技术研发人员：K·D·李，A·巴兰，
申请(专利权)人：微软公司，
类型：
国别省市：