计算可改变实体的姿势和/或形状制造技术

公开了计算可改变实体的姿势和/或形状。在各种实施例中，将实体（例如人手、握着高尔夫球杆的高尔夫运动员、动物、身体器官）的模型拟合到用于图示特定姿势和形状的实体的示例的图像。在示例中，优化过程得到姿势和/或形状参数的值，其在应用于模型时很好地解释图像数据。在示例中，优化过程受图像元素与从回归引擎获得的模型点之间的对应性影响，其中回归引擎可为随机决策森林。例如，随机决策森林可获取图像的元素，并且计算这些图像元素与模型点之间的候选对应性。在示例中，模型、姿势和对应性可用于各种应用的控制，包括计算机游戏、医疗系统、增强现实。

【技术实现步骤摘要】

本专利技术涉及用于计算铰接式或可改变实体的姿势和/或形状的计算机实现的方法和设备。
技术介绍
可改变实体，例如具有关节的实体或可部分或整体地发生变形的实体能够以许多不同的配置和形状存在。例如，诸如人体、动物、有关节的机器人、植物的铰接式实体、或这样的实体的铰接式或可变形的部分(包括人体器官)能够以不同的形状和不同的姿势存在。例如，人手可伸开、卷曲成拳头或以许多其它不同的姿势握持。人手也可以根据人之间的个体差异以不同的形状存在。用于解释诸如人体、动物或其部分的可改变实体的现有图像处理方法已涉及在给定实体的图像或图像集合的情况下估计关节之间的位置或角度。可使用这样的根据图像序列的估计，来计算或跟踪人体的骨架模型。存在对改进计算的准确度和速度的持续需求，尤其是因为许多实际应用需要实时处理，例如机器人学、计算机游戏、医学图像处理、远程呈现、卫生保健、体育训练等。以下描述的实施例不限于用于解决已知系统的任意或全部缺点的实现方式，其中，该已知系统用于解释对一个或更多个可改变实体进行描述的观测数据。
技术实现思路
下面给出了本公开内容的简化的概述，以向读者提供基本的了解。本
技术实现思路
不是本公开内容的广泛概述，并且本
技术实现思路
不标识关键/重要部件或者界定本说明书的范围。本
技术实现思路
的唯一目的是以简化的形式给出本文中公开的概念的节选，作为稍后给出的更详细描述的序言。描述了计算可改变实体的姿势和/或形状。在各种实施例中，将实体(例如人手、握着高尔夫球杆的高尔夫运动员、动物、身体器官)的模型拟合到描述特定姿势和形状的实体的示例的图像。在示例中，优化过程得到姿势和/或形状参数的值，其在应用于模型时很好地解释图像数据。在示例中，优化过程受图像元素与从回归引擎获得的模型点之间的对应性影响，其中，回归引擎可为随机决策森林。例如，随机决策森林可获取图像的元素，并且计算这些图像元素与模型点之间的候选对应性。在示例中，模型、姿势和对应性可用于各种应用的控制，包括计算机游戏、医疗系统、增强现实、机器人学等。通过参考结合附图考虑的下面的详细描述，附属特征中的许多特征将会变得更好理解，因此附属特征中的许多特征将更容易想到。附图说明通过参照附图阅读的以下详细描述，本说明书将会更好理解，在附图中:图1是对可改变实体进行描述的观测数据和实体的对应模型的示意图2是用于姿势和/或形状计算以及模型拟合的设备的示意图；图3是用于训练回归引擎的系统的示意图；图4是铰接式实体的图像的示意图；图5是基于树的回归引擎的示意图；图6是由模型拟合引擎进行的方法的流程图；图7是训练基于树的回归引擎的方法的流程图；图8是使用经训练的基于树的回归引擎来获得观测数据与模型点之间的初步对应性(tentative correspondence)的方法的流程图；图9是用于控制计算机游戏的基于摄像机的控制系统的示意图；图10是图像捕获装置的示意图；图11图示了例示性的基于计算的装置，其中可实现用于计算姿势和/或形状以及将模型拟合到可改变实体的观测数据的系统的实施例。在附图中，使用相同的附图标记来表示相同的部件。具体实施例方式以下结合附图所提供的详细说明意在作为本示例的说明，而不是意在表示可构建或采用本示例的仅有的形式。说明书阐述了示例的功能和用于构建和操作示例的步骤序列。然而，可通过不同的示例来实现相同或等同的功能和序列。尽管本文中将本示例描述和说明为在计算机游戏系统中实现，但是所描述的系统被提供为示例而不是限制。如本领域技术人员所想到的，本示例适合于用于计算姿势和/或形状以及将模型拟合到可改变实体的观测数据的各种不同类型的系统中的应用。非穷举性的示例的列表为:医疗成像系统；机器人系统；卫星成像系统；增强现实系统；远程呈现；卫生保健；体育训练等。可改变实体可为铰接式实体、或可变形实体、或其组合。铰接式实体为具有关节的任何实体，其中，关节将一个或更多个肢体(limb)、部件或其它组件连接在一起，使得其可相对于彼此移动。可变形实体的示例为身体器官。实体可为任意类型，并且可包括连接在一起的不同类型的实体，例如握着支撑物的人(例如，握着高尔夫球杆的高尔夫运动员)。对于许多应用领域，有用的是，通过对实体的姿势和/或形状无变化的正则模型(表示对象的类的模型)来表示可改变实体；即，例如可使用猫的一个正则模型来表示不同姿势和/或形状的猫的实例。例如，正在睡觉的猫、具有长尾巴的猫、具有短尾巴的猫。以下示例描述:给定可改变实体的观测数据，如何可以以实际时间尺度将该数据准确拟合到正则模型。一般而言，传感和控制应用能够使用这里描述的示例的输出来提高性能。图1是对可改变实体进行描述的观测数据和实体的对应模型的示意图。可改变实体的类的正则参数化模型100存储在存储器中。观测数据是作为该类的成员的实体。在一些示例中，将形状和姿势两者直接参数化在模型中。即，在一些示例中，模型的多个参数指定如何可以潜在地将模型铰接，以及模型的至少一个参数指定模型的形状。在其它示例中，仅将形状或仅将姿势直接参数化在模型中。例如，模型可包括姿势参数而不是形状参数。在这种情况下，可使用实体的多个模型，每个模型具有不同的形状(例如若干个正则身体形状)。可对每个模型执行本文中描述的模型拟合处理以得到良好的拟合。也可以使用实体的多个模型，每个模型具有不同的姿势但是具有相同的形状，其中，模型包括形状参数而不是姿势参数。模型可为二维模型、三维模型或更高维模型，并且模型可包括流形(manifold)，该流形包括位于流形的表面上的点的集合。例如，在人体的情况下，流形可为人体的表面。流形可被表示为镶嵌在表面上的三角形或其它二维形状的网格。在其它示例中，模型为包括3D或更高维的点的体积模型，其中，3D或更高维的点形成所表示的铰接式实体的体积。例如，在人体器官的情况下，模型可为体积模型。人体器官的体积根据对象之间的差异而变形或者由于器官经历老化、手术、疾病或其它变化而随着时间变形，从这个意义上来说，人体器官是可变形的。可改变实体的示例的观测数据104可包括图像数据，图像数据可为二维、三维或更高维的。非穷举性的图像数据的示例的列表为:医学图像、深度图像、彩色图像、卫星图像、或其它类型的图像。观测数据可为二维、三维或更高维的。观测数据104可包括单个图像或图像序列。在一些示例中，观测数据104包括来自立体摄像机或来自不同视点处的多个摄像机的立体图像。在一些示例中，观测数据104包括轮廓图像。轮廓图像是用于标识由成像传感器捕获的深度图像和/或彩色RGB图像的前景区域和背景区域的二维二值图像。在一些示例中，轮廓图像可被认为是变平为固定深度的深度图像。图像不必为规则网格的形式。例如，激光测距扫描仪或卷帘快门摄像机可捕获每次作为一个行扫描的图像返回的图像数据。在示例中，观测数据108包括至少一个人或人的一部分的一个或更多个图像。模型包括手臂水平伸开并且腿分开站立在直立位置的人106的网格模型。通过将观测数据104拟合到模型100，得到了提供与观测数据的很好匹配的模型的姿势和/或形状。术语“姿势”用来表示模型的参数的值，其指定模型的铰接式部分如何相对于彼此进行定向以描述观测数据；以及术语“姿势”还用来表示一个或更多个参数的值，其指定模型的整体取向(平移、旋转和缩放)，使本文档来自技高网...

【技术保护点】
一种计算铰接式或可变形实体的姿势或形状的计算机实现的方法，包括：接收所述实体的至少一个图像（104,108,112,116）；访问铰接式或可变形实体的类的模型（100,106,110,114），其中，所成像的实体是所述类的成员，所述模型包括用于指定所述模型的所述姿势或形状的多个参数；使用所述图像访问所接收到的图像的图像元素与模型点之间的多个候选对应性（214），其中，所述模型点为所述模型上或所述模型中的位置；执行优化过程（602）以得到用于指定与所接收到的图像一致的所述模型的所述姿势或形状的所述参数的值；以及其中，所述优化受所述候选对应性中的至少一些影响。

【技术特征摘要】
2011.11.18 US 13/300,5421.一种计算铰接式或可变形实体的姿势或形状的计算机实现的方法，包括: 接收所述实体的至少一个图像(104，108，112，116)； 访问铰接式或可变形实体的类的模型(100，106，110，114)，其中，所成像的实体是所述类的成员，所述模型包括用于指定所述模型的所述姿势或形状的多个参数； 使用所述图像访问所接收到的图像的图像元素与模型点之间的多个候选对应性(214)，其中，所述模型点为所述模型上或所述模型中的位置； 执行优化过程(602)以得到用于指定与所接收到的图像一致的所述模型的所述姿势或形状的所述参数的值；以及其中，所述优化受所述候选对应性中的至少一些影响。2.按权利要求1所述的方法，包括通过对能量函数进行优化来执行所述优化过程(602)，所述能量函数是关于所述模型与所接收到的图像之间的一致性，其中，所述能量函数包括被布置为有利于图像元素与类似的模型点之间的对应性的项，其中使用所述候选对应性来评估相似性。3.按权利要求1或权利要求2所述的方法，包括从随机决策森林(304)访问所述候选对应性，所述候选决策森林(304)被布置为获取所接收到的图像的图像元素，并且针对每个图像元素，使用与其叶子相关联的信息来计算关于候选对应性的概率分布。4.任一项前述权利要求所述的方法，包括通过迭代地固定和优化用于指定所述模型的所述姿势或形状的所述参数和所述对应性来执行所述优化过程(602)，以及其中，初始对应性是从所述候选对应性中选择的。5.任一项前述权利要求所述的方法，包括接收所述实体在时间上的图像序列；使用所述序列得到至少一个时间上静态的模型参数；以及在所述优化过...

【专利技术属性】
技术研发人员：杰米·肖顿，安德鲁·菲茨吉本，乔纳森·泰勒，马修·库克，
申请(专利权)人：微软公司，
类型：发明
国别省市：