用来捕捉面部和身体动作的系统和方法技术方案

一种用来捕捉动作的系统和方法包括适合包含至少一个行动者的动作捕捉容积，该至少一个行动者具有限定多个身体点的身体标志和限定多个面部点的面部标志。多个动作摄像机围绕该动作捕捉容积的外围设置。这些动作摄像机这样设置使得当在动作捕捉容积内运动时行动者的所有横向暴露的表面基本上一直在该多个动作摄像机中的至少一个的视场内。动作捕捉处理器耦接到该多个动作摄像机以产生反映行动者的组合的身体和面部动作的数字模型。至少一个传声器可以被定向成从该动作捕捉容积拾取声音。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及三维图形和动画，并且更具体地说，涉及动作捕捉系 统，该系统在能够包含多个行动者的容积(volume)里面能够同时 捕捉面部和身体动作。
技术介绍
动作捕捉系统被用来捕捉实物的运动并且将它映射到计算机产 生的物体上。在运动画面和视频游戏的制作中经常使用这样的系统 来生成人的数字表示，该人的数字表示被用作产生计算机图形(CG) 动画的源数据。在典型系统中，行动者穿着具有附着在各个位置的 标志(例如具有附着到身体和四肢的反射标志)的衣服，并且数字 摄像机在照亮这些标志的同时从不同的角度记录行动者的运动。然 后该系统分析这些图像以确定在每一帧中行动者的衣服上的标志的 位置(例如按空间坐标)和方向。通过跟踪这些标志的位置，该系 统创建这些标志随时间的空间表示并且建立运动中的行动者的数字 表示。然后，该运动可以应用于数字模型，其然后可以被构造和再 现以制作行动者和/或行为的完整的CG表示。该技术已经被特技效 果公司用来在许多流行电影中制作非常逼真的动画。动作捕捉系统也被用来跟踪行动者的面部特征的动作以产生行 动者的面部动作和表情(例如笑、哭、微笑等)的表示。与身体动 作捕捉一样，标志被附着到行动者的面部上并且摄像机记录行动者 的表情。因为与身体运动所涉及的较大的肌肉相比面部运动涉及相 对小的肌肉，因此面部标志一般比相应的身体标志小得多，并且这 些摄像机一般具有比通常用来捕捉身体运动的摄像机高的分辨率。这些摄像机一般与行动者的身体移动在共同的平面内排成直线，所 述行动者的身体移动被限制以使这些摄像机聚焦在行动者的面部 上。面部动作捕捉系统可以被并入物理地附着到行动者的头盔或其 他工具中以便均匀地照射面部标志并且使摄像机和面部之间的相对运动程度最小化。为此，通常在分开的步骤中捕捉面部动作和身体 动作。然后结合捕捉的面部动作数据和稍后捕捉的身体动作数据作 为随后的动画过程的一部分。动作捕捉系统优于传统的动画技术例如关键帧(keyframing )的 优点是能够实时可视化。制作团队可以实时或接近实时地回顾行动 者的动作的空间表示，使行动者能够改变身体行为以便捕捉最优的 数据。此外，动作捕捉系统检测身体移动的精妙细微的差别，其不 容易利用其他的动画技术来再现，由此产生更精确地反映自然运动 的数据。因此，利用使用动作捕捉系统收集的源材料产生的动画将 呈现更逼真的景象。虽然动作捕捉系统有这些优点，但是分开捕捉面部和身体动作经 常会导致并不真实地逼真的动画。面部动作和身体动作不可避免地 相关联，使得面部表情经常被相应的身体动作增强。例如，行动者 可以利用某种身体动作(即身体语言)来交流感情和强调相应的面 部表情，例如在兴奋地谈话时利用手臂摆动或在生气时卑肩。当分 开地捕捉动作时会失去面部动作和身体动作之间的这种联系，并且 难以使这些分开捕捉的动作吻合在一起。当面部动作和身体动作被 结合时，最后所得的动画经常会看起来明显不正常。因为动作捕捉 的目的是能够形成格外逼真的动画，因此面部和身体动作的分离说 明了常规动作捕捉系统的重大缺陷。常规动作捕捉系统的另一缺点是行动者的动作数据有可能被其 他对象例如道具或其他行动者的干扰所遮蔽。特别地，如果身体或 面部标志的一部分从数字摄像机的视场被遮住，则涉及该身体或面 部部分的数据就不会被收集。这导致动作数据中的遮掩或缺陷。虽 然稍后在后期制作过程中可以利用常规的计算机制图技术填补该遮 掩，但是该填补数据缺少实际动作数据的质量，导致能够被观看的 观众识别的动画缺陷。为避免该问题，常规动作捕捉系统限制一次 能够捕捉的对象的数目例如为单个行动者。这也易于使动作数据看起来不那么逼真，因为行动者的行为质量经常取决于与其他行动者 和对象的相互作用。此外，难以以看起来自然的方式将这些独立的 行为结合在一起。常规的动作捕捉系统的另一缺点是声音不能和动作捕捉同时被 记录。在动画制作中，通常首先记录声道，然后对人物进行动画制 作以与声道相匹配。在面部动作捕捉期间，行动者会与记录的声道 同步地说话。这不可避免地导致动作数据的视觉质量的进一步降 低，因为对于行动者来说难以完美地将面部动作与声道同步。而且， 身体动作经常会影响发表演讲的方式，并且身体和面部动作的分开捕捉增加了与声道同步以产生有内聚性的最终产品的难度。因此，将期望提供一种克服现有技术的这些和其他缺点的动作捕 捉系统。更具体地说，将期望提供一种动作捕捉系统，其能够在能 够包含多个行动者的容积内同时捕捉身体和面部动作。还将期望提 供一种动作捕捉系统，其能够与身体和面部动作捕捉同时地记录声 音。
技术实现思路
根据本专利技术的教导，提供一种动作捕捉系统和方法，其能够在包 含多个行动者的容积内同时捕捉面部和身体动作。该动作捕捉系统 还能够与身体和面部动作捕捉同时地记录声音。更具体地说，用来捕捉动作的系统和方法包括适合包含至少一个行动者的动作捕捉容积(volume)，该至少一个行动者具有限定多 个身体点的身体标志和限定多个面部点的面部标志。该动作捕捉容 积可以具有任何期望的几何形状，例如椭圆形、圆形、矩形、多边 形等。多个动作摄像机围绕该动作捕捉容积的外围设置。这些动作 摄像机这样设置以便当在动作捕捉容积内运动时行动者的所有横向 暴露的表面基本上一直在该多个动作摄像机中的至少一个的视场以 内。动作捕捉处理器耦接到该多个动作摄像机以产生反映行动者的 合成的身体和面部动作的数字模型。至少一个传声器可以被定向以 从该动作捕捉容积中拾取声音。在本专利技术的实施例中，动作捕捉容积进一步包括被细分成多个部 分的矩形区域。该多个动作摄像机进一步包括朝向该多个部分中的相应部分定向的第一子组摄像机。该多个动作摄像机可以进一步包 括朝向该多个部分中的相应部分定向的第二子组摄像机，所述第二 子组摄像机在空间上与所述第一子组摄像机分开。第一子组摄像机 相对于第二子组摄像机被定向以便它们的相应视场基本重叠。第一 和第二子组摄像机均可以进一步包括至少三个摄像机。该多个动作 摄像机可以进一步包括第三子组摄像机，所述第三子组摄像机分别 设置在动作捕捉容积的各角处并且通常朝向动作捕捉容积的中心被 定向。通过考虑以下优选实施例的详细描述，本领域技术人员将更完整 地理解用来捕捉身体和面部动作的系统和方法，以及其另外的优点 和目的的实现。将参考附图页，这些附图首先将被简要地描述。附图说明图1是示出根据本专利技术的实施例的动作捕捉系统的方块图2是具有多个动作捕捉摄像机的动作捕捉容积的顶视图，该多 个动作捕捉摄像机围绕该动作捕捉容积的外围设置；图3是具有多个动作捕捉摄像机的动作捕捉容积的侧视图，该多 个动作捕捉摄像机围绕该动作捕捉容积的外围设置；图4是示出面部动作摄像机相对于动作捕捉容积的象限的示例 性设置的动作捕捉容积的顶视图5是示出面部动作摄像机相对于动作捕捉容积的各角的示例 性设置的动作捕捉容积的顶视图6是示出反映在动作捕捉容积中的两个行动者的动作捕捉数 据的动作捕捉容积的透视图7示出反映在动作捕捉容积中的两个行动者并且显示该数据 的遮掩区的动作捕捉数据；图8示出如图7中的动作捕捉数据，其中该两个行动者中的一个 净皮遮掩区遮蔽；图9是示出在该动作捕捉系统中利用的动作捕捉摄像机的替换 实施例的本文档来自技高网...

【技术保护点】
一种用来捕捉动作的系统，包括：　适合包含至少一个行动者的动作捕捉容积，该至少一个行动者具有限定多个身体点的身体标志和限定多个面部点的面部标志；　围绕所述动作捕捉容积的所述外围设置的多个动作摄像机，所述动作摄像机这样设置使得当在所述动作捕捉容积内运动时所述至少一个行动者的所有横向暴露的表面基本上一直在所述多个面部动作摄像机中的至少一个的视场内；以及　动作捕捉数据处理系统，其耦接到所述多个动作摄像机以产生反映所述至少一个行动者的身体和面部动作的数字表示。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：D戈登，
申请(专利权)人：索尼株式会社，索尼电影娱乐公司，
类型：发明
国别省市：JP[日本]