公开了一种捕捉和处理面部运动数据的系统和方法，包括：将多个传感器与演员的面部表面上的目标点相结合；使用布置在头戴式系统上的至少一个运动捕捉相机来逐帧地捕捉布置在演员的面部表面上的多个传感器的图像；在头戴式系统中，对所述多个传感器的逐帧图像执行跟踪功能，以精确地针对各个帧来映射所述多个传感器；以及在头戴式系统中生成表示所述演员的面部表面的建模表面。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术一般地涉及运动捕捉(motion capture)处理，更具体地涉及可 以捕捉和处理面部运动数据的改进型运动捕捉系统和方法。
技术介绍
作为制作动画的方式，运动捕捉系统被用于捕捉实际对象的动作 (movement)，并将其映射成计算机生成的对象。通常在动态影像和视频 游戏的制作中使用这样的系统来创建物体或人的数字表示，该数字表示被 用作创建计算机图形(CG)动画的源数据。在典型的系统中，演员身穿在 各个位置附有标记的衣服(例如，躯体和四肢上附有小型反射标记)，并 且在照射标记的同时数字相机从不同的角度记录演员的动作。系统随后对 图像进行分析以确定各个帧中的在演员衣服上的标记的位置(例如，作为 空间坐标)和方向。通过跟踪标记的位置，系统创建标记随时间的空间表 示，并建立运动中的演员的数字表示。这种运动随后被应用于数字模型，该数字模型随后可以被纹理化并被渲染(render)以制作演员和/或表演的 完整CG表示。特效公司己经在许多受欢迎的电影中使用这种技术来制作 高度逼真的动画。运动捕捉系统相对于传统动画技术(例如，关键帧(keyframing)) 的优点在于实时可视化的能力。制作团队可以实时或接近实时地查看演员 运动的空间表示，从而使得演员可以变更身体表演以捕捉最佳数据。此 外，运动捕捉系统检测身体动作的细微差别，这种细微差别是无法很容易 地使用其它动画技术来再现的，从而生成更精确地反映自然动作的数据。 结果，利用使用运动捕捉系统收集的源素材来制作的动画将呈现大体上更 加逼真的外观。
技术实现思路
本专利技术的实施例提供了用于捕捉和处理面部运动数据并可以更强劲地 跟踪演员的面部特征的运动以创建演员的面部运动和表情的表示的系统和 方法。在一个实施例中， 一种头戴式系统包括至少一个运动捕捉相机，被 配置用于使用布置在演员的面部表面上的多个传感器来从该演员的面部表 面捕捉运动数据；以及与运动捕捉相机相耦合的运动捕捉处理器，该运动 捕捉处理器包括存储单元；图像捕捉模块，被配置用于对运动捕捉相机 进行控制以逐帧地捕捉布置在演员的面部表面上的多个传感器的图像，该 图像捕捉模块接收所述逐帧图像并将其存储在存储单元上；传感器跟踪模 块，被配置用于从存储单元中检索所存储的逐帧图像，对这些图像执行跟 踪功能以精确地针对各个帧来映射所述多个传感器，并且提供来自面部表 面的所述运动数据；以及数字建模模块，被配置用于接收该运动数据以生 成表示演员的面部表面的建模表面。在另一个实施例中， 一种方法包括将多个传感器与演员的面部表面 上的目标点相结合；使用布置在头戴式系统上的至少一个运动捕捉相机来 逐帧地捕捉布置在演员的面部表面上的多个传感器的图像；在头戴式系统 中对所述多个传感器的逐帧图像执行跟踪功能，以精确地针对各个帧来映射所述多个传感器；以及在头戴式系统中生成表示演员的面部表面的建模 表面。在阅读以下详细描述和附图之后，本专利技术的其它特征和优点对于本领 域普通技术人员来说将变得更加清楚。附图说明通过研究附图可以部分理解本专利技术的关于其结构和操作的细节，在附 图中，相似的标号指示相似的部分，并且其中图1A是示出根据本专利技术一个实施例的头戴式系统的示图； 图1B是示出面罩开启时的头戴式系统的示图2A示出了附于面部以使得可以使用运动捕捉相机来捕捉面部表情 的多个标记；图2B示出了形成在面部上的以使得可以使用运动捕捉相机来捕捉面 部表情的水平和垂直线或曲线的栅格；图3是根据一个实施例的头戴式系统的运动捕捉处理器和相机的框 图；以及图4是示出根据一个实施例用于捕捉演员的面部特征以创建演员的面 部运动和表情的表示的方法的流程图。具体实施例方式如以下将进一步描述的，本专利技术的实施例满足了运动捕捉系统的以下 需要使得可以更加强劲地捕捉和跟踪演员的面部特征的表面和运动以创 建演员面部运动和表情(例如，大笑、哭泣、微笑等)的表示。在阅读本 说明书之后，本领域技术人员将很清楚如何在各个实施例和应用中实现本 专利技术。但是，虽然本专利技术的各个实施例将在这里得到描述，但是应当理 解，这些实施例仅仅是以示例的方式而非限制方式来呈现的。因此，各个 实施例的详细说明不应当被解释为限制本专利技术的范围或广度，本专利技术的范 围或广度将在所附权利要求中被阐明。在一个实施例中，面部运动捕捉系统被配置成头戴式系统，用以跟踪面部表面上的点并数字化整个表面。系统随后返回经动画化的演员面部的网格(mesh)。因此，在本实施例中，头戴式系统被设置到物理上附接于演员头部或身体的头盔或其它器具中，从而均一地照射面部标记并最小化 相机和面部之间的相对移动程度。在其它实施例中，面板运动捕捉系统被 配置成将头戴式系统和置于身体上和/或与身体分离的其它运动捕捉相机集成在一起。图1A是示出根据本专利技术一个实施例的头戴式系统的示图。在所示出 的实施例中，头戴式系统被配置成头盔100，头盔100包括麦克风110、 诸如风扇112、 114之类的散热单元、以及运动捕捉相机120、 122、 124， 其中，麦克风110被配置用于记录来自演员的音频，散热单元被配置用于 使用空气或液体来为演员散热，并且在麦克风被开启时散热单元可以被关 闭。在一个实施例中，头盔100由被设计为很轻便的碳纤维材料制成。头 盔100从随带电源(未示出)抽运功率。此外，头盔100将所捕捉的数据 记录到头盔100上的或者由演员佩戴的记录器140上。记录在记录器140 上的数据可以无线下载到远程存储设备。但是，记录在记录器140上的数 据也可以以有线方式下载到远程存储设备。头盔100上的处理器142接收 数据分组(例如，UDP)，该数据分组命令记录器140何时开始记录以及 何时停止记录。处理器142可以获取时间码同步和同步锁相(genlock)信 息，并将它们与用于记录数据或影片的其它外部设备相同步。在替代实施例中，头戴式系统可以被配置成两部分单元，其中， 一个 部分是附接于演员头部的颅顶盖，而另一部分是沿着颌骨底部并在演员的 下颚前方突出的碳纤维U型片。相机可以安装在系统的^页骨'片上。在 其它实施例中，头戴式系统可以被配置成喉部振动麦克风型的索具 (rig)、头盔垫衬型的头部索具、封闭式的面部相机头盔、或者安装在胸 部的索具。头盔100内部的运动捕捉相机120、 122、 124可以跟踪演员面部的特 征。运动捕捉相机120、 122、 124还可以跟踪表面，使用灰阶成像来执行 z深度(z-depth)计算，并执行2D向3D的三角剖分。在图示出的实施例中，在头盔100中配置了三到六个不同的运动捕捉相机。但是，在其它实 施例中，可以在头盔100中配置任何数目的运动捕捉相机。例如， 一个相 机可以被配置用于捕捉眼睛运动，并且三个相机可以被配置用于捕捉面部 特征的运动。这些运动捕捉相机中的全部或一些可以被配置成小型且轻便的高分辨率CMOS或CCD相机。在一些实例中，这些相机可以具有场分割器(field splitter)，场分割 器是被配置为棱镜的相机透镜。 一种场分割器(例如，在2005年8月26 曰提交的申请号为No. 60/711,908、标题为"Using Field Splitters in Motion Capture"的美国临时本文档来自技高网...
【技术保护点】
一种系统，包括： 至少一个运动捕捉相机，被配置用于使用布置在演员的面部表面上的多个传感器来从所述演员的面部表面捕捉运动数据；以及 与所述至少一个运动捕捉相机相耦合的运动捕捉处理器，所述运动捕捉处理器包括： 存储单元； 图像捕捉模块，被配置用于控制所述至少一个运动捕捉相机，以逐帧地捕捉布置在所述演员的面部表面上的所述多个传感器的图像，所述图像捕捉模块接收所述逐帧图像并将其存储在所述存储单元上； 传感器跟踪模块，被配置用于从所述存储单元检索所存储的逐帧图像，对所述图像执行跟踪功能以精确地针对各个帧来映射所述多个传感器，并且提供来自所述面部表面的所述运动数据；以及 数字建模模块，被配置用于接收所述运动数据以生成表示所述演员的面部表面的建模表面。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：德曼乔丹，雷明顿斯科特，保劳格哈瓦尔达尔，丹尼斯J小豪克，
申请(专利权)人：索尼株式会社，索尼电影娱乐公司，
类型：发明
国别省市：JP[日本]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。