具有详细褶皱的面部网格变形制造技术

本发明专利技术公开了方法和系统，该方法和系统描述了提供具有详细褶皱的面部网格变形。本发明专利技术提供了基于面部扫描的中性网格连同该中性网格上的初始控制点位置和对应于非中性面部表情的用户定义的控制点位置。基于该初始控制点位置和该用户定义的控制点位置的径向基函数(RBF)内插来生成RBF变形网格。然后由一个或多个级联回归量网络生成预测褶皱变形数据。最后，提供具有基于该预测褶皱变形数据的褶皱的最终变形网格。最终变形网格。最终变形网格。

【技术实现步骤摘要】
【国外来华专利技术】具有详细褶皱的面部网格变形
[0001]说明书


[0002]本专利技术整体涉及计算机图形，并且更具体地讲，涉及用于提供具有详细褶皱的面部网格变形的方法和装置。

技术介绍

[0003]在计算机图形和计算机动画的领域内，迅速发展的感兴趣领域是创建逼真的、栩栩如生的数字角色、数字演员和真实人类的数字表示(在下文中统称为“数字角色”或“数字人类”)。此类角色在电影和视频游戏行业等中是高需求的。近年来，这种兴趣有所增加，因为技术已经允许以更少的时间、精力和处理成本在更大的范围内产生此类数字角色。
[0004]虽然此类经验已经建立多年并且对于消费者是可能的，但在将这些成本降低到可通过来自雕刻艺术家的最小量的手动努力来大规模产生数字角色方面仍存在挑战。典型方法是对人进行数百次扫描，并且然后可根据那些扫描得到具有针对每次扫描的面部网格的网格拓扑。每个面部网格通常要求艺术家团队雕刻网格以校正面部网格上的错放、不存在或不必要的控制点所导致的许多错误和不准确性。然后，面部网格可在根据需要添加纹理和特征(例如，皮肤、嘴唇、毛发)之后适于在游戏和电影中使用。
[0005]然而，这种方法的问题在于它非常耗时。即使扫描部分相对便宜，但通常需要若干数字艺术家清理扫描数据，因为它通常填充有遗留到所产生的网格的不准确性和伪影。此外，不断增加的需求是，不将仅一个数字人类作为最终结果，而是潜在地做出针对数十或数百个潜在数字人类的模板。使用现有方法，难以跨不同角色保持类似的质量、表情和手势。
[0006]用于将不同角色标准化的常用方式是面部动作编码系统(FACS)，其允许固定面部表情和面部的基本移动。然而，关于FACS，在跨所有角色将表情和面部标准化时创建了可能很大的管理任务。人类面部的变化量导致难以区分下层骨结构中的解剖特征。关于FACS，目标是仅描述人的生理移动而不是独特的骨和组织结构(即，独特面部标识)，以便使得独特面部能够全部具有相同表情。然而，对于面部的每个面部表情，不仅存在肌肉收缩，还有面部肌肉在面部的下层骨结构上方滑动的特定方式。基于FACS标准化的不准确性形式所处于的一个主要领域是基于改变的面部表情来捕获褶皱和皮肤皱褶在面部上出现的方式。因此，要求数字艺术家使这些生理移动适应移动基于骨结构所表现的独特方式，从而包括不同面部跨标准化面部表情的详细褶皱和皮肤皱褶。
[0007]因此，在计算机图形领域中需要创建用于提供具有详细褶皱和皮肤皱褶的逼真变形面部网格的新的且有用的系统和方法。如本专利技术人所发现的问题的来源是缺乏用于以详细方式捕获面部表情的变形的准确自动化方法。

技术实现思路

[0008]一个实施方案涉及提供具有详细褶皱的面部网格变形。系统接收基于面部扫描的
中性网格以及中性网格上的初始控制点位置。系统还接收对应于非中性面部表情的多个用户定义的控制点位置。系统首先基于初始控制点位置和用户定义的控制点位置的径向基函数(RBF)内插来生成RBF变形网格。然后，系统基于RBF变形网格和用户定义的控制点来生成预测褶皱变形数据，其中预测褶皱变形数据由一个或多个级联回归量网络生成。最后，系统提供具有基于预测褶皱变形数据的褶皱的最终变形网格以用于在客户端设备上显示在用户界面内。
[0009]另一个实施方案涉及计算表示初始控制点位置与中性网格中的所有其他顶点之间的测地距离的高斯核的扩散流，并且然后基于所计算的扩散流来确定初始控制点位置和用户定义的控制点位置的RBF内插。
[0010]另一个实施方案涉及将多个示例性RBF变形网格中的每一者分割成多个独特面部区域，并且然后对于示例性RBF变形网格的每个独特面部区域训练级联回归量网络。然后使用这些经训练的回归量网络以基于RBF变形网格和用户定义的控制点来生成预测褶皱变形数据。
[0011]另一个实施方案涉及使用位移回归量作为一个或多个级联回归量网络中的每一者的一部分来预测初始顶点位移数据。然后，系统提供具有基于所预测的初始顶点位移数据的褶皱的预览变形网格以用于在客户端设备上显示在用户界面内。然后，系统使用变形梯度回归量作为一个或多个级联回归量网络中的每一者的一部分来预测变形梯度张量。
[0012]这些实施方案的特征和部件将在以下描述中进一步详细地描述。附加的特征和优点也将在以下描述中阐述，并且部分将从描述中隐含，或者可通过实施方案的实践来学习。
附图说明
[0013]图1A是示出一些实施方案可在其中操作的示例性环境的图。
[0014]图1B是示出可执行指令以执行本文的方法中的一些方法的示例性计算机系统的图。
[0015]图2A是示出可在一些实施方案中执行的示例性方法的流程图。
[0016]图2B是示出可根据一些实施方案执行的附加步骤的流程图。
[0017]图2C是示出可根据一些实施方案执行的附加步骤的流程图。
[0018]图2D是示出可根据一些实施方案执行的附加步骤的流程图。
[0019]图3A是示出根据本文的系统和方法中的一些系统和方法的用于训练级联回归量网络的过程的一个示例性实施方案的图。
[0020]图3B是示出根据本文的系统和方法中的一些系统和方法的用于提供具有详细褶皱的面部变形的过程的一个示例性实施方案的图。
[0021]图3C是示出根据本文的系统和方法中的一些系统和方法的用于为网格雕刻艺术家提供视觉反馈引导的过程的一个示例性实施方案的图。
[0022]图4A是示出根据本文的系统和方法中的一些系统和方法的具有初始控制点位置的中性网格的一个示例的图像。
[0023]图4B是示出根据本文的系统和方法中的一些系统和方法的具有半径指示标志的中性网格的一个示例的图像。
[0024]图4C是示出根据本文的系统和方法中的一些系统和方法的用于基于径向基函数
(RBF)内插来生成RBF变形网格的过程的一个示例的图像。
[0025]图4D是示出根据本文的系统和方法中的一些系统和方法的用于基于RBF内插来生成RBF变形网格的过程的附加示例的图像。
[0026]图4E是示出根据本文的系统和方法中的一些系统和方法的计算的扩散流的一个示例的图像。
[0027]图4F是示出根据本文的系统和方法中的一些系统和方法的用于提供样条内插的过程的一个示例的图像。
[0028]图4G是示出根据本文的系统和方法中的一些系统和方法的用于提供样条内插的过程的附加示例的图像。
[0029]图4H是示出根据本文的系统和方法中的一些系统和方法的用于提供视觉反馈引导的过程的一个示例的图像。
[0030]图4I是示出根据本文的系统和方法中的一些系统和方法的用于提供分割掩模的过程的一个示例的图像。
[0031]图4J是示出根据本文的系统和方法中的一些系统和方法的用于提供分割掩模的过程的附加示例的图像。
[0032]图5是示出可在一些实施方案中执行处理的示例性计算机的图。
具体实施方式
[0033]在本说明书中，详细地参本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于提供具有详细褶皱的面部网格变形的方法，所述方法由计算机系统执行，所述方法包括：接收中性网格和所述中性网格上的多个初始控制点位置，其中所述中性网格基于面部的三维扫描图像；接收对应于非中性面部表情的多个用户定义的控制点位置；基于所述初始控制点位置和所述用户定义的控制点位置的径向基函数(RBF)内插来生成RBF变形网格；基于所述RBF变形网格和所述用户定义的控制点来生成预测褶皱变形数据，其中所述预测褶皱变形数据由一个或多个级联回归量网络生成；以及提供包括基于所述预测褶皱变形数据的褶皱的最终变形网格以用于在客户端设备上显示在用户界面内。2.根据权利要求1所述的方法，其中所述RBF内插对应于表示所述初始控制点位置与所述中性网格中的所有其他顶点之间的测地距离的高斯核的计算的扩散流。3.根据权利要求1所述的方法，其中所述RBF变形网格进一步基于所述初始控制点位置和所述用户定义的控制点位置的样条内插，所述样条内插在所述RBF内插之前执行。4.根据权利要求1所述的方法，其中对于多个训练示例训练所述一个或多个级联回归量网络，其中所述训练示例中的每一者包括示例性RBF变形网格。5.根据权利要求4所述的方法，其中所述训练示例中的每一者还包括分割掩模，所述分割掩模通过将所述示例性RBF变形网格分割成多个独特面部区域来生成，并且其中对于每个独特面部区域训练级联回归量网络。6.根据权利要求1所述的方法，其中所述一个或多个级联回归量网络包括位移回归量，所述位移回归量被配置为预测初始顶点位移数据。7.根据权利要求6所述的方法，还包括：提供包括基于所预测的初始顶点位移数据的褶皱的预览变形网格以用于在所述客户端设备上显示在所述用户界面内，其中在所述位移回归量预测所述初始顶点位移数据后，提供所述预览变形网格以用于实时地或基本上实时地显示。8.根据权利要求1所述的方法，还包括：计算围绕所述用户定义的控制点位置的局部变形梯度张量；以及将所述局部变形梯度张量转换为李张量，其中所述一个或多个级联回归量网络包括变形梯度回归量，所述变形梯度回归量被配置为基于所述李张量来预测变形梯度张量。9.根据权利要求8所述的方法，还包括：将所预测的变形梯度张量转换成所述RBF变形网格的顶点坐标。10.根据权利要求1所述的方法，还包括：将所述初始控制点位置映射到根据多个先前RBF变形网格定义的超空间上；计算所映射的初始控制点位置与所述用户定义的控制点位置之间的距离；以及提供所述距离和所映射的初始控制点位置作为视觉反馈引导以用于在所述客户端设备上显示在所述用户界面内。11.根据权利要求1所述的方法，还包括：
基于附加面部的三维扫描图像将所述褶皱变形数据映射到一个或多个附加网格上。12.根据权利要求1所述的...

【专利技术属性】
技术研发人员：C，
申请(专利权)人：索美智能有限公司，
类型：发明
国别省市：