用于生成包括至少一个变形区域的3D人脸的方法和装置制造方法及图纸

公开了一种用于生成包括至少一个变形区域的3D人脸的方法和装置。从第一3D人脸的至少一个区域获得曲率夸张人脸，并且针对所述第一3D人脸的所述至少一个区域获得比例夸张变形。组合用于获得所述3D人脸的所述至少一个变形区域的曲率夸张人脸和比例夸张变形。区域的曲率夸张人脸和比例夸张变形。区域的曲率夸张人脸和比例夸张变形。

【技术实现步骤摘要】
【国外来华专利技术】用于生成包括至少一个变形区域的3D人脸的方法和装置


[0001]本专利技术实施方案整体涉及一种用于生成3D扫描人脸的漫画的方法和装置。

技术介绍

[0002]数字人是娱乐数字世界的元素。得益于便携式装置或移动设备，可以获取人脸以制作数字字符。可以使用3D漫画化来风格化适合特定场景、游戏或应用的此类3D人脸。漫画可以被定义为以夸张、简化或抽象的方式表示人脸的艺术形式。漫画化强调使一个人与众不同的特征，并且从而创建容易识别的视觉相似性。人脸的大小、形状、比例各不相同，有些具有明显的皱纹，有些具有特殊的表情。根据艺术家的风格和选择，存在许多对人脸进行漫画化的方式。漫画化可以被分成几个独立的部分，例如夸张头部的形状、表情、强调面部线条或抽象发型。漫画主要用于表达针对政治和社会问题的讽刺和幽默，但它们也在许多多媒体应用中流行，诸如娱乐、广告、电子游戏、虚拟和增强现实(例如，任天堂“mii”化身)。
[0003]作为一种简化和抽象的过程，漫画可以成为避免恐怖谷(Uncanny Valley)的解决方案，恐怖谷是一种假说，其假设我们对虚拟角色的移情反应随着其人类相似性的增加而增加，但当人类相似性接近完美时，怪异感就会出现。这种不希望的效果出现在多个领域中，诸如机器人和虚拟角色。
[0004]用于计算机辅助漫画生成的现有方法表现出一些局限，诸如缺乏对该方法的控制和用户交互。因此，需要改进现有技术。

技术实现思路

[0005]根据一实施方案，提供了一种用于生成包括至少一个变形区域的3D人脸的方法。该方法包括从第一3D人脸的至少一个区域获得曲率夸张人脸，针对所述第一3D人脸的所述至少一个区域获得比例夸张变形，以及组合所述曲率夸张人脸和所述比例夸张变形以获得所述3D人脸的所述至少一个变形区域。
[0006]根据另一实施方案，提供了一种用于生成包括至少一个变形区域的3D人脸的装置，其中该装置包括用于从第一3D人脸的至少一个区域获得曲率夸张人脸的装置、用于针对所述第一3D人脸的所述至少一个区域获得比例夸张变形的装置、用于组合所述曲率夸张人脸和所述比例夸张变形以获得所述3D人脸的所述至少一个变形区域的装置。
[0007]根据另一实施方案，提供了一种用于生成包括至少一个变形区域的3D人脸的系统，该系统包括根据下文呈现的实施方案中的任何一个实施方案的用于生成3D人脸的装置、3D人脸的第一数据集、以及3D变形人脸的第二数据集。
[0008]一个或多个实施方案还提供了一种计算机程序，该计算机程序包括指令，该指令在由一个或多个处理器执行时使该一个或多个处理器执行根据上述任一实施方案的用于生成包括至少一个变形区域的3D人脸的方法。本专利技术实施方案中的一个或多个实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质在其上存储有指令，该指令用于根据上述方法生成包括至少一个变形区域的3D人脸。
附图说明
[0009]图1示出了根据一实施方案的用于生成包括至少一个变形区域的3D人脸的示例性装置的框图。
[0010]图2示出了根据一实施方案的用于生成包括至少一个变形区域的3D人脸的示例性系统。
[0011]图3A示出了根据一实施方案的用于生成包括至少一个变形区域的3D人脸的示例性方法的框图。
[0012]图3B示出了根据另一实施方案的用于生成包括至少一个变形区域的3D人脸的示例性方法的框图。
[0013]图4示出了根据一实施方案的用于获得投影表示空间的示例性方法的框图。
[0014]图5示出了根据一实施方案的用于获得曲率夸张人脸的示例性方法的框图。
[0015]图6示出了重建的曲率夸张人脸的结果。
[0016]图7示出了根据一实施方案的用于获得相对变形集合的示例性方法的框图。
[0017]图8示出了根据一实施方案的用于获得比例夸张变形的示例性方法的框图。
[0018]图9示出了根据不同实施方案的比例夸张变形的结果。
[0019]图10示出了标准EDFM技术与根据一实施方案的用于生成变形人脸的方法之间的比较，
[0020]图11示出了根据一实施方案的人脸分割的示例。
[0021]图12示出了根据一实施方案的区域扩展的示例。
[0022]图13示出了由Blender基金会设计的角色文森特。
[0023]图14示出了角色文森特的对应面部掩码。
[0024]图15示出了根据一实施方案的转移到参考模型的人脸的计算梯度。
[0025]图16示出了根据一实施方案的计算机程序的图形用户界面的一部分的示例，该计算机程序实现用于生成3D人脸的方法。
[0026]图17示出了图16中示出的图形用户界面的另一部分的示例。
具体实施方式
[0027]用于漫画生成的基于计算机的方法可以分为四类：基于规则的方法、几何处理方法、有监督数据驱动方法和无监督数据驱动方法。
[0028]基于规则的方法遵循漫画的规则来生成具有强调特征的变形人脸。常见规则是“夸张与均值的差异”(EDFM)，其在于强调使一个人与众不同(即，不同于平均人脸)的特征。基于规则的方法可以从输入照片或3D模型生成漫画，但是无法再现艺术风格。不同的漫画家会从同一个人身上画出不同的漫画。为了避免这个问题，这些方法通常在相对较低的水平上提供用户交互，这需要用户的艺术知识/技能。因此，利用此类方法，没有艺术技能的用户不能获得满意的漫画。
[0029]Brennan(S.E.Brennan,“Caricature generator:The dynamic exaggeration of faces by computer”,Leonardo,vol.18,pp.170
‑
178,1985)公开了一种基于规则的方法的示例，该方法提出了在二维上实现EDFM。EDFM代表“夸张与均值的差异”，其在于强调使一个人与众不同(即，不同于平均人脸)的特征。作者建立了交互式系统，其中用户可以选择与平
均特征点匹配的面部特征点，然后夸张它们之间的差距。在另一个示例中，Blanz和Vetter(V.Blanz and T.Vetter,“A morphable model for the synthesis of 3d faces”,1999)让主成分分析模型学习了超过200个3D纹理人脸。他们的系统允许通过在几何形状和纹理方面增加到统计均值的距离来生成漫画。
[0030]几何处理方法依赖于几何形状的固有或提取特征。他们将漫画的概念推广到人脸领域之外，并且他们可以在没有任何参考模型的情况下对2D或3D形状进行漫画化。由于他们没有考虑任何统计信息，也没有考虑艺术风格的概念，因此他们试图将低级几何信息链接到高级漫画概念，例如最显著的区域应当被更夸张的事实。结果，几何处理方法无法以与基于规则的方法相同的方式生成不同的艺术风格。
[0031]Sela等人(M.Sela,Y.Aflalo,and R.Kimmel,“Comp本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于生成包括至少一个变形区域的3D人脸的方法，所述方法包括：
‑
从第一3D人脸的至少一个区域获得曲率夸张人脸，
‑
针对所述第一3D人脸的所述至少一个区域获得比例夸张变形，
‑
组合所述曲率夸张人脸和所述比例夸张变形以获得所述3D人脸的所述至少一个变形区域。2.一种用于生成包括至少一个变形区域的3D人脸的装置，所述装置包括：
‑
用于从第一3D人脸的至少一个区域获得曲率夸张人脸的装置，
‑
用于针对所述第一3D人脸的所述至少一个区域获得比例夸张变形的装置，
‑
用于组合所述曲率夸张人脸和所述比例夸张变形以获得所述3D人脸的所述至少一个变形区域的装置。3.根据权利要求1所述的方法，所述方法进一步包括，或者根据权利要求2所述的装置，所述装置进一步包括用于以下操作的装置：获得设置至少一个加权因子的至少一个用户输入，所述至少一个加权因子用于对所述曲率夸张或所述比例夸张变形中的至少一者进行加权。4.根据权利要求1或3所述的方法或根据权利要求2或3所述的装置，其中获得比例夸张变形基于从3D变形人脸的数据集获得的相对变形集合。5.根据权利要求4所述的方法或装置，其中获得比例夸张变形包括：
‑
从所述第一3D人脸的所述至少一个区域获得第一相对变形，
‑
基于所述第一相对变形从所述相对变形集合获得至少一个最近相对变形，
‑
从所述至少一个最近相对变形确定所述比例夸张变形。6.根据权利要求5所述的方法或装置，其中所述比例夸张变形是基于所述至少一个最近相对变形到所述第一相对变形的距离的来自所述至少一个最近相对变形的加权平均变形。7.根据权利要求1
‑
6中任一项所述的方法或根据权利要求1
‑
6中任一项所述的装置，其中所述第一3D人脸的所述至少一个区域对应于所述第一3D人脸。8.根据权利要求1...

【专利技术属性】
技术研发人员：F，
申请(专利权)人：交互数字CE专利控股有限公司，
类型：发明
国别省市：