一种基于自然文本描述的高保真三维人脸模型生成方法技术

本发明专利技术公开一种基于自然文本描述的高保真三维人脸模型生成方法。该方法包括：基于三维人脸数据集，设计人脸描述问卷并手工标注，根据固定句式生成描述语句；将三维人脸模型拓扑一致化，利用主成分分析法建立3DMM模型，利用纹理重映射生成纹理贴图；使用人脸描述的独热编码和CLIP模型编码后的文本嵌入训练文本解析网络，输入文本，输出预测的形状和纹理独热编码；分别训练形状预测网络和纹理生成网络，以生成带纹理的三维人脸模型；优化3DMM系数和纹理贴图来使人脸模型符合抽象描述，并生成最终结果。本发明专利技术通过构建一个大规模文本

【技术实现步骤摘要】
一种基于自然文本描述的高保真三维人脸模型生成方法


[0001]本专利技术属于计算机视觉领域，具体涉及一种基于自然文本描述的高保真三维人脸模型生成方法。

技术介绍

[0002]3D人脸在现实许多领域中都有很高的要求，如数字人、临场感和电影特效等。而创建高保真3D人脸非常复杂，需要经验丰富的建模师花费大量时间。近年来，大批学者致力于文本到图像和图像到3D的合成，但这种模式会造成较大的中间误差，也缺乏在给定抽象描述的情况下合成3D人脸的能力。
[0003]当前，已经有部分学者尝试从文本中恢复出三维形状，但他们无法生成完全符合描述的三维模型。Chen等人(Kevin Chen,Christopher B Choy,Manolis Savva,Angel X Chang,Thomas Funkhouser,and Silvio Savarese.Text2shape:Generating shapes from natural language by learning joint embeddings.In ACCV,pages 100
–
116.Springer,2018.2)提出，通过学习3D形状的语言和物理属性之间的隐式跨模态连接，从自然语言生成彩色3D形状。在进一步的研究中，Liu等人(Zhengzhe Liu,Yi Wang,Xiaojuan Qi,and Chi
‑
Wing Fu.Towards implicit text
‑
guided 3d shape generation.In CVPR,pages 17896
–
17906,2022.2)提出了对文本和形状中学习特征的形状和颜色预测进行解耦，并提出了单词级空间变换器，以将文本中的单词特征与形状中的空间特征相关联。在后续研究中，CLIP(Contrastive Language
‑
Image Pre
‑
training)发挥了重要作用，它是一个大型的预训练视觉语言模型，并且利用提示学习来利用CLIP模型的强大表示力。Jain等人(Ajay Jain,Ben Mildenhall,Jonathan T Barron,Pieter Abbeel,and Ben Poole.Zero
‑
shot text
‑
guided object generation with dream fields.In CVPR,pages 867
–
876,2022.2)提出将神经渲染与多模态图像和文本表示相结合，以从自然语言描述中合成不同的3D对象，Poole等人(Ben Poole,Ajay Jain,Jonathan T Barron,and Ben Mildenhall.Dreamfusion:Text
‑
to
‑
3d using 2ddiffusion.arXivpreprint arXiv:2209.14988,2022.2)进一步利用预训练的2D文本到图像扩散模型和NeRF，以更灵活的合成执行文本到3D的合成。
[0004]上述研究致力于从文本中恢复三维形状而非三维人脸，但目前只有Canfes等人(Zehranaz Canfes,M FurkanAtasoy,Alara Dirik,and Pinar Yanardag.Text and image guided 3d avatar generation andmanipulation.arXiv preprint arXiv:2202.06079,2022.2,7)试图生成3D人脸，但其模型依赖于无约束的初始3D人脸，且仅适用于短语。因此，利用面部先验知识从自然语言文本中实现细粒度和高质量的3D人脸生成仍然是一个亟待解决的问题。

技术实现思路

[0005]为了从文本中直接生成精细的三维人脸模型，本专利技术提供了一种基于自然文本描
述的高保真三维人脸模型生成方法。
[0006]为了实现上述专利技术目的，本专利技术方法采用的技术方案如下：
[0007]一种基于自然文本描述的高保真三维人脸模型生成方法，包括如下步骤：
[0008]S1，获取三维人脸模型数据集，设计人脸面部属性描述问卷并人工标注，同时基于固定句式生成三维人脸模型对应的文本描述句子，生成人脸文本描述数据集；
[0009]S2，基于所述人脸文本描述数据集，利用非刚性迭代最近邻算法将所有三维人脸模型转变为拓扑一致的模型，即具有相同的顶点和面片数量的模型；将纹理重映射，生成对应于拓扑一致模型的纹理贴图；使用主成分分析法降维生成3DMM模型，获得对应的3DMM系数；
[0010]S3，根据步骤S1标注的人脸数据构建独热编码，使用预训练的视觉语言模型生成文本嵌入向量，构建文本解析网络训练数据，训练所述文本解析网络；
[0011]S4，根据步骤S3的独热编码和步骤2得到的3DMM系数、纹理贴图，训练从独热编码到3DMM系数和纹理贴图的网络，训练完成后将所述文本解析网络输出的几何独热编码和纹理独热编码分别输入形状预测网络和纹理生成网络生成对应的3DMM系数和纹理贴图；
[0012]S5，通过所述视觉语言模型的损失函数和L2损失函数优化所述形状预测网络和纹理生成网络输出的形状空间和纹理空间的参数向量，使其能符合抽象文本描述，并生成最终的三维人脸模型。
[0013]进一步地，所述步骤S3中，根据所述人脸面部属性描述问卷构建一个p
×
q维的矩阵，其中p表示p个不同的面部属性，q表示独热编码的维度；利用一个8层多层感知机作为文本解析网络，所述文本解析网络将视觉语言模型的文本嵌入向量作为输入，然后输出预测的独热编码，使用交叉熵损失作为训练的损失函数。
[0014]进一步地，所述步骤S4中，利用一个8层的多层感知机作为形状预测网络，所述形状预测网络将几何独热编码作为输入，然后输出对应的3DMM系数。
[0015]本专利技术构建了一个大规模文本
‑
三维人脸数据集，包含不同对象的多种面部属性和自由描述，并提出了一个可行的从自由文本描述中生成三维人脸模型的方法。本专利技术首次实现了从自然文本描述中生成三维人脸模型，弥补了这方面的研究空白。所提出的方法可广泛应用于数字人、游戏创作、电影特效等领域，具有较高的实用价值和发展前景。
附图说明
[0016]图1为本专利技术方法的流程图。
[0017]图2为本专利技术实施例中人脸标注问卷的示意图。
[0018]图3为本专利技术实施例中特定区域三元组损失的示意图。
[0019]图4为本专利技术实施例中运行阶段的流程图。
[0020]图5为本专利技术实施例中的结果展示图。
具体实施方式
[0021]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自然文本描述的高保真三维人脸模型生成方法，其特征在于，包括如下步骤：S1，获取三维人脸模型数据集，设计人脸面部属性描述问卷并人工标注，同时基于固定句式生成三维人脸模型对应的文本描述句子，生成人脸文本描述数据集；S2，基于所述人脸文本描述数据集，利用非刚性迭代最近邻算法将所有三维人脸模型转变为拓扑一致的模型，即具有相同的顶点和面片数量的模型；将纹理重映射，生成对应于拓扑一致模型的纹理贴图；使用主成分分析法降维生成3DMM模型，获得对应的3DMM系数；S3，根据步骤S1标注的人脸数据构建独热编码，使用预训练的视觉语言模型生成文本嵌入向量，构建文本解析网络训练数据，训练所述文本解析网络；S4，根据步骤S3的独热编码和步骤2得到的3DMM系数、纹理贴图，训练从独热编码到3DMM系数和纹理贴图的网络，训练完成后将所述文本解析网络输出的几何独热编码和纹理独热编码分别输入形状预测网络和纹理生成网络生成对应的3DMM系数和纹理贴图；S5，通过所述视觉语言模型的损失函数和L2损失函数优化所述形状预测网络和纹理生成网络输出的形状空间和纹理空间的参数向量，使其能符合抽象文本描述，并生成最终的三维人脸模型。2.根据权利要求1所述的一种基于自然文本描述的高保真三维人脸模型生成方法，其特征在于，所述步骤S1中，人脸面部属性包括25种。3.根据权利要求1所述的一种基于自然文本描述的高保真三维人脸模型生成方法，其特征在于，所述步骤S3中，根据所述人脸面部属性描述问卷构建一个p
×
q维的矩阵，其中p表示p个不同的面部属性，q表示独热编码的维度；利用一个8层多层感知机作为文本解析网络，所述文本解析网络将视觉语言模型的文本嵌入向量作为输入，然后输出预测的独热编码，使用交叉熵损失作为训练的损失函数。4.根据权利要求1所述的一种基于自然文本描述的高保真三维人脸模型生成方法，其特征在于，所述步骤...

【专利技术属性】
技术研发人员：朱昊，吴萌华，黄林佳，庄义昱，陆元勋，曹汛，
申请(专利权)人：南京大学，
类型：发明
国别省市：