一种人脸关键点的预测方法、虚拟数字人生成方法及装置制造方法及图纸

本发明专利技术公开了一种人脸关键点的预测方法、虚拟数字人生成方法及装置，其中的虚拟数字人生成方法包括挖掘语音中的情感，语音预测生成人脸表情关键点，通过关键点拟合3D人脸模型，调整姿势角度，虚拟数字人视频生成模型。通过将语音输入到人脸关键点模型中获取预测的人脸关键点，然后将关键点和3D人脸模型进行对齐，调整对齐之后的3D人脸模型姿势，然后将调整姿势之后的3D人脸模型输入至虚拟数字人生成模型中，得到与目标语音口型、情感一致，且具有不同姿势角度的虚拟数字人视频。虚拟数字人生成模型，用了注意力机制，使得生成的视频和目标图像和生成视频保持一致的背景。目标图像和生成视频保持一致的背景。目标图像和生成视频保持一致的背景。

【技术实现步骤摘要】
一种人脸关键点的预测方法、虚拟数字人生成方法及装置


[0001]本专利技术涉及计算机
，涉及一种人脸关键点的预测方法、虚拟数字人生成方法及装置。

技术介绍

[0002]目前人工智能技术和增强现实(Augmented Reality，AR)智能技术正在飞速发展，互联网用户的内容摄取需求越来越丰富，针对动画，虚拟数字人，AR等内容的需求越加强烈。
[0003]现有技术中，在进行人脸关键点进行预测时，没有包含情感信息；在进行动画的制作时，面部表情的控制通常由动捕演员表演后导入虚拟数字人，然后由配音演员配音后再对虚拟数字人的口型进行人为的调整。此方法对于配音演员的要求极高，要求其对动画片段及其的熟悉已经超高的反应能力。
[0004]但是，这种方法难以保证配音后的虚拟数字人的声音和口型能够精准的同步。所以需要人为的对口型进行再调整。这整个过程比较繁杂，制作成本高，并且需要非常专业的技术人员才能完成。并且，虚拟数字人的面部表情通常和语中蕴含的情感有很大的关联，如果将配音和面部表情分开，那么在虚拟数字人生成的时候会导致语音和表情的不自然本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸关键点的预测方法，其特征在于，包括：构建语音生成人脸关键点模型，其中，语音生成人脸关键点模型包括静态人脸关键点生成模块、语音情感内容跨模态重构模块和映射模块，语音情感内容跨模态重构模块包括内容编码器和情感编码器；对语音情感内容跨模态重构模块进行训练，得到训练好的语音情感内容跨模态重构模块，与模型中的其它模块一同构成训练好的语音生成人脸关键点模型；将语音输入至训练好的语音生成人脸关键点模型中，通过语音生成人脸关键点模型中的静态人脸关键点生成模块采用预设人脸识别算法提取静态人脸关键点，通过内容编码器和情感编码器分别提取语音特征和情感特征，再通过映射模块对提取的静态人脸关键点、语音特征和情感特征进行融合，生成带有表情的人脸关键点。2.如权利要求1所述的人脸关键点的预测方法，其特征在于，在对语音情感内容跨模态重构模块进行训练时，以两组语音作为输入，训练过程中的损失包括交叉重建损失L
cross
、自重建损失L
self
、分类损失L
cla
和内容损失L
con
，其中，交叉重建损失表示为：L
cross
＝||D(E
c
(x
i，m
)，E
e
(x
j，n
))
‑
x
i，n
||2+||D(E
c
(x
j，n
)，E
e
(x
i，m
))
‑
x
j，m
||2自重建损失表示为：L
self
＝||D(E
c
(x
i，m
)，E
e
(x
i，m
))
‑
x
i，m
||2+||D(E
c
(x
j，n
)，E
e
(x
j，n
))
‑
x
j，n
||2分类损失定义为：内容损失表示为：x
i，m
，x
j，n
，x
j，m
，x
i，n
为4个重构的音频样本，其中x表示重构的新样本，i，j表示不同的语音内容，m，n表示不同的语音情感，E
c
表示内容编码器，E
e
表示情感编码器，E
c
()表示利用内容编码器提取的特征，E
e
()表示利用情感编码器提取的特征，D表示语音解码器，D()表示利用解码器进行交叉重构，N表示不同情绪类型的总数，p
k
表示样本是否带情绪类别k，q
k
表示情绪类别k的预测概率；语音情感内容跨模态重构模块的总损失函数为L
dis
，计算公式为：L
dis
＝L
cross
+L
self
+λ
cla
L
cla
+λ
con
L
con
其中λ
cla
和λ
con
分别是分类损失和内容损失的权重。3.一种虚拟数字人的生成方法，基于如权利要求1所述的人脸关键点预测方法实现，其特征在于，包括：利用生成的带有表情的人脸关键点对3D人脸模型进行拟合，得到拟合后的3D人脸模型投影图像；将目标图像与拟合后的3D人脸模...

【专利技术属性】
技术研发人员：王德军，潘飞，孟博，
申请(专利权)人：中南民族大学，
类型：发明
国别省市：