基于3DMM的情绪驱动说话人脸生成方法、装置及设备制造方法及图纸

本申请公开了基于3DMM的情绪驱动说话人脸生成方法、装置及设备，方法包括：通过3DMM分别提取预置人脸图像的情绪模型表达系数和对应音频中的唇部运动模型系数；基于距离相关法和SIPCA算法，根据预置人脸图像和情绪模型表达系数进行眼睛系数变化分析，得到相关性情绪模型系数；采用预设LSTM网络依据相关性情绪模型系数和唇部运动模型系数拟合生成目标人脸表情系数；将目标人脸表情系数应用在目标3DMM中，渲染出目标情绪说话人脸视频。本申请能解决现有技术不能明确3DMM系数对面部区域控制的影响情况，且不关注其他面部表情特征，导致生成的人脸视频缺乏真实感的技术问题。

【技术实现步骤摘要】

本申请涉及人脸智能建模，尤其涉及基于3dmm的情绪驱动说话人脸生成方法、装置及设备。

技术介绍

1、说话人脸先前基于面部地标的方法和基于2d流的音频到表情网络可能会产生扭曲的面部，sadtalker通过隐式3d系数调制了程式化音频驱动。除了嘴唇动作特征外，情绪是生成说话人脸的另一个重要因素。目前，主要通过情感标签中获得情感信息和音频中识别情绪信息两种方式实现具有情绪的说话人脸。语音情感感知的说话人脸是指所生成的说话人脸视频能够与语音音频相匹配，并表现出条件情感。

2、现有技术并不能明确3dmm中系数对面部不同区域的控制影响，而且现有方案仅关注唇部运动，不关注其他面部表情特征，所以生成人脸视频具有固定情感，降低了生成内容的真实感。

技术实现思路

1、本申请提供了基于3dmm的情绪驱动说话人脸生成方法、装置及设备，用于解决现有技术不能明确3dmm系数对面部区域控制的影响情况，且不关注其他面部表情特征，导致生成的人脸视频缺乏真实感的技术问题。

2、有鉴于此，本申请第一方面提供了基于3dmm的本文档来自技高网...

【技术保护点】

1.基于3DMM的情绪驱动说话人脸生成方法，其特征在于，包括：

2.根据权利要求1所述的基于3DMM的情绪驱动说话人脸生成方法，其特征在于，所述通过3DMM分别提取预置人脸图像的情绪模型表达系数和对应音频中的唇部运动模型系数，包括：

3.根据权利要求1所述的基于3DMM的情绪驱动说话人脸生成方法，其特征在于，所述基于距离相关法和SIPCA算法，根据所述预置人脸图像和所述情绪模型表达系数进行眼睛系数变化分析，得到相关性情绪模型系数，包括：

4.根据权利要求1所述的基于3DMM的情绪驱动说话人脸生成方法，其特征在于，所述采用预设LSTM网络依据所述相关性情...

【技术特征摘要】

1.基于3dmm的情绪驱动说话人脸生成方法，其特征在于，包括：

2.根据权利要求1所述的基于3dmm的情绪驱动说话人脸生成方法，其特征在于，所述通过3dmm分别提取预置人脸图像的情绪模型表达系数和对应音频中的唇部运动模型系数，包括：

3.根据权利要求1所述的基于3dmm的情绪驱动说话人脸生成方法，其特征在于，所述基于距离相关法和sipca算法，根据所述预置人脸图像和所述情绪模型表达系数进行眼睛系数变化分析，得到相关性情绪模型系数，包括：

4.根据权利要求1所述的基于3dmm的情绪驱动说话人脸生成方法，其特征在于，所述采用预设lstm网络依据所述相关性情绪模型系数和所述唇部运动模型系数拟合生成目标人脸表情系数，包括：

5.根据权...

【专利技术属性】
技术研发人员：杨祖元，杨嘉俊，梁萍，苏锦明，谢胜利，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：