情感表达的人脸动画生成方法、装置和可读存储介质制造方法及图纸

本申请提供一种情感表达的人脸动画生成方法、装置和可读存储介质。其中，本申请的情感表达的人脸动画生成方法，获取用户输入的语音；将语音输入至训练好的表情动画生成模型，以输出预测的三维人脸的表情动画的PCA系数；训练好的表情动画生成模型是使用语音样本集输入至表情动画生成模型训练得到的；将所预测的表情动画的PCA系数投影为三维人脸的表情动画数据；将所投影的表情动画数据重定向在目标数字人上。数字人上。数字人上。

【技术实现步骤摘要】
情感表达的人脸动画生成方法、装置和可读存储介质


[0001]本专利技术涉及数字人智能
，尤其涉及一种情感表达的人脸动画生成方法、装置和可读存储介质。

技术介绍

[0002]随着自然语言处理、语音识别、计算机视觉等人工智能技术的应用拓展，虚拟数字人技术的也朝着更加智能化、多样化方向发展。早期数字人主要应用与泛娱乐领域，如电影、动画、游戏等行业，如今，数字人已经成功应用至银行、医疗、教育、政务、通信等各行各业。这其中，具备情感表达和交互沟通能力是实现数字人与真实世界交互的基础。但是，相关技术中的数字人人脸动画呆板生硬，降低用户在交互过程中的体验。

技术实现思路

[0003]本申请提供一种情感表达的人脸动画生成方法、装置和可读存储介质，数字人人脸的表情动画自然，提高用户在交互过程中的体验。
[0004]本申请的提供一种情感表达的人脸动画生成方法，包括：获取用户输入的语音；将所述语音输入至训练好的表情动画生成模型，以输出预测的三维人脸的表情动画的PCA系数；所述训练好的表情动画生成模型是使用语音样本集输入至表情动画生成模型训练得到的；将所预测的表情动画的PCA系数投影为三维人脸的表情动画数据；将所投影的表情动画数据重定向在目标数字人上。
[0005]进一步的，所述情感表达的人脸动画生成方法还包括：通过如下方式，得到训练好的表情动画生成模型：
[0006]获取语音样本集，所述语音样本集包括真实的三维人脸网格模型的顶点坐标，所述真实的三维人脸网格模型的顶点坐标包括真实的三维人脸网格模型的特征关键点；将所述语音样本集输入至表情动画生成模型，以预测所述语音样本集对应的三维人脸表情的PCA系数；将所预测的PCA系数转换为预测的三维人脸网格模型的顶点坐标；比较所述真实的三维人脸网格模型的顶点坐标与所预测的三维人脸网格模型的顶点坐标的差异程度，得到顶点距离损失函数；根据所述顶点距离损失函数，对所述表情动画生成模型的训练参数进行调整，直至满足预设结束条件，得到所述训练好的表情动画生成模型。
[0007]进一步的，所述预测的三维人脸网格模型的顶点坐标包括预测的三维人脸网格模型的特征关键点；所述根据所述顶点距离损失函数，对所述表情动画生成模型的训练参数进行调整，直至满足预设结束条件，得到所述训练好的表情动画生成模型之前，所述的情感表达的人脸动画生成方法还包括：比较所述真实的三维人脸网格模型的特征关键点与所预测的三维人脸网格模型的特征关键点的差异程度，得到特征相关的损失函数；根据所述顶点距离损失函数及所述特征相关的损失函数，得到总损失函数；所述根据所述顶点距离损失函数，对所述表情动画生成模型的训练参数进行调整，直至满足预设结束条件，得到所述训练好的表情动画生成模型，包括：根据所述总损失函数对所述表情动画生成模型的训练
参数进行调整，直至满足预设结束条件，得到所述训练好的表情动画生成模型。
[0008]进一步的，所述预测的三维人脸网格模型的特征关键点包括预测的三维人脸网格模型的上下唇关键点对；所述比较所述真实的三维人脸网格模型的特征关键点与所预测的三维人脸网格模型的特征关键点的差异程度，得到特征相关的损失函数，包括：将所述真实的三维人脸网格模型的上下唇关键点对的距离与预测的三维人脸网格模型的上下唇关键点对的距离之间的均方误差或均方根误差，确定为唇部闭合损失函数；所述根据所述顶点距离损失函数及所述特征相关的损失函数，得到总损失函数，包括：根据所述顶点距离损失函数和所述唇部闭合损失函数，得到第一总损失函数；所述根据所述总损失函数对所述表情动画生成模型的训练参数进行调整，直至满足预设结束条件，得到所述训练好的表情动画生成模型，包括：根据所述第一总损失函数，对所述表情动画生成模型的训练参数进行调整，直至满足预设结束条件，得到所述训练好的表情动画生成模型；
[0009]和/或，
[0010]所述预测的三维人脸网格模型的特征关键点包括预测的三维人脸网格模型的相邻帧的顶点位移关键点；所述比较所述真实的三维人脸网格模型的特征关键点与所预测的三维人脸网格模型的特征关键点的差异程度，得到特征相关的损失函数，包括：将所述真实的三维人脸网格模型的相邻帧的顶点位移关键点与所预测的三维人脸网格模型的相邻帧的顶点位移关键点之间的均方误差或均方根误差，确定为时间连续性损失函数；所述根据所述顶点距离损失函数及所述特征相关的损失函数，得到总损失函数，包括：根据所述顶点距离损失函数和所述时间连续性损失函数，得到第二总损失函数；所述根据所述总损失函数对所述表情动画生成模型的训练参数进行调整，直至满足预设结束条件，得到所述训练好的表情动画生成模型，包括：根据所述第二总损失函数，对所述表情动画生成模型的训练参数进行调整，直至满足预设结束条件，得到所述训练好的表情动画生成模型。
[0011]进一步的，在所述根据所述顶点距离损失函数，对所述表情动画生成模型的训练参数进行调整，直至满足预设结束条件，得到所述训练好的表情动画生成模型之前，所述情感表达的人脸动画生成方法还包括：
[0012]使用训练好的表情分类模型及所预测的PCA系数，分别预测的真实的表情动画的情感分类概率及所预测的表情动画的情感分类概率；所述训练好的表情分类模型是使用所述语音样本集对应的真实的三维人脸的表情动画样本对表情分类模型训练得到的，所述表情动画样本带有情感标签；比较预测的真实的表情动画的情感分类概率及所预测的表情动画的情感分类概率的差异程度，得到情感一致性损失函数；根据所述顶点距离损失函数和所述情感一致性损失函数，得到第三总损失函数；
[0013]所述根据所述顶点距离损失函数，对所述表情动画生成模型的训练参数进行调整，直至满足预设结束条件，得到所述训练好的表情动画生成模型，包括：根据所述第三总损失函数，对所述表情动画生成模型的训练参数进行调整，直至满足预设结束条件，得到所述训练好的表情动画生成模型。
[0014]进一步的，所述使用训练好的表情分类模型及所预测的PCA系数，分别预测真实的表情动画的情感分类概率及所预测的表情动画的情感分类概率，包括：将所预测的PCA系数输入至所述训练好的表情分类模型，以输出所预测的表情动画的情感分类概率；获取所述语音样本集对应的真实的三维人脸动画样本集，所述真实的三维人脸动画样本集包括真实
的三维人脸表情；将所述真实的三维人脸表情，投影为真实的三维可变形人脸模型的PCA系数；将所述真实的三维可变形人脸模型的PCA系数输入至所述训练好的表情分类模型中，以输出所述真实的表情动画的情感分类概率；
[0015]所述根据所述顶点距离损失函数和所述情感一致性损失函数，得到第三总损失函数，包括：将所预测的表情动画的情感分类概率与所述真实的表情动画的情感分类概率的均方误差或均方根误差，确定为情感一致性损失函数。
[0016]进一步的，所述情感表达的人脸动画生成方法还包括：采用如下方式，得到训练好的表情分类模型：获取包含所述语音样本集对应的三维人脸动画样本集，所述真实的三维人脸动画样本集包括真实的三维人脸表情本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种情感表达的人脸动画生成方法，其特征在于，包括：获取用户输入的语音；将所述语音输入至训练好的表情动画生成模型，以输出预测的三维人脸的表情动画的PCA系数；所述训练好的表情动画生成模型是使用语音样本集输入至表情动画生成模型训练得到的；将所预测的表情动画的PCA系数投影为三维人脸的表情动画数据；将所投影的表情动画数据重定向在目标数字人上。2.如权利要求1所述的情感表达的人脸动画生成方法，其特征在于，所述情感表达的人脸动画生成方法还包括：通过如下方式，得到训练好的表情动画生成模型：获取语音样本集，所述语音样本集包括真实的三维人脸网格模型的顶点坐标，所述真实的三维人脸网格模型的顶点坐标包括真实的三维人脸网格模型的特征关键点；将所述语音样本集输入至表情动画生成模型，以预测所述语音样本集对应的三维人脸表情的PCA系数；将所预测的PCA系数转换为预测的三维人脸网格模型的顶点坐标；比较所述真实的三维人脸网格模型的顶点坐标与所预测的三维人脸网格模型的顶点坐标的差异程度，得到顶点距离损失函数；根据所述顶点距离损失函数，对所述表情动画生成模型的训练参数进行调整，直至满足预设结束条件，得到所述训练好的表情动画生成模型。3.如权利要求2所述的情感表达的人脸动画生成方法，其特征在于，所述预测的三维人脸网格模型的顶点坐标包括预测的三维人脸网格模型的特征关键点；所述根据所述顶点距离损失函数，对所述表情动画生成模型的训练参数进行调整，直至满足预设结束条件，得到所述训练好的表情动画生成模型之前，所述的情感表达的人脸动画生成方法还包括：比较所述真实的三维人脸网格模型的特征关键点与所预测的三维人脸网格模型的特征关键点的差异程度，得到特征相关的损失函数；根据所述顶点距离损失函数及所述特征相关的损失函数，得到总损失函数；所述根据所述顶点距离损失函数，对所述表情动画生成模型的训练参数进行调整，直至满足预设结束条件，得到所述训练好的表情动画生成模型，包括：根据所述总损失函数对所述表情动画生成模型的训练参数进行调整，直至满足预设结束条件，得到所述训练好的表情动画生成模型。4.如权利要求3所述的情感表达的人脸动画生成方法，其特征在于，所述预测的三维人脸网格模型的特征关键点包括预测的三维人脸网格模型的上下唇关键点对；所述比较所述真实的三维人脸网格模型的特征关键点与所预测的三维人脸网格模型的特征关键点的差异程度，得到特征相关的损失函数，包括：将所述真实的三维人脸网格模型的上下唇关键点对的距离与预测的三维人脸网格模型的上下唇关键点对的距离之间的均方误差或均方根误差，确定为唇部闭合损失函数；所述根据所述顶点距离损失函数及所述特征相关的损失函数，得到总损失函数，包括：根据所述顶点距离损失函数和所述唇部闭合损失函数，得到第一总损失函数；所述根据所述总损失函数对所述表情动画生成模型的训练参数进行调
整，直至满足预设结束条件，得到所述训练好的表情动画生成模型，包括：根据所述第一总损失函数，对所述表情动画生成模型的训练参数进行调整，直至满足预设结束条件，得到所述训练好的表情动画生成模型；和/或，所述预测的三维人脸网格模型的特征关键点包括预测的三维人脸网格模型的相邻帧的顶点位移关键点；所述比较所述真实的三维人脸网格模型的特征关键点与所预测的三维人脸网格模型的特征关键点的差异程度，得到特征相关的损失函数，包括：将所述真实的三维人脸网格模型的相邻帧的顶点位移关键点与所预测的三维人脸网格模型的相邻帧的顶点位移关键点之间的均方误差或均方根误差，确定为时间连续性损失函数；所述根据所述顶点距离损失函数及所述特征相关的损失函数，得到总损失函数，包括：根据所述顶点距离损失函数和所述时间连续性损失函数，得到第二总损失函数；所述根据所述总损失函数对所述表情动画生成模型的训练参数进行调整，直至满足预设结束条件，得到所述训练好的表情动画生成模型，包括：根据所述第二总损失函数，对所述表情动画生成模型的训练参数进行调整，直至满足预设结束条件，得到所述训练好的表情动画生成模型。5.如权利要求2至4任一项所述的情感表达的人脸动画生成方...

【专利技术属性】
技术研发人员：刘逸颖，李融，李萌坚，
申请(专利权)人：之江实验室，
类型：发明
国别省市：