用于生成动画的方法、装置、设备以及存储介质制造方法及图纸

本申请公开了用于生成动画的方法、装置、设备以及存储介质，涉及增强现实技术、动画和深度学习领域。具体实现方案为：获取人脸图像集合以及与人脸图像集合匹配的音频；对人脸图像集合中的人脸图像进行分析，确定人脸对象的头部姿态信息以及第一表情信息；根据预先训练的嘴部信息确定模型以及音频，确定人脸对象的嘴部信息，其中，嘴部信息确定模型用于表征音频与嘴部信息的对应关系；融合第一表情信息以及嘴部信息，确定第二表情信息；基于头部姿态信息以及第二表情信息，生成动画。本实现方式可以使得得到的动画更加逼真流畅，提高了嘴部遮挡情况下的稳定性。

【技术实现步骤摘要】
用于生成动画的方法、装置、设备以及存储介质
本申请涉及计算机
，具体涉及增强现实技术、动画和深度学习领域，尤其涉及用于生成动画的方法、装置、设备以及存储介质。
技术介绍
人脸动画在多模态人机交互、电影制作、电脑游戏、视频会议、虚拟主持人等方面得到了越来越多的应用。人脸动画需要实时通过人脸表情信息来驱动人脸混合形状变形。人脸表情信息的提取人脸动画驱动技术的关键环节，只有准确捕捉人脸表情才能使人脸混合形状驱动的人脸模型更加生动逼真。目前的人脸通过驱动方法是以图像为输入，在提取人脸稀疏关键点的基础上，通过求解预定的各个表情的全局最佳匹配来获取人脸表情信息。由于个体人脸差异导致全局最佳匹配难以达到，导致人脸稀疏关键点的提取存在误差。
技术实现思路
提供了一种用于生成动画的方法、装置、设备以及存储介质。根据第一方面，提供了一种用于生成动画的方法，包括：获取人脸图像集合以及与人脸图像集合匹配的音频；对人脸图像集合中的人脸图像进行分析，确定人脸对象的头部姿态信息以及第一表情信息；根据预先训练的嘴部信息确定模型以及音频本文档来自技高网...

【技术保护点】
1.一种用于生成动画的方法，包括：/n获取人脸图像集合以及与所述人脸图像集合匹配的音频；/n对所述人脸图像集合中的人脸图像进行分析，确定人脸对象的头部姿态信息以及第一表情信息；/n根据预先训练的嘴部信息确定模型以及所述音频，确定所述人脸对象的嘴部信息，其中，所述嘴部信息确定模型用于表征音频与嘴部信息的对应关系；/n融合所述第一表情信息以及所述嘴部信息，确定第二表情信息；/n基于所述头部姿态信息以及所述第二表情信息，生成动画。/n

【技术特征摘要】
1.一种用于生成动画的方法，包括：
获取人脸图像集合以及与所述人脸图像集合匹配的音频；
对所述人脸图像集合中的人脸图像进行分析，确定人脸对象的头部姿态信息以及第一表情信息；
根据预先训练的嘴部信息确定模型以及所述音频，确定所述人脸对象的嘴部信息，其中，所述嘴部信息确定模型用于表征音频与嘴部信息的对应关系；
融合所述第一表情信息以及所述嘴部信息，确定第二表情信息；
基于所述头部姿态信息以及所述第二表情信息，生成动画。


2.根据权利要求1所述的方法，其中，所述融合所述第一表情信息以及所述嘴部信息，确定第二表情信息，包括：
确定所述第一表情信息对应的第一权重和所述嘴部信息对应的第二权重；
根据所述第一表情信息、所述第一权重、所述嘴部信息和所述第二权重，确定所述第二表情信息。


3.根据权利要求1所述的方法，其中，所述方法还包括：
输出所述第二表情信息；
接收针对所述第二表情信息的修改信息。


4.根据权利要求3所述的方法，其中，所述基于所述头部姿态信息以及所述第二表情信息，生成动画，包括：
基于所述头部姿态信息以及所述修改信息，生成动画。


5.根据权利要求1所述的方法，其中，所述对所述人脸图像集合中的人脸图像进行分析，确定人脸对象的头部姿态信息以及第一表情信息，包括：
提取所述人脸图像集合中人脸图像的特征信息；
根据所述特征信息以及预先训练的头部姿态信息确定模型，确定所述人脸对象的头部姿态信息，其中，所述头部姿态信息确定模型用于表征特征信息与头部姿态信息的对应关系；
根据所述特征信息以及预先训练的表情信息确定模型，确定所述人脸对象的第一表情信息，其中，所述表情信息确定模型用于表征特征信息与表情信息的对应关系。


6.根据权利要求1所述的方法，其中，所述嘴部信息确定模型通过以下步骤训练得到：
获取训练样本集合，所述训练样本包括音频以及与音频中各音素对应的标注嘴部信息；
将所述训练样本集合中训练样本的音频作为输入，将与所输入的音频中各音素对应的标注嘴部信息作为期望输出，训练得到所述嘴部信息确定模型。


7.一种用于生成动画的装置，包括：
获取单元，被配置成获取人脸图像集合以及与所述人脸图像集合匹配的音频；
第一确定单元，被配置成对所述人脸图像集合中的人脸图像进行分析，确定人脸对象的头部姿...

【专利技术属性】
技术研发人员：赵洋，杨少雄，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11