【技术实现步骤摘要】
本申请涉及计算机，特别涉及一种语音驱动的人脸动画生成方法、装置、设备及介质。
技术介绍
1、语音驱动三维人脸动画的目标，是对于任意一段输入语音，合成响应的动画参数，用以驱动响应的三维模型。语音驱动人脸动画技术可广泛应用于虚拟人生成、元宇宙构建、远程会议等领域，利用人工智能降低这些任务的人力需求。在语音驱动人脸动画过程中，生成与音频同步的嘴型运动尤为重要。嘴型与音频的同步性是衡量真实感的重要因素。
2、现有技术中，为了驱动三维人脸动画，通常利用隐马尔科夫模型或者决策树的方式，根据语音来编辑口型。
3、但由于隐马尔科夫模型或者决策树模型的表达能力有限，无法建模好语音到嘴型这一复杂的映射，致使生成的嘴型效果不好。
技术实现思路
1、本申请的目的在于，针对上述现有技术中的不足，提供一种语音驱动的人脸动画生成方法、装置、设备及介质，可以使得目标人脸动画中参考人脸的嘴型动作和参考音频文件的播放相同步，提高同步的准确性。
2、为实现上述目的，本申请实施例采用的技术方案
本文档来自技高网...
【技术保护点】
1.一种语音驱动的人脸动画生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述根据各所述训练样本，通过所述判别器获取所述目标人脸生成模型，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于各所述初始人脸动画中各所述人脸动画参数训练样本和各所述音频文件训练样本之间的同步概率，利用所述同步损失函数对所述初始人脸生成模型进行更新，得到所述目标人脸生成模型，包括：
5.根据权利要求2所述的方法，其特征在于，所述根据各所述训练样本，训练判别
<...【技术特征摘要】
1.一种语音驱动的人脸动画生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述根据各所述训练样本，通过所述判别器获取所述目标人脸生成模型，包括：
4.根据权利要求3所述的方法，其特征在于，所述基于各所述初始人脸动画中各所述人脸动画参数训练样本和各所述音频文件训练样本之间的同步概率，利用所述同步损失函数对所述初始人脸生成模型进行更新，得到所述目标人脸生成模型，包括：
5.根据权利要求2所述的方法，其特征在于，所述根据各所述训练样本，训练判别器，包括：
6.根据权利要求5所述的方法，其特征在于，所述同步标签，用于表征每个训练样本中所述人脸动画参数训练样本和所述音频文件训练样本之间是否同步，每个所述训练样本对应一...
【专利技术属性】
技术研发人员：马一丰，王苏振，丁彧，吕唐杰，范长杰，胡志鹏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。