一种面部动画生成方法、装置、设备及可读存储介质制造方法及图纸

本申请提供了一种面部动画生成方法、装置、设备及可读存储介质，其中，方法包括：获取目标音频数据；基于面部参数预测特征预测目标音频数据对应的面部动画参数，其中，面部参数预测特征从目标音频数据中提取，面部参数预测特征包括声学特征，以及，发音特征和/或语音瓶颈特征；根据目标音频数据对应的面部动画参数生成面部动画。由于面部参数预测特征除了包含声学特征外，还包含了能够表征协同发音的发音特征和/或能够表征语义信息的语音瓶颈特征，因此，基于这样的面部参数预测特征可预测出在协同发音和/或语义信息方面表达能力较好的面部动画参数，进而基于预测的面部动画参数可生成表现力较好的面部动画。

【技术实现步骤摘要】
一种面部动画生成方法、装置、设备及可读存储介质
本申请涉及信号处理
，更具体地说，涉及一种面部动画生成方法、装置、设备及可读存储介质。
技术介绍
随着科技的高速发展，人们已经不满足于呆板、僵硬的人机交互方式，人性化的、友好的人机交互技术越来越被重视。听觉与视觉是人们最主要、最便捷的两种沟通交流方式。当人们相互沟通交流时，面部表情、唇部动作，甚至是头部与肢体的动作等都可以极大地增加语言的可懂度，从而提高沟通的效率。因此，听觉和视觉双模态信息融合的交互方式，不仅能够提高用户对语音的理解度，还能提供一种更为真实的交互体验。面部动画生成技术是指通过文本或者语音信息驱动、实时生成面部动作及表情的技术。除了能够提供更友好的人机交互方式之外，该技术在感知研究、语言辅助学习等方面具有重要的研究意义和应用价值，同时，其在游戏和电影特效等娱乐化方面上可以辅助制作降低成本。鉴于面部动画生成技术的重要性，亟需提供一种效果较好的面部动画生成方案。
技术实现思路
有鉴于此，本申请提供了一种面部动画生成方法、装置、设备及可读存储介质，用以提供一种效果较好的面部动画生成方案，该方案如下：一种面部动画生成方法，包括本文档来自技高网...

【技术保护点】
1.一种面部动画生成方法，其特征在于，包括：获取目标音频数据；基于面部参数预测特征预测所述目标音频数据对应的面部动画参数，所述面部参数预测特征从所述目标音频数据中提取，所述面部参数预测特征包括声学特征，以及，发音特征和/或语音瓶颈特征；根据所述目标音频数据对应的面部动画参数生成面部动画。

【技术特征摘要】
1.一种面部动画生成方法，其特征在于，包括：获取目标音频数据；基于面部参数预测特征预测所述目标音频数据对应的面部动画参数，所述面部参数预测特征从所述目标音频数据中提取，所述面部参数预测特征包括声学特征，以及，发音特征和/或语音瓶颈特征；根据所述目标音频数据对应的面部动画参数生成面部动画。2.根据权利要求1所述的面部动画生成方法，其特征在于，基于所述面部参数预测特征预测的面部动画参数包括：面部区域中至少一个子区域的面部动画参数；其中，所述面部区域包括多个子区域，一子区域为所述面部区域中一面部属性所在的区域，所述面部区域的不同子区域的运动特点不同。3.根据权利要求1或2所述的面部动画生成方法，其特征在于，所述基于面部参数预测特征预测所述目标音频数据对应的面部动画参数，包括：根据所述面部参数预测特征和预先建立的面部参数预测模型，预测所述目标音频数据对应的面部动画参数；其中，所述面部参数预测模型利用从训练音视频数据中提取的面部参数预测特征和面部动画参数训练得到。4.根据权利要求3所述的面部动画生成方法，其特征在于，所述面部参数预测模型包括：参数生成模块和对抗判别模块；所述参数生成模块，用于根据输入的面部参数预测特征预测面部动画参数；所述对抗判别模块，用于在训练的过程中判别所述参数生成模块预测的面部动画参数与真实的面部动画参数是否一致。5.根据权利要求4所述的面部动画生成方法，其特征在于，所述面部参数预测模型的训练过程包括：获取所述训练音视频数据；从所述训练音视频数据中提取面部参数预测特征和面部动画参数；将从所述训练音视频数据中提取的面部参数预测特征输入所述参数生成模块，获得所述参数生成模块输出的面部动画参数；通过所述对抗判别模块判别所述参数生成模块输出的面部动画参数与从所述训练音视频数据中提取的面部动画参数是否一致；根据所述对抗判别模块的判别结果更新所述参数生成模块的参数；所述面部参数预测模型的训练目标为：所述参数生成模块根据从训练音视频数据中提取的面部参数预测特征预测的面部动画参数，与从同一训练音视频数据中提取的面部动画参数一致。6.根据权利要求4或5所述的面部动画生成方法，其特征在于，所述对抗判别模块包括至少一个对抗判别子模块；一对抗判别子模块对应面部区域的一子区域，不同的对抗判别子模块对应面部区域的不同子区域；面部区域的一子区域对应的对抗判别子模块，用于判别所述参数生成模块针对该子区域预测的面部动画参数与该子区域真实的面部动画参数是否一致。7.根据权利要求6所述的面部动画生成方法，其特征在于，在对所述面部参数预测模型训练时，更新所述参数生成模块的参数所使用的损失函数由MSE准则的损失和各个对抗判别子模块的损失加权组成。8.根据权利要求6所述的面部动画生成方法，其特征在于，所述对抗判别模块包括：与所述面部区域中的眼睛区域对应的第一对抗判别子模块，和/或，与所述面部区域中的鼻子区域对应的第二对抗判别子模块，和/或，与所述面部区域中的嘴部区域对应的第三对抗判别子模块。9.根据权利要求8所述的面部动画生成方法，其特征在于，通过所述对抗判别模块中的所述第一对抗判别子模块判别所述参数生成模块输出的面部动画参数与从所述训练音视频数据中提取的面部动画参数是否一致，包括：通过所述第一对抗判别子模块，判别所述参数生成模块针对所述眼睛区域生成的面部动画参数与从所述从训练音视频数据中针对所述眼睛区域提取的面部动画参数是否一致。10.根据权利要求8所述的面部动画生成方法，其特征在于，通过所述对抗判别模块中的所述第二对抗判别子模块判别所述参数生成模块输出的面部动画参数与从所述训练音视频数据中提取的面部动画参数是否一致，包括：通过所述第二对抗判别子模块，判别所述参数生成模块针对所述鼻子区域生成的面部动画参数与从所述训练音视频数据中针对所述鼻子区域提取的面部动画参数是否一致。11.根据权利要求8所述的面部动画生成方法，其特征在于，所述通过所述对抗判别模块中的所述第三对抗判别子模块判别所述参数生成模块输出的面部动画参数与从所述训练音视频数据中提取的面部动画参数是否一致，包括：通过所述第三对抗判别子模块，判别所述参数生成模块针对所述嘴部区域生成的面部动画参数与从所述训练音视频数据中针对所述嘴部区域提取的面部动画参数是否一致。12.根据权利要求4或5所述的面部动画生成方法，其特征在于，所述根据所述面部参数预测特征和预先建立的面部参数预测模型，预测所述目标音频数据对应的面部动画参数，包括：将所述面部参数预测特征输入所述面部参数预测模型中的参数生成模块，获得所述参数生成模块输出的面部动画参数，作为所述目标音频数据对应的面部动画参数。13.一种面部动画生成装置，其特征在于，包括：数据获取模块、参数预测模块和面部动画生成模块；所述数据获取模块，用于获取目标音频数据；所述参数预测模块，用于基于面部参数预测特征预测所述目标音频数据对应的面部动画参...

【专利技术属性】
技术研发人员：丁闯，江源，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：安徽,34