【技术实现步骤摘要】
本申请涉及计算机,具体而言,本申请涉及一种语音驱动人脸模型处理方法、装置及电子设备。
技术介绍
1、近年来,基于语音驱动的人脸动画技术在虚拟主持人、数字娱乐、人机交互以及远程会议等方面有广泛的应用。如何快速、高效的实现语音驱动的唇形自动合成,以及优化语音与唇形面部表情之间的同步是此项技术的关键。
2、目前,语音驱动人脸(或口型)动画的建模和实现通常是以音频数据作为输入,以形变数据进行输出。然而,若将语音驱动人脸模型输出的形变数据直接应用于目标动画系统,难以保证形变数据可以正常驱动目标动画系统中的模型形变,使得模型展示效果不够好,模型可迁移性不强,难以满足实际应用需求。
技术实现思路
1、本申请实施例的目的旨在能解决语音驱动人脸模型可迁移性不强的问题。
2、第一方面,提供了一种语音驱动人脸模型处理方法,该方法包括:
3、获取语音驱动人脸模型;语音驱动人脸模型包括模板网格;获取待处理的音频数据,将音频数据输入输入语音驱动人脸模型,得到模型形变数据;模型形变数
...【技术保护点】
1.一种语音驱动人脸模型处理方法,其特征在于,包括:
2.根据权利要求1所述的语音驱动人脸模型处理方法,其特征在于,所述基于所述语音驱动人脸模型的模板网格,获取所述模板网格和目标动画系统的基准网格之间的静态注册关系,包括:
3.根据权利要求2所述的语音驱动人脸模型处理方法,其特征在于,所述通过预设的标注工具获取所述模板网格和目标动画系统的基准网格之间的关键点映射关系,包括:
4.根据权利要求1所述的语音驱动人脸模型处理方法,其特征在于,所述静态注册关系包括所述模板网格和所述基准网格在进行静态注册之后得到的多个注册点之间的对应关系;所
...【技术特征摘要】
1.一种语音驱动人脸模型处理方法,其特征在于,包括:
2.根据权利要求1所述的语音驱动人脸模型处理方法,其特征在于,所述基于所述语音驱动人脸模型的模板网格,获取所述模板网格和目标动画系统的基准网格之间的静态注册关系,包括:
3.根据权利要求2所述的语音驱动人脸模型处理方法,其特征在于,所述通过预设的标注工具获取所述模板网格和目标动画系统的基准网格之间的关键点映射关系,包括:
4.根据权利要求1所述的语音驱动人脸模型处理方法,其特征在于,所述静态注册关系包括所述模板网格和所述基准网格在进行静态注册之后得到的多个注册点之间的对应关系;所述基于所述静态注册关系确定各个模型基底对应的最优形变基底,包括:
5.根据权利要求1所述的语音驱动人脸模型处理方法,其特征在于,所述基于所述模型形变数据与所述最优形变基底,获取目标模型形变数据,包括:
6.根据权利要求1所述的语音驱动人脸模型处理方法,其...
【专利技术属性】
技术研发人员:陈璞,龚志红,李志艺,倪飞,林顺,
申请(专利权)人:厦门雅基软件有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。