语音驱动人脸模型处理方法、装置及电子设备制造方法及图纸

技术编号:40942370 阅读:40 留言:0更新日期:2024-04-18 14:59
本申请实施例提供了一种语音驱动人脸模型处理方法、装置及电子设备,涉及计算机技术领域。该方法包括:将音频数据输入训练好的语音驱动人脸模型,得到模型形变数据;同时,基于语音驱动人脸模型的模板网格,获取模板网格和目标动画系统的基准网格之间的静态注册关系,然后基于静态注册关系确定目标动画系统中各个模型基底对应的最优形变基底,基于模型形变数据与最优形变基底,获取目标模型形变数据,实现通过标模型形变数据驱动目标动画系统,生成目标动画,提高了语音驱动人脸模型的可迁移性,从而减少模型迁移和应用成本,提高动画生成效率。

【技术实现步骤摘要】

本申请涉及计算机,具体而言,本申请涉及一种语音驱动人脸模型处理方法、装置及电子设备


技术介绍

1、近年来,基于语音驱动的人脸动画技术在虚拟主持人、数字娱乐、人机交互以及远程会议等方面有广泛的应用。如何快速、高效的实现语音驱动的唇形自动合成,以及优化语音与唇形面部表情之间的同步是此项技术的关键。

2、目前,语音驱动人脸(或口型)动画的建模和实现通常是以音频数据作为输入,以形变数据进行输出。然而,若将语音驱动人脸模型输出的形变数据直接应用于目标动画系统,难以保证形变数据可以正常驱动目标动画系统中的模型形变,使得模型展示效果不够好,模型可迁移性不强,难以满足实际应用需求。


技术实现思路

1、本申请实施例的目的旨在能解决语音驱动人脸模型可迁移性不强的问题。

2、第一方面,提供了一种语音驱动人脸模型处理方法,该方法包括:

3、获取语音驱动人脸模型;语音驱动人脸模型包括模板网格;获取待处理的音频数据,将音频数据输入输入语音驱动人脸模型,得到模型形变数据;模型形变数据与语音驱动人脸模型本文档来自技高网...

【技术保护点】

1.一种语音驱动人脸模型处理方法,其特征在于,包括:

2.根据权利要求1所述的语音驱动人脸模型处理方法,其特征在于,所述基于所述语音驱动人脸模型的模板网格,获取所述模板网格和目标动画系统的基准网格之间的静态注册关系,包括:

3.根据权利要求2所述的语音驱动人脸模型处理方法,其特征在于,所述通过预设的标注工具获取所述模板网格和目标动画系统的基准网格之间的关键点映射关系,包括:

4.根据权利要求1所述的语音驱动人脸模型处理方法,其特征在于,所述静态注册关系包括所述模板网格和所述基准网格在进行静态注册之后得到的多个注册点之间的对应关系;所述基于所述静态注册关...

【技术特征摘要】

1.一种语音驱动人脸模型处理方法,其特征在于,包括:

2.根据权利要求1所述的语音驱动人脸模型处理方法,其特征在于,所述基于所述语音驱动人脸模型的模板网格,获取所述模板网格和目标动画系统的基准网格之间的静态注册关系,包括:

3.根据权利要求2所述的语音驱动人脸模型处理方法,其特征在于,所述通过预设的标注工具获取所述模板网格和目标动画系统的基准网格之间的关键点映射关系,包括:

4.根据权利要求1所述的语音驱动人脸模型处理方法,其特征在于,所述静态注册关系包括所述模板网格和所述基准网格在进行静态注册之后得到的多个注册点之间的对应关系;所述基于所述静态注册关系确定各个模型基底对应的最优形变基底,包括:

5.根据权利要求1所述的语音驱动人脸模型处理方法,其特征在于,所述基于所述模型形变数据与所述最优形变基底,获取目标模型形变数据,包括:

6.根据权利要求1所述的语音驱动人脸模型处理方法,其...

【专利技术属性】
技术研发人员:陈璞龚志红李志艺倪飞林顺
申请(专利权)人:厦门雅基软件有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1