一种三维人脸动画生成方法及系统技术方案

本说明书实施例提供一种三维人脸动画生成方法及系统，涉及人脸动画技术领域

【技术实现步骤摘要】
一种三维人脸动画生成方法及系统


[0001]本说明书涉及人脸动画
，特别涉及一种三维人脸动画生成方法及系统
。

技术介绍

[0002]随着计算机视觉
、
图形学技术以及元宇宙的快速发展，相关技术逐步深入应用到各个领域，其中包括人脸动画生成
。
[0003]目前，人脸动画生成主要通过真人动捕和模型驱动两种方式进行
。
其中，真人动捕方式需要真人进行录制真实面部表情，需耗费大量的人力成本
。
模型驱动方式是采用模型生成相关的人脸动画数据，可自动快速生成，节约时间和人力成本，但形成的脸部表情比较中性和不自然，无法体现出人物的情感
。
[0004]因此，希望提供一种三维人脸动画生成方法及系统，可以使人脸动画的脸部表情更加自然，提高人脸动画表达的准确性和情感表达效果，提升用户的使用体验
。

技术实现思路

[0005]本说明书一个或多个实施例提供一种三维人脸动画生成方法
。
所述方法由处理器执行，包括：基于人物基本要素，生成动画基础特征，所述动画基础特征包括风格特征和语音特征中的至少一种；基于所述动画基础特征，通过特征融合模型生成融合动画特征，其中，所述特征融合模型为机器学习模型；基于所述融合动画特征，通过表情生成模型生成人脸表情动画，其中，所述表情生成模型为机器学习模型
。
[0006]本说明书一个或多个实施例提供一种三维人脸动画生成系统
。
所述系统包括：基础生成模块
、
融合生成模块和表情生成模块，其中，所述基础生成模块被配置为基于人物基本要素，生成动画基础特征，所述动画基础特征包括风格特征和语音特征中的至少一种；所述融合生成模块被配置为基于所述动画基础特征，通过特征融合模型生成融合动画特征，其中，所述特征融合模型为机器学习模型；所述表情生成模块被配置为基于所述融合动画特征，通过表情生成模型生成人脸表情动画，其中，所述表情生成模型为机器学习模型
。
[0007]本说明书一个或多个实施例提供一种三维人脸动画生成装置，所述装置包括：至少一个处理器以及至少一个存储器，所述至少一个存储器用于存储计算机指令，所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现所述三维人脸动画生成方法
。
[0008]本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行所述三维人脸动画生成方法
。
[0009]有益效果：基于人物基本要素，可以确定与人物基本要素相匹配的语音特征和风格特征，通过使用特征融合模型，可以快速准确地根据语音特征和风格特征生成融合动画特征，基于表情生成模型对融合动画特征进行处理，生成口型匹配度高
、
语音同步性强
、
表情自然逼真
、
情感可控的
3D
人脸表情动画，可以保证生成的三维人脸动画的脸部表情更加自然，也提高了人脸动画表达的准确性和情感表达效果，以及提升了用户的使用体验，充分
满足用户需求
。
附图说明
[0010]本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述
。
这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：图1是根据本说明书一些实施例所示的三维人脸动画生成系统的应用场景示意图；图2是根据本说明书一些实施例所示的三维人脸动画生成系统的示例性模块图；图3是根据本说明书一些实施例所示的三维人脸动画生成方法的示例性流程图；图4是根据本说明书一些实施例所示的特征融合模型和权重确定模型的示例性示意图；图5是根据本说明书一些实施例所示的音素生成模型的示例性示意图；图6是根据本说明书一些实施例所示的三维人脸动画生成方法的示例性总示意图
。
具体实施方式
[0011]为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍
。
显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景
。
除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作
。
[0012]应当理解，本文使用的“系统”、“装置”、“单元”和
/
或“模块”是用于区分不同级别的不同组件
、
元件
、
部件
、
部分或装配的一种方法
。
然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语
。
[0013]除非上下文明确提示例外情形，“一”、“一个”、“一种”和
/
或“该”等词并非特指单数，也可包括复数
。
一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素
。
[0014]本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作
。
应当理解的是，前面或后面操作不一定按照顺序来精确地执行
。
相反，可以按照倒序或同时处理各个步骤
。
同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作
。
[0015]图1是根据本说明书一些实施例所示的三维人脸动画生成系统的应用场景示意图
。
[0016]在一些实施例中，在三维人脸动画生成系统的应用场景
100
中可以通过实施本说明书中披露的方法和
/
或过程以得到人脸表情动画
。
[0017]如图1所示，三维人脸动画生成系统的应用场景
100
可以包括处理器
110、
网络
120、
存储设备
130
以及终端
140。
[0018]在一些实施例中，处理器
110
可以用于处理与三维人脸动画生成系统的应用场景
100
相关的信息和
/
或数据，以执行一个或多个本申请中描述的功能
。
例如，处理器
110
可以基于人物基本要素，生成对应的动画基础特征；基于动画基础特征，通过特征融合模型生成融合动画特征
。
又例如，处理器
110
可以基于融合动画特征，通过表情生成模型生成人脸表情动画
。
在一些实施例中，处理器
110
可以包括一个或以上处理引擎（例如，单芯片处理引擎或多芯片处理引擎）
。
仅作为示例，处理器
110本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种三维人脸动画生成方法，其特征在于，所述方法由处理器执行，包括：基于人物基本要素，生成动画基础特征，所述动画基础特征包括风格特征和语音特征中的至少一种；基于所述动画基础特征，通过特征融合模型生成融合动画特征，其中，所述特征融合模型为机器学习模型；基于所述融合动画特征，通过表情生成模型生成人脸表情动画，其中，所述表情生成模型为机器学习模型
。2.
根据权利要求1所述的方法，其特征在于，所述人物基本要素包括表情风格要素，所述表情风格要素包括表情风格图片
、
表情风格视频
、
风格标识号和风格强度中的至少一种，所述基于人物基本要素，生成动画基础特征包括：基于所述表情风格要素，通过风格编码模型生成所述风格特征，所述风格编码模型为机器学习模型
。3.
根据权利要求1所述的方法，其特征在于，所述人物基本要素包括语音要素，所述语音特征包括语音能量特征和音素特征中的至少一种，所述基于人物基本要素，生成动画基础特征包括：基于所述语音要素，生成所述语音能量特征；以及基于所述语音要素，通过音素生成模型生成所述音素特征，所述音素生成模型为机器学习模型
。4.
根据权利要求1所述的方法，其特征在于，所述表情生成模型包括特征编码器和表情解码器，所述基于所述融合动画特征，通过表情生成模型生成人脸表情动画包括：基于所述融合动画特征，通过所述特征编码器确定编码结果；基于所述编码结果，通过所述表情解码器生成表情系数序列；基于所述表情系数序列，通过动画合成处理生成所述人脸表情动画
。5.
根据权利要求1所述的方法，其特征在于，所述特征融合模型和所述表情生成模型基于联合训练得到，所述联合训练的训练过程包括：构建训练数据集；基于所述训练数据集，通过所述联合训练获取所述特征融合模型和所述表情生成模型
。6.
一种三维人脸...

【专利技术属性】
技术研发人员：王新文，陈珉，林俊江，朱禹，
申请(专利权)人：浙江同花顺智能科技有限公司，
类型：发明
国别省市：