一种表情生成方法及装置制造方法及图纸

本公开涉及一种表情生成方法及装置

【技术实现步骤摘要】
一种表情生成方法及装置、电子设备和存储介质


[0001]本公开涉及数字人表情领域，尤其涉及一种表情生成方法及装置
、
电子设备和存储介质
。

技术介绍

[0002]三维人脸驱动技术是数字人生成流程中的关键部分，主要是指对给定不同形式的输入
(
如文本
、
语音
、
视频等
)
，进行算法的处理后，生成对应的三维人脸动画，从而生成数字人表情动画
。
[0003]数字人表情生成的需求有多种，可以是表现人脸的丰富细节，以提高人脸表情的真实逼真度，也可以是提高人脸表情生成的效率，使得单位时间内人脸表情能够多次转换，以提高人脸表情转换的自然度
。
现有技术中，对同一输入往往只能生成一种固定的数字人表情动画，不能根据用户需求实现数字人表情动画的定制输出
。

技术实现思路

[0004]有鉴于此，本公开提出了一种表情生成技术方案
。
[0005]根据本公开的一方面，提供了一种表情生成方法，包括：获取目标三维人脸模型的驱动信号，并确定至少一种输出形式；对所述目标三维人脸模型的顶点坐标和顶点连接关系进行特征提取，得到目标模型特征；对所述驱动信号进行特征提取，得到驱动信号特征；利用所述目标模型特征和所述驱动信号特征，生成各种输出形式分别对应的各种表情驱动数据，并分别利用所述各种表情驱动数据生成所述目标三维人脸模型在所述各种输出形式下的表情图像
。
[0006]在一种可能的实现方式中，所述方法，还包括：获取目标三维人脸模型表情基；所述利用所述目标模型特征和所述驱动信号特征，生成各种输出形式分别对应的各种表情驱动数据，并分别利用所述各种表情驱动数据生成所述目标三维人脸模型在所述各种输出形式下的表情图像，包括：利用所述目标三维人脸模型表情基
、
所述目标模型特征和所述驱动信号特征，生成各种输出形式分别对应的各种表情驱动数据，并分别利用所述各种表情驱动数据生成所述目标三维人脸模型在所述各种输出形式下的表情图像
。
[0007]在一种可能的实现方式中，在输出形式包括表情基系数输出形式的情况下，所述利用所述目标三维人脸模型表情基
、
所述目标模型特征和所述驱动信号特征，生成各种输出形式分别对应的各种表情驱动数据，并分别利用所述各种表情驱动数据生成所述目标三维人脸模型在所述各种输出形式下的表情图像，包括：将所述目标模型特征
、
所述驱动信号特征和所述目标三维人脸模型表情基输入解码器，得到表情基系数；根据所述目标三维人脸模型表情基和所述表情基系数，得到所述表情图像
。
[0008]在一种可能的实现方式中，所述解码器的训练过程，包括：获取样本三维人脸模型的样本驱动信号和所述样本驱动信号对应的样本表情基系数；对样本三维人脸模型的顶点坐标和顶点连接关系进行特征提取，得到样本模型特征；对所述样本驱动信号进行特征提
取，得到样本驱动信号特征；根据样本三维人脸模型表情基
、
所述样本模型特征
、
所述样本驱动信号特征和所述样本表情基系数，对所述解码器进行训练
。
[0009]在一种可能的实现方式中，在输出形式包括顶点位移输出形式的情况下，所述利用所述目标三维人脸模型表情基
、
所述目标模型特征和所述驱动信号特征，生成各种输出形式分别对应的各种表情驱动数据，并分别利用所述各种表情驱动数据生成所述目标三维人脸模型在所述各种输出形式下的表情图像，包括：对所述目标模型特征
、
所述驱动信号特征和所述目标三维人脸模型表情基进行解码，确定顶点位移；根据所述目标三维人脸模型表情基和所述顶点位移，得到所述表情图像
。
[0010]在一种可能的实现方式中，所述目标三维人脸模型表情基的生成过程，包括：获取标准三维人脸模型表情基；对各个所述标准三维人脸模型表情基的顶点坐标和顶点连接关系进行特征提取，得到各个所述标准三维人脸模型表情基的标准模型特征；根据所述标准模型特征和所述目标模型特征，得到所述标准三维人脸模型表情基对应的目标三维人脸模型表情基
。
[0011]在一种可能的实现方式中，所述根据所述标准模型特征和所述目标模型特征，得到所述标准三维人脸模型表情基对应的目标三维人脸模型表情基，包括：获取对应顶点距离，所述对应顶点距离为各个有表情的标准三维人脸模型表情基与无表情的标准三维人脸模型表情基的各个对应顶点之间的距离；根据所述对应顶点距离和所述目标模型特征，得到所述目标模型特征中的顶点在各个标准三维人脸模型表情基中的仿射变换数据；根据所述仿射变换数据，得到所述标准三维人脸模型表情基对应的所述目标三维人脸模型表情基
。
[0012]在一种可能的实现方式中，所述对所述驱动信号进行特征提取，得到驱动信号特征，包括：根据驱动信号类型，确定与所述驱动信号类型匹配的驱动信号编码器，所述驱动信号编码器包括语音编码器
、
文本编码器和视频编码器；通过所述匹配的驱动信号编码器，得到所述驱动信号特征
。
[0013]在一种可能的实现方式中，所述驱动信号编码器的训练过程包括：获取语音训练数据
、
文本训练数据和视频训练数据；分别提取所述语音训练数据
、
所述文本训练数据和所述视频训练数据的第一特征向量
、
第二特征向量和第三特征向量；调整所述语音编码器
、
所述文本编码器和所述视频编码器的参数，使调整参数后的所述语音编码器
、
所述文本编码器和所述视频编码器输出的第一优化后特征向量
、
第二优化后特征向量和第三优化后特征向量中表达相同语义的特征向量对齐
。
[0014]根据本公开的另一方面，提供了一种表情生成装置，包括：驱动信号和输出形式确定模块，用于获取目标三维人脸模型的驱动信号，并确定至少一种输出形式；目标模型特征确定模块，用于对所述目标三维人脸模型的顶点坐标和顶点连接关系进行特征提取，得到目标模型特征；驱动信号特征确定模块，用于对所述驱动信号进行特征提取，得到驱动信号特征；表情图像生成模块，用于利用所述目标模型特征和所述驱动信号特征，生成各种输出形式分别对应的各种表情驱动数据，并分别利用所述各种表情驱动数据生成所述目标三维人脸模型在所述各种输出形式下的表情图像
。
[0015]在一种可能的实现方式中，所述装置，还包括：目标三维人脸模型表情基获取模块，用于获取目标三维人脸模型表情基；所述表情图像生成模块，用于：利用所述目标三维
人脸模型表情基
、
所述目标模型特征和所述驱动信号特征，生成各种输出形式分别对应的各种表情驱动数据，并分别利用所述各种表情驱动数据生成所述目标三维人脸模型在所述各种输出形式下的表情图像
。
[0016]在一种可能的实现方式中，在输出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种表情生成方法，其特征在于，包括：获取目标三维人脸模型的驱动信号，并确定至少一种输出形式；对所述目标三维人脸模型的顶点坐标和顶点连接关系进行特征提取，得到目标模型特征；对所述驱动信号进行特征提取，得到驱动信号特征；利用所述目标模型特征和所述驱动信号特征，生成各种输出形式分别对应的各种表情驱动数据，并分别利用所述各种表情驱动数据生成所述目标三维人脸模型在所述各种输出形式下的表情图像
。2.
根据权利要求1所述方法，所述方法，还包括：获取目标三维人脸模型表情基；所述利用所述目标模型特征和所述驱动信号特征，生成各种输出形式分别对应的各种表情驱动数据，并分别利用所述各种表情驱动数据生成所述目标三维人脸模型在所述各种输出形式下的表情图像，包括：利用所述目标三维人脸模型表情基
、
所述目标模型特征和所述驱动信号特征，生成各种输出形式分别对应的各种表情驱动数据，并分别利用所述各种表情驱动数据生成所述目标三维人脸模型在所述各种输出形式下的表情图像
。3.
根据权利要求2所述的方法，其特征在于，在输出形式包括表情基系数输出形式的情况下，所述利用所述目标三维人脸模型表情基
、
所述目标模型特征和所述驱动信号特征，生成各种输出形式分别对应的各种表情驱动数据，并分别利用所述各种表情驱动数据生成所述目标三维人脸模型在所述各种输出形式下的表情图像，包括：将所述目标模型特征
、
所述驱动信号特征和所述目标三维人脸模型表情基输入解码器，得到表情基系数；根据所述目标三维人脸模型表情基和所述表情基系数，得到所述表情图像
。4.
根据权利要求3所述的方法，其特征在于，所述解码器的训练过程，包括：获取样本三维人脸模型的样本驱动信号和所述样本驱动信号对应的样本表情基系数；对样本三维人脸模型的顶点坐标和顶点连接关系进行特征提取，得到样本模型特征；对所述样本驱动信号进行特征提取，得到样本驱动信号特征；根据样本三维人脸模型表情基
、
所述样本模型特征
、
所述样本驱动信号特征和所述样本表情基系数，对所述解码器进行训练
。5.
根据权利要求2所述的方法，其特征在于，在输出形式包括顶点位移输出形式的情况下，所述利用所述目标三维人脸模型表情基
、
所述目标模型特征和所述驱动信号特征，生成各种输出形式分别对应的各种表情驱动数据，并分别利用所述各种表情驱动数据生成所述目标三维人脸模型在所述各种输出形式下的表情图像，包括：对所述目标模型特征
、
所述驱动信号特征和所述目标三维人脸模型表情基进行解码，确定顶点位移；根据所述目标三维人脸模型表情基和所述顶点位移，得到所述表情图像
。6.
根据权利要求2所述的方法，其特征在于，所述目标三维人脸模型表情基的生成过程，包括：获取标准三维人脸模型表情基；
对各个所述标准三维人脸模...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：摩尔线程智能科技北京有限责任公司，
类型：发明
国别省市：