面部动画生成方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种面部动画生成方法、装置、电子设备及存储介质，涉及人工智能技术领域。该方法包括：获取当前周期的音频的语音特征；通过语音驱动模型基于通道注意力机制和空间注意力机制，对语音特征进行注意力变换，确定当前周期的音频对应的面部动作数据；基于面部动作数据进行渲染，生成面部动画。本申请实施例提升了基于面部动作数据渲染得到的面部动画与对应音频之间的匹配度，提升了面部动画的效果。部动画的效果。部动画的效果。

【技术实现步骤摘要】
面部动画生成方法、装置、电子设备及存储介质


[0001]本申请涉及人工智能
，具体而言，本申请涉及一种面部动画生成方法、装置、电子设备及存储介质。

技术介绍

[0002]虚拟数字人的发展与其制作技术密不可分，从最早的手绘、电脑绘图到现在通过AI(Artificial Intelligence，人工智能)合成。现在人工智能已经成为数字人不可分割的工具，智能驱动的数字人成为主流，数字人正朝着智能化、精细化的方向发展。
[0003]语音驱动面部动作是虚拟数字人合成中的关键步骤，语音驱动面部动作的主要原理是根据语音或音素信号生成数字人的面部动画信息，通过后续的渲染服务，达到面部表情和口型与声音匹配的效果。
[0004]目前，语音驱动面部动作的方法主要是通过对语音进行音素的划分，基于语音包含的每一种音素对应的口型，生成面部动画。现有的语音驱动面部动作的方法通过音素对应的口型合成面部动画，生成的面部动画单一、不连贯，面部动画效果较差。

技术实现思路

[0005]本申请实施例提供了一种面部动画生成方法、装置、电子设备及存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面部动画生成方法，其特征在于，包括：获取当前周期的音频的语音特征；通过语音驱动模型基于通道注意力机制和空间注意力机制，对所述语音特征进行注意力变换，确定所述当前周期的音频对应的面部动作数据；其中，所述面部动作数据包括预设数量的面部动作类型以及与各个面部动作类型对应的动作系数；基于所述面部动作数据进行渲染，生成面部动画。2.根据权利要求1所述的面部动画生成方法，其特征在于，所述基于通道注意力机制和空间注意力机制，对所述语音特征进行注意力变换，确定所述当前周期的音频对应的面部动作数据，包括：基于通道注意力机制和空间注意力机制，对所述语音特征进行注意力变换，得到注意力特征；对所述注意力特征进行解码处理，得到第一中间特征；基于上一周期的音频对应的面部动作数据，对所述第一中间特征进行更新，基于更新后的第一中间特征，确定所述当前周期的音频对应的面部动作数据。3.根据权利要求2所述的面部动画生成方法，其特征在于，所述基于上一周期的音频对应的面部动作数据，对所述第一中间特征进行更新，包括：对所述上一周期的音频对应的面部动作数据进行维度变换，得到与所述中间特征维度一致的第二中间特征；对所述第一中间特征和所述第二中间特征进行加权，得到更新后的第一中间特征。4.根据权利要求3所述的面部动画生成方法，其特征在于，所述对所述第一中间特征和所述第二中间特征进行加权，得到更新后的第一中间特征，包括：基于训练后的语音驱动模型的参数确定所述第一中间特征对应的第一权重，以及所述第二中间特征对应的第二权重；基于所述第一中间特征及其对应的第一权重，以及所述第二中间特征及其对应的第二权重，确定更新后的第一中间特征。5.根据权利要求2所述的面部动画生成方法，其特征在于，所述基于通道注意力机制和空间注意力机制，对所述语音特征进行注意力变换，得到...

【专利技术属性】
技术研发人员：徐波，袁志勇，李传胜，姚云飞，欧阳晔，
申请(专利权)人：亚信科技中国有限公司，
类型：发明
国别省市：