本发明专利技术提供一种人脸动画生成方法及装置，所述方法包括：获取目标人脸图像，对目标人脸图像进行关键点特征提取，得到人脸关键点特征；获取目标音频与文本信息，基于自然语言处理技术对目标音频与文本信息进行情感语义分析，得到情感语义特征，基于情感语义特征进行表情动作特征提取，得到表情动作特征；对目标音频与文本信息按照时序进行信息抽取，得到语音信息帧；基于表情动作特征、语音信息帧和人脸关键点特征，得到人脸关键点位移信息；将目标人脸图像和人脸关键点位移信息输入训练好的图像转换生成器，得到面部动画图像帧。本发明专利技术能够生成表情丰富的面部动画，并生成了在接收用户音频信息的场景下的面部动画，保证面部动画的真实性。动画的真实性。动画的真实性。
【技术实现步骤摘要】
人脸动画生成方法及装置
[0001]本专利技术涉及图像处理
，尤其涉及一种人脸动画生成方法及装置。
技术介绍
[0002]在人工智能技术中，虚拟人物交互得到越来越多的应用。其中，虚拟人物的面部动作画面包含了在虚拟人物说话场景下的口型动作，以及在接收用户信息或说话场景下的情感表情。
[0003]目前，相关技术中面部合成方法实现了音节、嘴型和音频的一致性，忽略了音频与文本的语义情感信息，导致生成的面部动画与真实的人际交流存在明显差异，并且，没有实现在虚拟人物接收用户音频信息的场景下的面部动画。
[0004]综上，相关技术中忽略了音频与文本的语义情感信息，导致生成的面部动画与真实的人际交流存在明显差异，并且，没有实现在虚拟人物接收用户音频信息的场景下的面部动画的技术问题亟待解决。
技术实现思路
[0005]本专利技术提供一种人脸动画生成方法及装置，用以解决相关技术中忽略了音频与文本的语义情感信息，导致生成的面部动画与真实的人际交流存在明显差异，并且，没有实现在虚拟人物接收用户音频信息的场景下的面部动画的技术问题。
[0006]第一方面，本专利技术提供一种人脸动画生成方法，包括：
[0007]获取目标人脸图像，对所述目标人脸图像进行关键点特征提取，得到人脸关键点特征；
[0008]获取目标音频与文本信息，基于自然语言处理技术对所述目标音频与文本信息进行情感语义分析，得到情感语义特征，基于所述情感语义特征进行表情动作特征提取，得到表情动作特征；
[0009]对所述目标音频与文本信息按照时序进行信息抽取，得到语音信息帧；
[0010]基于所述表情动作特征、语音信息帧和人脸关键点特征，得到人脸关键点位移信息；
[0011]将所述目标人脸图像和所述人脸关键点位移信息输入训练好的图像转换生成器，得到面部动画图像帧。
[0012]在一个实施例中，所述基于所述表情动作特征、语音信息帧和人脸关键点特征，得到人脸关键点位移信息，具体包括：
[0013]基于所述表情动作特征和所述语音信息帧，对所述人脸关键点特征进行关键点位移变换，得到人脸关键点位移信息；或者，
[0014]基于所述语音信息帧，对所述人脸关键点特征进行关键点位移变换，得到人脸关键点位移信息。
[0015]在一个实施例中，所述图像转换生成器是基于人脸图像样本、音频与文本信息样
本以及所述人脸图像样本对应的面部动画图像帧样本进行生成对抗训练得到。
[0016]在一个实施例中，所述方法还包括：基于生成对抗训练得到所述图像转换生成器；
[0017]其中，所述基于生成对抗训练得到所述图像转换生成器，包括：
[0018]构建初始生成对抗网络；
[0019]获取人脸图像样本以及所述人脸图像样本对应的面部动画图像帧样本，对所述人脸图像样本进行人脸关键点特征提取，得到人脸关键点特征样本；
[0020]获取音频与文本信息样本，基于自然语言处理技术对所述音频与文本信息样本进行情感语义分析，得到情感语义特征样本，基于所述情感语义特征样本进行表情动作特征提取，得到表情动作特征样本；
[0021]对所述音频与文本信息样本按照时序进行信息抽取，得到语音信息帧样本；
[0022]基于所述表情动作特征样本、语音信息帧样本和人脸关键点特征样本，得到人脸关键点位移信息样本；
[0023]将所述人脸图像样本和所述人脸关键点位移信息样本输入至所述初始生成对抗网络的生成器，得到第一面部动画图像帧；
[0024]将所述第一面部动画图像帧与所述面部动画图像帧样本输入到所述初始生成对抗网络的判别器，得到梯度信息；
[0025]将所述梯度信息反馈至所述生成器，进行生成对抗训练；
[0026]训练结束时，得到训练好的生成对抗网络，将所述训练好的生成对抗网络的生成器作为所述图像转换生成器。
[0027]在一个实施例中，所述基于所述表情动作特征样本、语音信息帧样本和人脸关键点特征样本，得到人脸关键点位移信息样本，包括：
[0028]基于所述表情动作特征样本和所述语音信息帧样本，对所述人脸关键点特征样本进行关键点位移变换，得到人脸关键点位移信息样本；或者，
[0029]基于所述语音信息帧样本，对所述人脸关键点特征样本进行关键点位移变换，得到人脸关键点位移信息样本。
[0030]在一个实施例中，所述基于所述情感语义特征进行表情动作特征提取，得到表情动作特征，包括：
[0031]将所述情感语义特征，或者将所述情感语义特征和目标音频，输入至深度学习网络进行表情动作特征提取，得到表情动作特征。
[0032]第二方面，本专利技术提供一种人脸动画生成装置，包括：
[0033]第一特征提取模块，用于获取目标人脸图像，对所述目标人脸图像进行关键点特征提取，得到人脸关键点特征；
[0034]第二特征提取模块，用于获取目标音频与文本信息，基于自然语言处理技术对所述目标音频与文本信息进行情感语义分析，得到情感语义特征，基于所述情感语义特征进行表情动作特征提取，得到表情动作特征；
[0035]时序抽取模块，用于对所述目标音频与文本信息按照时序进行信息抽取，得到语音信息帧；
[0036]位移变换模块，用于基于所述表情动作特征、语音信息帧和人脸关键点特征，得到人脸关键点位移信息；
[0037]生成模块，用于将所述目标人脸图像和所述人脸关键点位移信息输入训练好的图像转换生成器，得到面部动画图像帧。
[0038]在一个实施例中，还包括：训练模块，用于基于生成对抗训练得到所述图像转换生成器；
[0039]所述训练模块，具体用于：
[0040]构建初始生成对抗网络；
[0041]获取人脸图像样本以及所述人脸图像样本对应的面部动画图像帧样本，对所述人脸图像样本进行人脸关键点特征提取，得到人脸关键点特征样本；
[0042]获取音频与文本信息样本，基于自然语言处理技术对所述音频与文本信息样本进行情感语义分析，得到情感语义特征样本，基于所述情感语义特征样本进行表情动作特征提取，得到表情动作特征样本；
[0043]对所述音频与文本信息样本按照时序进行信息抽取，得到语音信息帧样本；
[0044]基于所述表情动作特征样本、语音信息帧样本和人脸关键点特征样本，得到人脸关键点位移信息样本；
[0045]将所述人脸图像样本和所述人脸关键点位移信息样本输入至所述初始生成对抗网络的生成器，得到第一面部动画图像帧；
[0046]将所述第一面部动画图像帧与所述面部动画图像帧样本输入到所述初始生成对抗网络的判别器，得到梯度信息；
[0047]将所述梯度信息反馈至所述生成器，进行生成对抗训练；
[0048]训练结束时，得到训练好的生成对抗网络，将所述训练好的生成对抗网络的生成器作为所述图像转换生成器。
[0049]第三方面，本专利技术提供一种电子设备，包括存储器和存本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人脸动画生成方法，其特征在于，包括：获取目标人脸图像，对所述目标人脸图像进行关键点特征提取，得到人脸关键点特征；获取目标音频与文本信息，基于自然语言处理技术对所述目标音频与文本信息进行情感语义分析，得到情感语义特征，基于所述情感语义特征进行表情动作特征提取，得到表情动作特征；对所述目标音频与文本信息按照时序进行信息抽取，得到语音信息帧；基于所述表情动作特征、语音信息帧和人脸关键点特征，得到人脸关键点位移信息；将所述目标人脸图像和所述人脸关键点位移信息输入训练好的图像转换生成器，得到面部动画图像帧。2.根据权利要求1所述的人脸动画生成方法，其特征在于，所述基于所述表情动作特征、语音信息帧和人脸关键点特征，得到人脸关键点位移信息，具体包括：基于所述表情动作特征和所述语音信息帧，对所述人脸关键点特征进行关键点位移变换，得到人脸关键点位移信息；或者，基于所述语音信息帧，对所述人脸关键点特征进行关键点位移变换，得到人脸关键点位移信息。3.根据权利要求1所述的人脸动画生成方法，其特征在于，所述图像转换生成器是基于人脸图像样本、音频与文本信息样本以及所述人脸图像样本对应的面部动画图像帧样本进行生成对抗训练得到。4.根据权利要求1所述的人脸动画生成方法，其特征在于，所述方法还包括：基于生成对抗训练得到所述图像转换生成器；其中，所述基于生成对抗训练得到所述图像转换生成器，包括：构建初始生成对抗网络；获取人脸图像样本以及所述人脸图像样本对应的面部动画图像帧样本，对所述人脸图像样本进行人脸关键点特征提取，得到人脸关键点特征样本；获取音频与文本信息样本，基于自然语言处理技术对所述音频与文本信息样本进行情感语义分析，得到情感语义特征样本，基于所述情感语义特征样本进行表情动作特征提取，得到表情动作特征样本；对所述音频与文本信息样本按照时序进行信息抽取，得到语音信息帧样本；基于所述表情动作特征样本、语音信息帧样本和人脸关键点特征样本，得到人脸关键点位移信息样本；将所述人脸图像样本和所述人脸关键点位移信息样本输入至所述初始生成对抗网络的生成器，得到第一面部动画图像帧；将所述第一面部动画图像帧与所述面部动画图像帧样本输入到所述初始生成对抗网络的判别器，得到梯度信息；将所述梯度信息反馈至所述生成器，进行生成对抗训练；训练结束时，得到训练好的生成对抗网络，将所述训练好的生成对抗网络的生成器作为所述图像转换生成器。5.根据权利要求4所述的人脸动画生成方法，其特征在于，所述基于所述表情动作特征样本、语音信息帧样本和人脸关键点特征样本，得到人脸关键点位移信息样本，包括：
基于所述表情动作特征样本和所述语音信息帧样本，对所述人脸关键点特征样本进行关键点位移变换，得到...
【专利技术属性】
技术研发人员：司晨，刘佳琳，刘亚盟，井志刚，付强，王忠光，
申请(专利权)人：中移系统集成有限公司中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。