人脸关键点信息获取方法、生成人脸动画的方法及装置制造方法及图纸

本公开涉及一种人脸关键点信息获取方法、生成人脸动画的方法及装置。人脸关键点信息获取方法包括：获取对样本人脸同步录制的样本视频和样本音频；确定所述样本视频的每一视频帧中的人脸关键点信息，以得到关键点信息序列；确定所述样本音频的每一音频帧的音频频谱，以得到音频频谱序列；将所述关键点信息序列和所述音频频谱序列作为神经网络模型的输入，并将关键点标注信息序列作为所述神经网络模型的目标输出，对所述神经网络模型进行训练，以得到人脸关键点获取模型；利用所述人脸关键点获取模型获取人脸关键点信息。通过本公开训练得到的人脸关键点获取模型，输出的人脸关键点准确性高、稳定性高。稳定性高。稳定性高。

【技术实现步骤摘要】
人脸关键点信息获取方法、生成人脸动画的方法及装置


[0001]本公开涉及计算机
，具体地，涉及一种人脸关键点信息获取方法、生成人脸动画的方法及装置。

技术介绍

[0002]语音识别与文本合成语音技术常应用于音频驱动的虚拟形象人脸动画生成，输入音频生成与音频流相符的目标人脸的人脸动画，从而完成该目标人脸的音频驱动。
[0003]目前，基于音频生成与音频流相符的目标人脸的人脸动画，需要先根据目标音频通过人脸关键点获取模型得到与目标音频对应的目标人脸的人脸关键点序列，然后根据人脸关键点序列和目标人脸的基准图像，生成目标人脸的动画。
[0004]进而，如何训练得到人脸关键点模型，成为基于音频生成与音频流相符的目标人脸的人脸动画的关键。

技术实现思路

[0005]提供该部分内容以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该部分内容并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0006]第一方面，本公开提供一种人脸关键点信息获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸关键点信息获取方法，其特征在于，所述方法包括：获取对样本人脸同步录制的样本视频和样本音频；确定所述样本视频的每一视频帧中的人脸关键点信息，以得到关键点信息序列，其中，所述人脸关键点信息包括不与发声联动的第一人脸关键点的信息；确定所述样本音频的每一音频帧的音频频谱，以得到音频频谱序列；将所述关键点信息序列和所述音频频谱序列作为神经网络模型的输入，并将关键点标注信息序列作为所述神经网络模型的目标输出，对所述神经网络模型进行训练，以得到人脸关键点获取模型，其中，所述关键点标注信息序列包括所述样本人脸对应于每一所述视频帧的人脸关键点标注信息，所述人脸关键点标注信息包括所述第一人脸关键点的标注信息和与发声联动的第二人脸关键点的标注信息；利用所述人脸关键点获取模型获取人脸关键点信息。2.根据权利要求1所述的方法，其特征在于，所述将所述关键点信息序列和所述音频频谱序列作为神经网络模型的输入，并将关键点标注信息序列作为所述神经网络模型的目标输出，对所述神经网络模型进行训练，以得到人脸关键点获取模型，包括：对所述音频频谱序列进行编码，得到音频频谱特征向量序列；对所述关键点信息序列进行编码，得到关键点信息特征向量序列；根据所述音频频谱特征向量序列和所述关键点信息特征向量序列，获取关键点预测信息序列，所述关键点预测信息序列包括所述样本人脸对应于每一所述视频帧的人脸关键点预测信息，所述人脸关键点预测信息包括所述第一人脸关键点的预测信息和所述第二人脸关键点的预测信息；根据所述关键点预测信息序列和所述关键点标注信息序列之间的差异，对所述神经网络模型进行训练，以得到所述人脸关键点获取模型。3.根据权利要求2所述的方法，其特征在于，所述神经网络模型包括音频频谱编码器、人脸关键点编码器和解码器；其中，所述音频频谱编码器用于对所述音频频谱序列进行编码，得到所述音频频谱特征向量序列；所述人脸关键点编码器用于对所述关键点信息序列进行编码，得到所述关键点信息特征向量序列；所述解码器用于根据所述音频频谱特征向量序列和所述关键点信息特征向量序列，获取所述关键点预测信息序列。4.根据权利要求3所述的方法，其特征在于，所述解码器用于根据所述音频频谱特征向量序列和所述关键点信息特征向量序列，基于转置卷积的上采样方式，获取所述关键点预测信息序列。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，所述第一人脸关键点包括...

【专利技术属性】
技术研发人员：毕成，马泽君，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：