虚拟人授课动画生成方法、装置、计算机设备和存储介质制造方法及图纸

本申请属于人工智能的机器学习技术领域，可用于金融领域的投资教育、医疗领域的病理教学等场景，特别涉及一种虚拟人授课动画生成方法、装置、计算机设备和存储介质。方法包括：获取音频、人脸照片和动作视频，音频包括内容信息和感情信息；基于音频及预训练的声脸推理模型获得第一人脸关键点；基于人脸照片获得第二人脸关键点；根据第一人脸关键点和第二人脸关键点获取目标人脸文件；基于动作视频获得目标动作文件；将目标人脸文件和目标动作文件导入预设的虚拟人模型，获得脸部动画和身体动作动画；将脸部动画和身体动作动画合成，获得虚拟人模型的授课动画。上述方法、装置、计算机设备和存储介质可提高教学效果。和存储介质可提高教学效果。和存储介质可提高教学效果。

【技术实现步骤摘要】
虚拟人授课动画生成方法、装置、计算机设备和存储介质


[0001]本申请涉及人工智能
，具体而言，本申请涉及一种虚拟人授课动画生成方法、装置、计算机设备和存储介质。

技术介绍

[0002]目前，很多领域都有教学需求(如金融领域的投资教育、医疗领域的病理教学、教育领域的课程培训等)，网络视频教学也越来越流行，而聘请真人教师制作视频往往成本较高，这时虚拟人讲师的性价比较高，而且真人的吸引力往往也不如虚拟动画。现有的虚拟人教学动画也存在授课基本无表情动作，说话没有对应的口型等问题,而人脸的表情和口型对语言表达却很重要，因此需要投入更多的研究。

技术实现思路

[0003]本申请的主要目的为提供一种虚拟人授课动画生成方法、装置、计算机设备和存储介质，旨在解决现有的虚拟人教学动画人脸的表情和口型与真实的语言表达匹配度较低，导致教学效果较差的技术问题。
[0004]为了实现上述专利技术目的，本申请提供一种虚拟人授课动画生成方法，包括：
[0005]获取待处理的音频、人脸照片和动作视频，其中，所述音频包括内容信息和感情信息；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟人授课动画生成方法，其特征在于，包括：获取待处理的音频、人脸照片和动作视频，其中，所述音频包括内容信息和感情信息；基于所述音频以及预训练的声脸推理模型获得第一人脸关键点，以及基于所述人脸照片获得第二人脸关键点；根据所述第一人脸关键点和所述第二人脸关键点获取目标人脸文件；基于所述动作视频获得目标动作文件；将所述目标人脸文件和所述目标动作文件导入预设的虚拟人模型，获得所述虚拟人模型的脸部动画和身体动作动画；将所述脸部动画和所述身体动作动画合成，获得所述虚拟人模型的授课动画。2.根据权利要求1所述的虚拟人授课动画生成方法，其特征在于，所述根据所述第一人脸关键点和所述第二人脸关键点获取目标人脸文件的步骤，包括；将所述第一人脸关键点与所述第二人脸关键点对齐，生成人脸网格序列；将所述人脸网格序列导出为第一预设格式的目标人脸文件。3.根据权利要求1所述的虚拟人授课动画生成方法，其特征在于，所述基于所述动作视频获得目标动作文件的步骤，包括：提取所述动作视频中的骨骼动作序列；将所述骨骼动作序列导出为第二预设格式的目标动作文件。4.根据权利要求1所述的虚拟人授课动画生成方法，其特征在于，在所述将所述目标人脸文件和所述目标动作文件导入所述预设的虚拟人模型的步骤之后，还包括：调整所述虚拟人模型的骨骼与所述目标动作文件中的骨骼动作序列的各关节的映射。5.根据权利要求1所述的虚拟人授课动画生成方法，其特征在于，在所述将所述脸部动画和所述身体动作动画合成，获得所述虚拟人模型的授课动画的步骤之后，还包括：添加与所述虚拟人模型的授课动画相应的场景动画。6.根据权利要求1所述的虚拟人授课动画生成方法，其特征在于，所述预训练的声脸推理模型的训练步骤，包括：获取训练集，所述训练集包括内...

【专利技术属性】
技术研发人员：郑喜民，黄嘉铉，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：