虚拟形象视频的生成方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术公开了一种虚拟形象视频的生成方法、装置、电子设备和存储介质，该方法包括：获取待讲解的目标文档，根据目标文档的文档内容生成文档视频，并根据文档内容中的文本数据生成目标音频；将目标音频的音频帧序列输入预设特征点预测模型，得到与音频帧序列对应的面部特征点序列；根据预设真人形象的录制视频确定与预设真人形象对应的唇动特征；基于面部特征点序列和唇动特征驱动预设虚拟形象的面部，得到讲解视频；基于讲解视频和文档视频生成预设虚拟形象讲解目标文档的目标视频，实现在演示文档内容的同时，通过虚拟形象对演示文档进行同步讲解，从而更加高效的对演示文档进行讲解，提升了用户体验。提升了用户体验。提升了用户体验。

【技术实现步骤摘要】
虚拟形象视频的生成方法、装置、电子设备和存储介质


[0001]本申请涉及计算机
，更具体地，涉及一种虚拟形象视频的生成方法、装置、电子设备和存储介质。

技术介绍

[0002]在教学及演讲过程中，演示文档已经成为了主要工具。演示文档具有丰富的文字和图像，能够生动灵活展示更多的信息。
[0003]目前，一般通过人工对演示文档进行讲解，人工成本较高，效率低。另外，也存在先将演示文档转换为语音，再基于语音与演示文档生成讲解视频，但该讲解视频中只是机械的读取演示文档的内容，讲解效果较差。
[0004]因此，如何更加高效的进行演示文档的讲解，是目前有待解决的技术问题。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]本申请实施例提出了一种虚拟形象视频的生成方法、装置、电子设备和存储介质，用以更加高效的进行演示文档的讲解。
[0007]第一方面，提供一种虚拟形象视频的生成方法，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟形象视频的生成方法，其特征在于，所述方法包括：获取待讲解的目标文档，根据所述目标文档的文档内容生成文档视频，并根据所述文档内容中的文本数据生成目标音频；将所述目标音频的音频帧序列输入预设特征点预测模型，得到与所述音频帧序列对应的面部特征点序列；根据预设真人形象的录制视频确定与所述预设真人形象对应的唇动特征；基于所述面部特征点序列和所述唇动特征驱动预设虚拟形象的面部，得到讲解视频；基于所述讲解视频和所述文档视频生成所述预设虚拟形象讲解所述目标文档的目标视频。2.如权利要求1所述的方法，其特征在于，所述根据预设真人形象的录制视频确定与所述预设真人形象对应的唇动特征，包括：将所述录制视频输入预设关键帧提取模型，得到多个视频关键帧；基于各所述视频关键帧确定所述唇动特征。3.如权利要求2所述的方法，其特征在于，所述基于各所述视频关键帧确定所述唇动特征，包括：在所述视频关键帧中识别出多个预设唇部关键点，并将各所述预设唇部关键点进行单向连接，得到唇部边缘轮廓；对所述唇部边缘轮廓进行曲线拟合，并提取曲线拟合后的唇部边缘轮廓中的曲率变化特征；基于各所述预设唇部关键点求得与所述唇部边缘轮廓对应的夹角变化特征；将所述曲率变化特征和所述夹角变化特征进行组合，得到所述唇动特征。4.如权利要求1所述的方法，其特征在于，在将所述目标音频的音频帧序列输入预设特征点预测模型，得到与所述音频帧序列对应的面部特征点序列之前，所述方法还包括：获取预设视频文件，其中，所述预设视频文件中包括样本音频以及同步播放的面部视频；从所述样本音频中提取样本音频帧，以及从所述面部视频中提取与所述样本音频帧同步的样本视频帧；从所述样本视频帧中提取样本面部特征点；根据所述样本音频帧和所述样本面部特征点对预设神经网络模型进行训练，训练完成后得到所述预设特征点预测模型。5.如权利要求1所述的方法，其特征在于，所述基于所述面部特征点序列和所述唇动特征驱动预设虚拟形象的面部，得到讲解视频，包括：根据所述预设虚拟形象的面部中的唇部位置从所述面部特征点序列中确定与各组面部特征点对应的多组...

【专利技术属性】
技术研发人员：沈中熙，钱晓亮，
申请(专利权)人：厦门黑镜科技有限公司，
类型：发明
国别省市：