一种视频生成方法、装置、设备和存储介质制造方法及图纸

本发明专利技术涉及软件图像合成领域，提供了一种视频生成方法、装置、设备和存储介质。方法包括：通过自动语音识别系统将每个音频数据分解成音素数据，并计算每个音素数据的后验概率，得到音素后验概率；通过3D人脸重建技术提取对应的视频数据中每一帧图像数据的人脸表情参数，得到表情特征向量；将多个音频数据对应的视频数据，通过递归神经网络将表情特征向量以及音素后验概率生成目标表情模型；获取待替换的目标视频；通过3D人脸重建技术提取对应的视频数据中每一帧图像数据的人脸三维重建模型，得到虚拟图像数据；将待替换的目标视频以及虚拟图像数据输入至生成式对抗神经网络，得到目标生成模型。提高了人脸合成的速度。提高了人脸合成的速度。提高了人脸合成的速度。

【技术实现步骤摘要】
一种视频生成方法、装置、设备和存储介质


[0001]本专利技术涉及图像合成领域，尤其涉及专利技术名称一种视频生成方法、装置、设备和存储介质。

技术介绍

[0002]虚拟人生成技术是一种基于人工智能驱动，利用音频生成特定形象的相应动作、表情、语言等的技术。虚拟人可以用在人工智能(Artificial Intelligence， AI)助手、AI主播、AI老师等各个领域中。其大致技术流程为先用循环神经网络(Recurrent Neural Network,RNN)等学习音频到说话表情的映射关系，之后利用表情参数控制人脸合成流程，合成最后的自然说话视频。由于AI虚拟人需要和人做大量的交互，若这些交互内容都用预先固定答案的回应预生成，效果会大打折扣。AI虚拟人合成技术的前半部分在目前业界水平已经可以达到实时生成，但从表情参数到合成清晰、高质量的人脸视频这一过程，因为运算量较大，视频的生成速度会大打折扣。由于表情参数是一个连续、高维的分布，表情控制的人脸合成流程很难通过预处理提前合成，而生成的过程较为耗时，很难做到实时生成视频。/>
技术实现思路
...

【技术保护点】

【技术特征摘要】
1.一种视频生成方法，其特征在于，所述方法包括：获取多个音频数据；通过自动语音识别系统将每个所述音频数据分解成音素数据，并计算每个所述音素数据的后验概率，得到音素后验概率；获取与所述多个音频数据对应的视频数据；通过3D人脸重建技术提取所述对应的视频数据中每一帧图像数据的人脸表情参数，得到表情特征向量；将所述多个音频数据对应的视频数据，通过递归神经网络将所述表情特征向量以及所述音素后验概率生成目标表情模型；获取待替换的目标视频；通过3D人脸重建技术提取所述对应的视频数据中每一帧图像数据的人脸三维重建模型，得到虚拟图像数据；将所述待替换的目标视频以及所述虚拟图像数据输入至生成式对抗神经网络，得到目标生成模型；将所述目标表情模型以及目标生成模型部署至客户端；通过所述客户端生成目标视频。2.根据权利要求1所述的方法，其特征在于，所述通过所述客户端生成目标视频，包括：获取用户输入的音频数据；将所述用户输入的音频数据输入至所述目标表情模型，得到目标表情；将所述目标表情输入至所述目标生成模型，生成目标图像；将所述目标表情以及所述目标图像通过聚类加速算法，合成对话视频。3.根据权利要求2所述的方法，其特征在于，所述将所述目标表情以及所述目标图像通过聚类加速算法，合成对话视频，包括：通过训练好的分类器分类所述目标表情，得到所述目标表情的类别；根据所述目标表情的类别以及所述目标表情生成合成图像；将所述合成图像替换所述目标图像对应的区域，得到替换后的图像；根据所述替换后的图像以及对应的所述音频数据合成对话视频。4.根据权利要求3所述的方法，其特征在于，所述通过训练好的分类器分类所述目标表情，得到所述目标表情的类别之前，所述方法还包括：获取多个表情特征；通过所述多个表情特征训练初始分类器，得到训练好的分类器；为所述训练好的分类器每个分类结果设置对应的表情，得到表情的类别。5.根据权利要求4所述的方法，其特征在于，所述通过3D人脸重建技术提取所述对应的视频数据中每一帧图像数据的人脸三维重建模型，得到虚拟图像数据，包括：通过3D人脸重建技术提取所述待替换的目标视频，得到3D人脸模型参数组，所述3D人脸模型参数组至少包括身份参数、表情参数、面部纹理参数、姿态参数以及光照参数；删除所述3D人脸模型参数组中的表情参数，得到去除后的模型参数数据；获取待生成的音频，得到待生成的音素后验概率；将所述待生成的音素后验概率输入至所述目标表情模型，得到目标表情参数；
合成...

【专利技术属性】
技术研发人员：周艺超，李坤，胡景强，刘鹏飞，孙立发，钟静华，
申请(专利权)人：深圳市声希科技有限公司，
类型：发明
国别省市：