视频生成方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种视频生成方法、装置、电子设备及存储介质，涉及计算机技术领域，其中，方法包括：电子设备获取人脸图像后，将获取的人脸图像输入一阶运动模型进行动作合成，得到初始视频，初始视频中各视频帧人脸图像带有脸部动作；对初始视频中各视频帧人脸图像进行特征提取，得到各视频帧人脸图像对应的第一表情系数序列；将歌词输入多模态模型，得到歌词对应的第二表情系数序列；其中，多模态模型是根据歌词样本和表情系数序列之间的映射关系训练得到的；根据第一表情系数序列和第二表情系数序列对各视频帧人脸图像中的关键点进行调整，得到人脸动作与歌词匹配目标视频。由此，不仅节省了用户的时间，还提升了用户的使用体验。还提升了用户的使用体验。还提升了用户的使用体验。

【技术实现步骤摘要】
视频生成方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种视频生成方法、装置、电子设备及存储介质。

技术介绍

[0002]随着视频通信技术和移动设备的发展，以及近年来直播、短视频的盛行，在终端设备上拍摄短视频已成为用户的一种基本需求。
[0003]相关技术中，用户制作唱歌的短视频时，使用终端设备在用户唱歌的时候进行录制，以得到用户唱歌的短视频。但是，整个短视频的生成过程需要该用户全程参与，浪费了用户的大量时间。

技术实现思路

[0004]本公开提供一种视频生成方法、装置及电子设备，以至少解决相关技术中视频的生成过程需要用户全程参与，导致浪费用户的大量时间的技术问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种视频生成方法，包括：
[0006]获取人脸图像；
[0007]将人脸图像输入一阶运动模型进行动作合成，得到初始视频；一阶运动模型是根据人脸视频和预设的一阶运动算法训练得到的；初始视频中各视频帧人脸图像带有脸部动作；
[0008本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频生成方法，其特征在于，包括：获取人脸图像；将所述人脸图像输入一阶运动模型进行动作合成，得到初始视频；其中，所述一阶运动模型是根据人脸视频和预设的一阶运动算法训练得到的；所述初始视频中各视频帧人脸图像带有脸部动作；对所述初始视频中各视频帧人脸图像进行特征提取，得到所述各视频帧人脸图像对应的第一表情系数序列；将歌词输入多模态模型，得到所述歌词对应的第二表情系数序列；其中，所述多模态模型是根据歌词样本和表情系数序列之间的映射关系训练得到的；根据所述第一表情系数序列和所述第二表情系数序列对所述各视频帧人脸图像中的关键点进行调整，得到目标视频；所述目标视频中的人脸动作与所述歌词匹配。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一表情系数序列和所述第二表情系数序列对所述各视频帧人脸图像中的关键点进行调整，得到目标视频，包括：根据所述第一表情系数序列和所述第二表情系数序列对所述各视频帧人脸图像进行三维重建，得到每个视频帧人脸图像对应的目标三维人脸图像；将每个视频帧人脸图像对应的目标三维人脸图像进行拼接，得到目标视频。3.根据权利要求2所述的方法，其特征在于，所述第一表情系数序列包括第一口型系数序列，所述第二表情系数序列包括第二口型系数序列；所述根据所述第一表情系数序列和所述第二表情系数序列对所述各视频帧人脸图像进行三维重建，得到每个视频帧人脸图像对应的目标三维人脸图像，包括：将所述第一口型系数序列中的每一个第一口型系数替换为所述第二口型系数序列中对应的第二口型系数，得到所述目标表情系数序列；根据所述目标表情系数序列对所述各视频帧人脸图像进行三维重建，得到每个视频帧人脸图像对应的目标三维人脸图像。4.根据权利要求2所述的方法，其特征在于，所述将每个视频帧人脸图像对应的目标三维人脸图像进行拼接，得到所述目标视频，包括：对所述每个视频帧人脸图像对应的目标三维人脸图像进行渲染，得到每个视频帧人脸图像对应的目标人脸图像；对所述每个视频帧人脸图像对应的目标人脸图像进行裁剪处理，得到第一下半脸图像序列；其中，所述第一下半脸图像序列包括所述每个视频帧人脸图像对应的目标人脸图像的部分关键点特征；将所述第一下半脸图...

【专利技术属性】
技术研发人员：饶强，黄旭为，张国鑫，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：