视频生成方法、装置和存储介质制造方法及图纸

技术编号:42336017 阅读:12 留言:0更新日期:2024-08-14 16:11
本申请涉及一种视频生成方法、装置和存储介质。该方法包括:获取目标人物的目标人物图像、目标人物设置的目标音频以及预置的驱动视频,驱动视频中人物的面部是动态的;将驱动视频中人物的动态面部特征迁移至目标人物图像,得到目标人物动态视频,目标人物动态视频中的目标人物的面部是动态的;根据目标音频与目标人物动态视频,生成音唇同步视频,音唇同步视频中的动态面部特征与目标音频是同步的;基于目标人物图像,对音唇同步视频中的动态面部特征以及画面质量进行增强,得到目标人物音唇同步视频。根据本申请实施例,能够以任意音频和任意视频驱动单张目标人物图像,有效地生成画面质量高且高音唇同步的目标人物音唇同步视频。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种视频生成方法、装置和存储介质


技术介绍

1、随着人工智能技术的发展,模拟真实人物的外貌、言行举止的虚拟数字人技术是“元宇宙”概念实现的前提条件。由于数字虚拟人技术的优良取决于用户感受,因此拟人程度高以及可视化精度高是虚拟数字人技术的基本要求。

2、然而,传统的虚拟数字人技术为了实现某一真实人物的虚拟人物生成,需要录制大量该真实人物的视频数据,来训练虚拟人生成模型,才能使训练后的虚拟人生成模型所生成的虚拟人物具有较好的拟人效果;且虚拟人物通常通过视频形式呈现给用户,视频的质量取决于每帧图像的像素大小,而虚拟人生成模型本身十分复杂,高清图像的特征学习会大幅度提高计算消耗,而设备计算资源有限,使得利用虚拟人生成模型输出的虚拟数字人视频的画面质量不高、不够逼真且泛化能力差。


技术实现思路

1、有鉴于此,提出了一种视频生成方法、装置和存储介质。

2、第一方面,本申请的实施例提供了一种视频生成方法,该方法包括:获取目标人物的目标人物图像、所述目标人物设置的目标音频以本文档来自技高网...

【技术保护点】

1.一种视频生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述驱动视频中人物的动态面部特征迁移至所述目标人物图像,得到目标人物动态视频,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述第一关键点映射关系,将所述驱动视频中人物的动态面部特征迁移至所述目标人物图像,得到目标人物动态视频,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于所述目标人物图像,对所述音唇同步视频中的动态面部特征以及画面质量进行增强,得到目标人物音唇同步视频,包括:

5.根据权利要求4所述的方法,其特征在于,所述将所...

【技术特征摘要】

1.一种视频生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述驱动视频中人物的动态面部特征迁移至所述目标人物图像,得到目标人物动态视频,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述第一关键点映射关系,将所述驱动视频中人物的动态面部特征迁移至所述目标人物图像,得到目标人物动态视频,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于所述目标人物图像,对所述音唇同步视频中的动态面部特征以及画面质量进行增强,得到目标人物音唇同步视频,包括:

5.根据权利要求4所述的方法,其特征在于,所述将所述面部特征增强视频中的动态面部特征迁移至所述目标人物图像,得到画面质量增强的目标人物音唇同步视频,包括:

6.根据权利要求5所述的方法,其特征在于,所述基于所述第二关键点映射关系,将所述面部特征增强视频中的...

【专利技术属性】
技术研发人员:王耀园张子阳何炜华王先玉张靖义楼燚航
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1