视频处理方法、装置、设备及计算机可读存储介质制造方法及图纸

技术编号:43121469 阅读:15 留言:0更新日期:2024-10-26 09:59
本申请公开了一种视频处理方法、装置、设备及计算机可读存储介质。其中,所述方法包括:获取原始视频数据和目标驱动信息;将所述原始视频数据和目标驱动信息输入至预先训练的驱动模型中,得到目标视频数据;所述驱动模型支持多种模态的驱动信息;所述目标驱动信息为所述多种模态的驱动信息中的至少一种;其中,所述驱动模型包括第一网络模型和第二网络模型,所述第一网络模型包括所述多种模态的驱动信息对应的编码器网络和第一空间;在所述面部图像驱动的过程中,所述第二网络模型的参数和所述第一空间的基底固定,所述编码器网络的参数基于所述目标驱动信息的类型从预设的多组参数中确定得到。

【技术实现步骤摘要】

本申请涉及视频业务,尤其涉及一种视频处理方法、装置、设备及计算机可读存储介质


技术介绍

1、随着计算机技术的不断发展和进步,基于面部图像例如人脸的图像处理技术已经从二维发展到三维,由于基于三维的图像处理的真实感更强而得到了广泛关注,且对三维人脸进行驱动(简称为人脸驱动)是三维图像处理领域的一个重要应用。

2、然而,相关技术中的人脸驱动方法,仅支持单一类型的驱动信息,比如文本信息、语音信息、人脸三维形变统计模型(3dmm,3d morphable face models)表情系数中的任一类型的驱动信息,如果切换成其他类型的驱动信息,则需要对整个重建的驱动模型进行重新训练,训练成本高、耗时较长。


技术实现思路

1、为解决相关技术中存在的技术问题,本申请实施例提供一种视频处理方法、装置、设备及计算机可读存储介质。

2、为达到上述目的,本申请实施例的技术方案是这样实现的:

3、第一方面,本申请实施例提供了一种视频处理方法,所述方法包括:

4、获取原始视频数据和目标驱动本文档来自技高网...

【技术保护点】

1.一种视频处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取目标驱动信息,包括:

3.根据权利要求1所述的方法,其特征在于,所述将所述原始视频数据和目标驱动信息输入至预先训练的驱动模型中,得到目标视频数据,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述目标参数和所述驱动模型,生成所述目标视频数据,包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述目标投影系数,确定目标投影特征,包括:

6.根据权利要求4所述的方法,其特征在于,所述基于所述目标投影系数,确定目标投...

【技术特征摘要】

1.一种视频处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取目标驱动信息,包括:

3.根据权利要求1所述的方法,其特征在于,所述将所述原始视频数据和目标驱动信息输入至预先训练的驱动模型中,得到目标视频数据,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述目标参数和所述驱动模型,生成所述目标视频数据,包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述目标投影系数,确定目标投影特征,包括:

6.根据权利要求4所述的方法,其特征在于,所述基于所述目标投影系数,确定目标投影特征,包括:

7.根据权利要求4所述的方法,其特征在于,所述基于所述目标投影特征和所述第二网络模型,生成所述目标视频数据,包括:

8.根据权利要求7所述的方法,其特征在于,...

【专利技术属性】
技术研发人员:谢柠蔚李杰
申请(专利权)人:中国移动通信有限公司研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1