System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 视频生成方法、装置、电子设备、存储介质和程序产品制造方法及图纸_技高网

视频生成方法、装置、电子设备、存储介质和程序产品制造方法及图纸

技术编号:40282187 阅读:6 留言:0更新日期:2024-02-07 20:36
本申请涉及一种视频生成方法、装置、电子设备、存储介质和程序产品。所述方法包括:获取图像数据集,所述图像数据集中包括目标图像的前景特征图、背景特征图、以及预设的初始动作图序列;根据图像数据集和预设的视频生成模型,生成目标视频;所述视频生成模型中包括用于增强所述初始动作图序列的序列信息的时空注意力模块。采用本方法能够提高生成的视频的连续性。

【技术实现步骤摘要】

本申请涉及视频生成领域,特别是涉及一种视频生成方法、装置、电子设备、存储介质和程序产品


技术介绍

1、随着人像视频生成技术的发展,生成的人像视频可以广泛应用于广告、游戏等多个场景中。

2、传统技术中,主要是基于单帧图像生成人像视频。但是,传统技术中存在生成的人像视频连续性较差的问题。


技术实现思路

1、本申请实施例提供了一种视频生成方法、装置、电子设备、存储介质和程序产品,可以提高生成的视频的连续性。

2、第一方面,本申请实施例提供了一种视频生成方法,所述视频生成方法,包括:

3、获取图像数据集,所述图像数据集中包括目标图像的前景特征图、背景特征图、以及预设的初始动作图序列;

4、根据图像数据集和预设的视频生成模型,生成目标视频;所述视频生成模型中包括用于增强所述初始动作图序列的序列信息的时空注意力模块。

5、第二方面,本申请实施例提供了一种视频生成装置,所述视频生成装置,包括:

6、第一获取模块,用于获取图像数据集,所述图像数据集中包括目标图像的前景特征图、背景特征图、以及预设的初始动作图序列;

7、生成模块,用于根据图像数据集和预设的视频生成模型,生成目标视频;所述视频生成模型中包括用于增强所述初始动作图序列的序列信息的时空注意力模块。

8、第三方面,本申请实施例提供了一种电子设备,所述电子设备包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如第一方面所述的方法的步骤。

9、第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的方法的步骤。

10、第五方面,本申请实施例提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面所述的方法的步骤。

11、上述视频生成方法、装置、电子设备、存储介质和程序产品,通过获取包括目标图像的前景特征图、背景特征图、以及预设的初始动作图序列的图像数据集,能够根据图像数据集中的目标图像的前景特征图、背景特征图、以及预设的初始动作图序列和预设的视频生成模型生成目标视频,相比于传统技术,由于视频生成模型中包括用于增强初始动作图序列的序列信息的时空注意力模块,能够在视频生成模型生成目标视频的过程中,通过时空注意力模块增强初始动作图序列的序列信息,从而能够增强根据初始图动作序列生成的目标视频的各视频帧之间的序列信息,使得生成的目标视频更加连贯,进而能够提高目标视频的连续性;另外,由于本申请提供的视频生成方法中预先获取了目标图像的前景特征图和背景特征图,能够在目标视频生成过程中,实现前景信息和背景信息的可控,从而能够生成更加符合用户需求的目标视频。

本文档来自技高网...

【技术保护点】

1.一种视频生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据图像数据集和预设的视频生成模型,生成目标视频,包括:

3.根据权利要求2所述的方法,其特征在于,所述视频生成模型包括第一融合模块、时空注意力模块和第二融合模块;所述将所述前景特征图、所述背景子特征图序列和所述目标动作图序列输入所述视频生成模型,生成所述目标视频,包括:

4.根据权利要求3所述的方法,其特征在于,所述视频生成模型还包括降噪模块,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,若所述图像数据集包括噪声图像序列;所述方法还包括:

6.根据权利要求2所述的方法,其特征在于,所述对所述初始动作图序列和所述背景特征图进行特征提取,得到所述初始动作图序列对应的目标动作图序列和所述背景特征图对应的背景子特征图序列,包括:

7.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:

8.根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:

9.一种视频生成装置,其特征在于,包括:

10.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至8中任一项所述的方法的步骤。

11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。

12.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种视频生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据图像数据集和预设的视频生成模型,生成目标视频,包括:

3.根据权利要求2所述的方法,其特征在于,所述视频生成模型包括第一融合模块、时空注意力模块和第二融合模块;所述将所述前景特征图、所述背景子特征图序列和所述目标动作图序列输入所述视频生成模型,生成所述目标视频,包括:

4.根据权利要求3所述的方法,其特征在于,所述视频生成模型还包括降噪模块,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,若所述图像数据集包括噪声图像序列;所述方法还包括:

6.根据权利要求2所述的方法,其特征在于,所述对所述初始动作图序列和所述背景特征图进行特征提取,得到所述初始动作图序列对应的目标动作图序列...

【专利技术属性】
技术研发人员:刘鹏张严浩
申请(专利权)人:OPPO广东移动通信有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1