特效视频生成方法、装置、电子设备及存储介质制造方法及图纸

技术编号:44574329 阅读:13 留言:0更新日期:2025-03-11 14:35
本公开实施例提供一种特效视频生成方法、装置、电子设备及存储介质,获取待处理图像;基于待处理图像,生成目标图像,其中,所述目标图像为对所述待处理图像中的所述目标对象应用目标特效后生成的图像,所述目标图像中的目标对象具有所述目标特效产生的目标效果;调用视频生成模型处理待处理图像和目标图像,生成特效视频,其中,特效视频包括视频首帧、视频尾帧,以及位于视频首帧和视频尾帧之间的至少一个视频中间帧,视频首帧与待处理图像具有相同的图像内容,视频尾帧与目标图像具有相同的图像内容,至少一个视频中间帧用于表征生成目标效果的连续变化过程。使特效视频的内容变化更加流畅和真实,提高特效视频的视频质量。

【技术实现步骤摘要】

本公开实施例涉及互联网,尤其涉及一种特效视频生成方法、装置、电子设备及存储介质


技术介绍

1、当前,在基于人工智能(artificial intelligence,ai)技术进行视频生成的场景中,用户可以通过向视频生成模型输入一张静态图片,以及描述视频内容的语句,生成一段对应的视频,从而实现让图片“动起来”的效果。

2、然而,在特殊的内容生成场景下,例如针对发型特效的视频生成,由于此类复杂特效的特殊性,现有技术中的方案无法生成真实、连贯的带有此类复杂特效的视频,即存在所生成的复杂特效视频真实性和连贯性差的问题。


技术实现思路

1、本公开实施例提供一种特效视频生成方法、装置、电子设备及存储介质,以克服生成带有特效的视频的真实性和连贯性差的问题。

2、第一方面,本公开实施例提供一种特效视频生成方法,包括:

3、获取待处理图像;基于所述待处理图像,生成目标图像,其中,所述目标图像为对所述待处理图像中的所述目标对象应用目标特效后生成的图像,所述目标图像中的目标对象具有所述目标特效本文档来自技高网...

【技术保护点】

1.一种特效视频生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述待处理图像,生成目标图像,包括:

3.根据权利要求2所述的方法,其特征在于,所述图像生成模型包括第一功能单元和第二功能单元,所述第一功能单元用于生成所述目标类别的目标效果,所述第二功能单元用于基于所述目标对象,生成匹配所述目标效果的第二物体对象,所述第二物体对象与所述目标对象的外观相似度大于相似度阈值;

4.根据权利要求2所述的方法,其特征在于,所述第一提示词包括第一分词、第二分词和第三分词,其中,所述第一分词用于指示所述目标对象;所述第二分词用于表征所...

【技术特征摘要】

1.一种特效视频生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述待处理图像,生成目标图像,包括:

3.根据权利要求2所述的方法,其特征在于,所述图像生成模型包括第一功能单元和第二功能单元,所述第一功能单元用于生成所述目标类别的目标效果,所述第二功能单元用于基于所述目标对象,生成匹配所述目标效果的第二物体对象,所述第二物体对象与所述目标对象的外观相似度大于相似度阈值;

4.根据权利要求2所述的方法,其特征在于,所述第一提示词包括第一分词、第二分词和第三分词,其中,所述第一分词用于指示所述目标对象;所述第二分词用于表征所述目标效果的形状特征;所述第三分词用于表征所述目标效果的风格特征。

5.根据权利要求1所述的方法,其特征在于,所述视频生成模型包括变分自编码器单元和扩散变换器单元,所述调用视频生成模型处理所述待处理图像和所述目标图像,生成特效视频,包括:

6.根据权利要求5所述的方法,其特征在于,所述变分自编码器单元包括编码子单元和解码子单元,所述通过变分自编码器...

【专利技术属性】
技术研发人员:代斐白须刘佳伟周思宇
申请(专利权)人:北京字跳网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1