视频生成方法、装置、电子设备、存储介质和产品制造方法及图纸

技术编号:44142022 阅读:27 留言:0更新日期:2025-01-29 10:18
本公开实施例公开了一种视频生成方法、装置、电子设备、存储介质和产品,其中,该方法包括:获取引导视频生成的条件信息;基于第一适配器模型和视频模型对所述条件信息进行处理,得到与所述条件信息对应的第二视频片段。本公开实施例可以生成与引导视频生成的条件信息具有高匹配度的视频片段。

【技术实现步骤摘要】

本公开涉及文生视频技术,尤其是一种视频生成方法、装置、电子设备、存储介质和产品


技术介绍

1、随着视频生成模型技术的迅速发展,使得视频生成模型在人工智能内容生成(artificial intelligence generated content,aigc)
中大放异彩。

2、根据视频所需场景的深度信息控制视频图像的生成,可以应用到多个场景中。例如,对于游戏开发者来说可以通过所需场景的深度信息生成三维场景,提升游戏的视觉效果和沉浸感;对于电影特效上,可以利用视频帧图像的深度信息为视频帧图像的后期制作提供真实感的视觉效果。

3、相关技术中,对用户输入的文本描述信息自然语言处理得到相应的特征信息,利用视频生成模型对特征信息进行处理,从而生成文本描述信息对应的视频。由于用户输入的文本描述信息无法详细表达出想要生成视频的具体要求,或者视频生成模型根据文本描述信息生成对应视频的精度不足,因此导致视频生成模型生成的视频难以满足用户的需求。

4、如何得到与引导视频生成的条件信息高匹配度的视频片段,是一个亟待解决的问题。

<本文档来自技高网...

【技术保护点】

1.一种视频生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述获取引导视频生成的条件信息,包括:

3.根据权利要求1所述的方法,其特征在于,所述引导视频生成的条件信息,还包括:所述第二视频片段对应的文本描述信息。

4.根据权利要求3所述的方法,其特征在于,所述第一适配器模型和所述视频模型的输入层结构相同,所述第一适配器模型的输入层和所述视频模型的输入层均包括多个下采样层;

5.根据权利要求4所述的方法,其特征在于,所述将所述第一适配器模型各下采样层的输出向量分别与所述视频模型对应的下采样层的输出向量进行加权计算,得...

【技术特征摘要】

1.一种视频生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述获取引导视频生成的条件信息,包括:

3.根据权利要求1所述的方法,其特征在于,所述引导视频生成的条件信息,还包括:所述第二视频片段对应的文本描述信息。

4.根据权利要求3所述的方法,其特征在于,所述第一适配器模型和所述视频模型的输入层结构相同,所述第一适配器模型的输入层和所述视频模型的输入层均包括多个下采样层;

5.根据权利要求4所述的方法,其特征在于,所述将所述第一适配器模型各下采样层的输出向量分别与所述视频模型对应的下采样层的输出向量进行加权计算,得到各采样层输出向量的加权计算结果,并将各采样层输出...

【专利技术属性】
技术研发人员:请求不公布姓名请求不公布姓名
申请(专利权)人:北京生数科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1