视频生成方法、电子设备及计算机可读存储介质技术

技术编号:42085051 阅读:17 留言:0更新日期:2024-07-19 17:01
本申请公开了一种视频生成方法、电子设备及计算机可读存储介质,涉及视频处理技术、计算机技术领域。该方法包括:基于提示文本和噪声数据生成第一视频,其中,提示文本用于描述待生成的目标视频的视频内容,噪声数据的数据维度与目标视频的视频数据维度相同;基于目标视频生成模型对第一视频进行视频生成处理,得到目标视频,其中,目标视频生成模型集成有视频扩散模型和图像扩散模型,视频扩散模型的初始时间步和图像扩散模型的初始时间步相同。本申请解决了相关技术中的视频生成模型所生成的视频质量较差的技术问题。

【技术实现步骤摘要】

本申请涉及视频处理技术、计算机,具体而言,涉及一种视频生成方法、电子设备及计算机可读存储介质


技术介绍

1、随着生成式人工智能的迅速发展,视频生成模型成为人工智能领域的研究热点之一。然而,视频生成模型在训练过程中往往受到训练数据质量的限制,导致生成的视频质量较差。

2、目前,一些方法在视频生成模型训练过程中只微调时序层,然后和图像生成模型进行重新组合,但其时序层中的低质量因素无法消除,导致生成的视频质量依旧较差。另一些方法在视频生成模型训练过程中微调所有参数,从而生成动作更自然的视频,但其合成的视频质量依旧很差,且无法在测试时引入高质量的图像生成模型来进行改进。

3、针对上述的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本申请实施例提供了一种视频生成方法、电子设备及计算机可读存储介质,以至少解决相关技术中的视频生成模型所生成的视频质量较差的技术问题。

2、根据本申请实施例的一个方面,提供了一种视频生成方法,包括:基于提示文本和噪声数据生成第一视频,其中,提示文本本文档来自技高网...

【技术保护点】

1.一种视频生成方法,其特征在于,包括:

2.根据权利要求1所述的视频生成方法,其特征在于,所述基于目标视频生成模型对所述第一视频进行视频生成处理,得到所述目标视频包括:

3.根据权利要求2所述的视频生成方法,其特征在于,所述基于所述视频扩散模型和所述第一视频生成第二视频包括:

4.根据权利要求3所述的视频生成方法,其特征在于,所述基于所述图像扩散模型和所述第二视频生成多张第一视频帧图像包括:

5.根据权利要求4所述的视频生成方法,其特征在于,所述基于所述多张第一视频帧图像生成所述目标视频包括:

6.根据权利要求5所述的视频生成...

【技术特征摘要】

1.一种视频生成方法,其特征在于,包括:

2.根据权利要求1所述的视频生成方法,其特征在于,所述基于目标视频生成模型对所述第一视频进行视频生成处理,得到所述目标视频包括:

3.根据权利要求2所述的视频生成方法,其特征在于,所述基于所述视频扩散模型和所述第一视频生成第二视频包括:

4.根据权利要求3所述的视频生成方法,其特征在于,所述基于所述图像扩散模型和所述第二视频生成多张第一视频帧图像包括:

5.根据权利要求4所述的视频生成方法,其特征在于,所述基于所述多张第一视频帧图像生成所述目标视频包括:

6.根据权利要求5所述的视频生成方法,其特征在于,所述基于所述低通滤波器、所述视频扩散模型和所述图像扩散模型对所述多张第一视频帧图像进行更新,得到更新后的所述多张第一视频帧图像包括:

7.根据权利要求1所述的视频生成方...

【专利技术属性】
技术研发人员:林宪晖任沛然张亚博左旺孟谢宣松
申请(专利权)人:阿里巴巴中国有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1