视频生成方法、装置、电子设备、存储介质及程序产品制造方法及图纸

技术编号:46063919 阅读:11 留言:0更新日期:2025-08-11 15:50
本公开关于一种视频生成方法、装置、电子设备、存储介质及程序产品,所述方法包括:获取参考图像和参考视频;将所述参考视频输入视频运动特征提取模型,得到第一视频运动特征;所述第一视频运动特征用于表征所述参考视频的时空特征与所述参考视频的空间特征之间的差异;将所述参考图像和所述第一视频运动特征输入预训练的视频生成模型,得到目标视频;所述目标视频包括所述参考图像中的主体对象,按照所述参考视频的主体对象的运动模式进行运动的画面。采用本公开可以基于纯净的运动模式特征生成用户所需的个性化视频。

【技术实现步骤摘要】

本公开涉及视频生成领域,尤其涉及一种视频生成方法、装置、电子设备、存储介质及程序产品


技术介绍

1、个性化视频生成技术可以基于所需主体的静态图像和包含目标运动模式的参考视频,生成用户所需的个性化视频。

2、传统的个性化视频生成技术可以利用视频扩散模型,将个性化视频生成任务分解为两个阶段:主体学习和运动学习。其中,主体学习可以利用文本反演和身份适配器微调,从参考图像中准确捕捉主体的精细外观;运动学习可以基于参考视频对运动适配器进行微调,从而建模个性化视频的运动模式。

3、然而,传统个性化视频生成技术的运动学习部分,只能选取随机帧作为主体外观的解耦条件,无法学习到纯净的运动模式特征,这导致传统个性化视频生成技术存在无法基于纯净的运动模式特征生成用户所需的个性化视频的问题。


技术实现思路

1、本公开提供一种视频生成方法、装置、电子设备、存储介质及程序产品,以至少解决相关技术中无法基于纯净的运动模式特征生成所需的个性化视频的问题。本公开的技术方案如下:

2、根据本公开实施例的第一本文档来自技高网...

【技术保护点】

1.一种视频生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的视频生成方法,其特征在于,所述视频运动特征提取模型包括第一编码器和第二编码器,所述将所述参考视频输入视频运动特征提取模型,得到第一视频运动特征,包括:

3.根据权利要求2所述的视频生成方法,其特征在于,所述根据所述参考视频的时空特征与所述参考视频中每帧所述视频图像对应的空间特征之间的差异,确定所述第一视频运动特征,包括:

4.根据权利要求1所述的视频生成方法,其特征在于,所述将所述参考图像和所述第一视频运动特征输入预训练的视频生成模型,得到目标视频,包括:p>

5.根据权...

【技术特征摘要】

1.一种视频生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的视频生成方法,其特征在于,所述视频运动特征提取模型包括第一编码器和第二编码器,所述将所述参考视频输入视频运动特征提取模型,得到第一视频运动特征,包括:

3.根据权利要求2所述的视频生成方法,其特征在于,所述根据所述参考视频的时空特征与所述参考视频中每帧所述视频图像对应的空间特征之间的差异,确定所述第一视频运动特征,包括:

4.根据权利要求1所述的视频生成方法,其特征在于,所述将所述参考图像和所述第一视频运动特征输入预训练的视频生成模型,得到目标视频,包括:

5.根据权利要求1所述的视频生成方法,其特征在于,所...

【专利技术属性】
技术研发人员:李庆宇廖智超秦文煜王猛万鹏飞张迪盖坤
申请(专利权)人:北京达佳互联信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1