【技术实现步骤摘要】
本专利技术涉及虚拟内容生成领域,更具体地,涉及一种视频模型训练、视频生成方法和装置、电子设备。
技术介绍
1、在数字媒体和虚拟内容的生成领域,文本到图像(t2i,text to image)技术经历了巨大的进步,并逐渐扩展到文本到视频(t2v,text to video)的研究。扩散模型因其高质量的图像生成效果而成为了这一研究领域的新焦点。
2、近年来,扩散模型在动态视频生成,尤其是在对象视频制作方面展现出潜力。然而,在扩散模型基于基础图像为参考帧进行训练时,训练得到的模型通常不能够很好的捕捉目标对象的多个视角的特征,导致最终得到的对象缺乏“真实性”。
技术实现思路
1、本专利技术旨在克服上述现有技术的至少一种缺陷,提供一种视频模型训练、视频生成方法和装置、电子设备,用于提供一种更高效更精准的模拟和再现个体风格和特征的视频模型训练、视频生成方法和装置、电子设备。
2、根据本申请的第一方面,提供了一种视频生成模型训练方法,所述训练方法包括:
3、获取训练样
...【技术保护点】
1.一种视频生成模型训练方法,其特征在于,所述训练方法包括:
2.根据权利要求1所述的一种视频生成模型训练方法,其特征在于,所述训练样本中的各个所述拼接图像通过调整所述同一对象的若干个不同视角的单帧图像的拼接顺序分别获得。
3.根据权利要求2所述的一种视频生成模型训练方法,其特征在于,所述训练样本中的所述拼接图像的获取具体包括:
4.根据权利要求1所述的一种视频生成模型训练方法,其特征在于,所述视频生成模型至少包括图像特征网络和时序特征网络;
5.根据权利要求4所述的一种视频生成模型训练方法,其特征在于,在所述图像特征网
...【技术特征摘要】
1.一种视频生成模型训练方法,其特征在于,所述训练方法包括:
2.根据权利要求1所述的一种视频生成模型训练方法,其特征在于,所述训练样本中的各个所述拼接图像通过调整所述同一对象的若干个不同视角的单帧图像的拼接顺序分别获得。
3.根据权利要求2所述的一种视频生成模型训练方法,其特征在于,所述训练样本中的所述拼接图像的获取具体包括:
4.根据权利要求1所述的一种视频生成模型训练方法,其特征在于,所述视频生成模型至少包括图像特征网络和时序特征网络;
5.根据权利要求4所述的一种视频生成模型训练方法,其特征在于,在所述图像特征网络训练过程中:
6.一种视频生成模型训练装置,其特征在于,...
【专利技术属性】
技术研发人员:芦爱余,
申请(专利权)人:广州虎牙科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。