图生视频方法、设备、存储介质及程序产品技术

技术编号:44967524 阅读:36 留言:0更新日期:2025-04-12 01:40
本申请公开了一种图生视频方法、设备、存储介质及程序产品,涉及计算机技术领域。所述方法包括:获取输入图像;对输入图像执行区域分割,得到输入图像中的主体对应的主体图像;通过轨迹生成模型根据主体图像,生成主体图像对应的轨迹数据,轨迹数据用于指示主体图像中的主体在所要生成视频中的运动轨迹;通过图生视频模型根据主体图像和轨迹数据,生成主体图像对应的运动视频,主体图像对应的运动视频是主体图像中的主体按照主体图像对应的运动轨迹进行运动的视频。本申请使得运动视频是主体图像中的主体进行运动的视频,保证了运动视频中主体运动的独有性,提高了运动视频的生成质量和生成效果,也提高了图生视频的稳定性和可控性。

【技术实现步骤摘要】

本申请涉及计算机,特别涉及一种图生视频方法、设备、存储介质及程序产品


技术介绍

1、图生视频模型是依赖于深度学习和特征提取技术得到的模型,用户输入图像和文字提示信息,即可生成高质量的视频内容。

2、相关技术中,将图像和文本提示信息输入至预先设定的图生视频模型,通过一个空间模块对输入的图像和文本提示信息进行空间特征提取,生成第一特征处理结果。然后通过时序自注意力模块对第一特征处理结果进行处理,生成第二样本特征。最后,通过运动适配器模块对图像进行运动信息的控制,生成预测视频数据,以确保加工后的内容更加生动且具备运动感。

3、然而,上述图生视频的过程中,由于图生视频模型是对输入图像进行整体运动绘制,使得图像中的主体区域和背景区域均会产生运动,导致视频内容容易出现不流畅、不合理等瑕疵,视频效果不可控。


技术实现思路

1、本申请实施例提供了一种图生视频方法、设备、存储介质及程序产品。本申请实施例提供的技术方案如下:

2、根据本申请实施例的一个方面,提供了一种图生视频方法,所述方法包本文档来自技高网...

【技术保护点】

1.一种图生视频方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述通过轨迹生成模型根据所述主体图像,生成所述主体图像对应的轨迹数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述参考数据包括以下至少之一:

4.根据权利要求3所述的方法,其特征在于,所述通过所述轨迹生成模型根据所述主体图像和所述参考数据,生成所述主体图像对应的轨迹数据,包括:

5.根据权利要求4所述的方法,其特征在于,所述通过图生视频模型根据所述主体图像和所述轨迹数据,生成所述主体图像对应的运动视频,包括:

>6.根据权利要求5...

【技术特征摘要】

1.一种图生视频方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述通过轨迹生成模型根据所述主体图像,生成所述主体图像对应的轨迹数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述参考数据包括以下至少之一:

4.根据权利要求3所述的方法,其特征在于,所述通过所述轨迹生成模型根据所述主体图像和所述参考数据,生成所述主体图像对应的轨迹数据,包括:

5.根据权利要求4所述的方法,其特征在于,所述通过图生视频模型根据所述主体图像和所述轨迹数据,生成所述主体图像对应的运动视频,包括:

6.根据权利要求5所述的方法,其特征在于,所述通过所述图生视频模型根据所述主体图像、所述轨迹数据和所述参考音频,生成配置有所述参考音频的所述运动视频,包括:

7.根据权利要求1所述的方法,其特征在于,所述获取输入图像之后,还包括:

8.根据权利要求7所述的方法,其特征在于,所述...

【专利技术属性】
技术研发人员:刘春宇左隆湘
申请(专利权)人:广州酷狗计算机科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1