【技术实现步骤摘要】
本申请涉及计算机,特别涉及一种图生视频方法、设备、存储介质及程序产品。
技术介绍
1、图生视频模型是依赖于深度学习和特征提取技术得到的模型,用户输入图像和文字提示信息,即可生成高质量的视频内容。
2、相关技术中,将图像和文本提示信息输入至预先设定的图生视频模型,通过一个空间模块对输入的图像和文本提示信息进行空间特征提取,生成第一特征处理结果。然后通过时序自注意力模块对第一特征处理结果进行处理,生成第二样本特征。最后,通过运动适配器模块对图像进行运动信息的控制,生成预测视频数据,以确保加工后的内容更加生动且具备运动感。
3、然而,上述图生视频的过程中,由于图生视频模型是对输入图像进行整体运动绘制,使得图像中的主体区域和背景区域均会产生运动,导致视频内容容易出现不流畅、不合理等瑕疵,视频效果不可控。
技术实现思路
1、本申请实施例提供了一种图生视频方法、设备、存储介质及程序产品。本申请实施例提供的技术方案如下:
2、根据本申请实施例的一个方面,提供了一种图生
...【技术保护点】
1.一种图生视频方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述通过轨迹生成模型根据所述主体图像,生成所述主体图像对应的轨迹数据,包括:
3.根据权利要求2所述的方法,其特征在于,所述参考数据包括以下至少之一:
4.根据权利要求3所述的方法,其特征在于,所述通过所述轨迹生成模型根据所述主体图像和所述参考数据,生成所述主体图像对应的轨迹数据,包括:
5.根据权利要求4所述的方法,其特征在于,所述通过图生视频模型根据所述主体图像和所述轨迹数据,生成所述主体图像对应的运动视频,包括:
【技术特征摘要】
1.一种图生视频方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述通过轨迹生成模型根据所述主体图像,生成所述主体图像对应的轨迹数据,包括:
3.根据权利要求2所述的方法,其特征在于,所述参考数据包括以下至少之一:
4.根据权利要求3所述的方法,其特征在于,所述通过所述轨迹生成模型根据所述主体图像和所述参考数据,生成所述主体图像对应的轨迹数据,包括:
5.根据权利要求4所述的方法,其特征在于,所述通过图生视频模型根据所述主体图像和所述轨迹数据,生成所述主体图像对应的运动视频,包括:
6.根据权利要求5所述的方法,其特征在于,所述通过所述图生视频模型根据所述主体图像、所述轨迹数据和所述参考音频,生成配置有所述参考音频的所述运动视频,包括:
7.根据权利要求1所述的方法,其特征在于,所述获取输入图像之后,还包括:
8.根据权利要求7所述的方法,其特征在于,所述...
【专利技术属性】
技术研发人员:刘春宇,左隆湘,
申请(专利权)人:广州酷狗计算机科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。