一种动态视频生成方法及装置、电子设备、存储介质制造方法及图纸

技术编号:42690228 阅读:27 留言:0更新日期:2024-09-10 12:39
本申请公开了一种动态视频生成方法及装置、电子设备、存储介质,所述方法包括:获取分镜头的文本脚本;通过大语言模型对文本脚本进行语义扩展,得到多个场景描述,并生成每个场景描述对应的分镜静态图;利用融合重绘模型对从各张分镜静态图中选择的目标分镜静态图进行重绘处理;生成用户选择的目标分镜静态图上的动态区域的掩码图;通过图生视频模型利用目标分镜静态图和掩码图的特征信息,按照图像生成提示信息生成分镜头的动态视频;对动态视频进行视频后处理;根据动态视频的主题风格生成音频生成提示信息,并通过音频生成模型按照音频生成提示信息生成当前视频音频;将当前视频音频添加至分镜头的动态视频中,得到最终的分镜头的动态视频。

【技术实现步骤摘要】

本申请涉及视频制作,特别涉及一种动态视频生成方法及装置、电子设备、存储介质


技术介绍

1、当前在节目视频制作过程中,无论是实景拍摄还是动漫画面绘制,都需要较长的时间,即效率相对较低,并且都需要产生高额的费用。所以需要一种可以高效,且成本较低的方式制作满足需求的节目视频。

2、当前人工智能技术已经在视频生成方面上取得了一些进展,即已经有一些公司提供了文生视频模型以及图生视频模型。所以用户可以根据所需要生成的视频需求,输入相应的描述文本,完全通过文本视频模型根据对输入的描述文本进行语义分析生成相应的视频。或者是根据需要生成的视频,先绘制一张图像,然后将其输入图生视频模型中,通过图生视频模型对输入的图像进行有限扩展,从而利用扩展的图像组成一小段视频。

3、但是由于当前文生视频模型以及图生视频模型处于初步发展阶段,所以在视频生成时,完全由模型自主根据分析生成,无法进行视频画面内容的精细化控制,仅是生成一个整体上相对符合需求视频,所以无法满足节目视频的画面内容的精细化需求。并且,当前模型生成的视频的质量也比较有限,也无法达到节目视频的高质量本文档来自技高网...

【技术保护点】

1.一种动态视频生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述利用融合重绘模型对目标分镜静态图进行处理,得到重绘后的所述目标分镜静态图,包括:

3.根据权利要求1所述的方法,其特征在于,所述将所述目标分镜静态图、所述掩码图以及设定的图像生成提示信息,输入预先构建的图生视频模型中,由所述图生视频模型利用所述目标分镜静态图和所述掩码图的特征信息,按照所述图像生成提示信息逐步预测下一帧视频帧,并利用预测得到的各帧所述视频帧,组成所述分镜头的动态视频,包括:

4.根据权利要求1所述的方法,其特征在于,所述对所述分镜头的动态视频进行...

【技术特征摘要】

1.一种动态视频生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述利用融合重绘模型对目标分镜静态图进行处理,得到重绘后的所述目标分镜静态图,包括:

3.根据权利要求1所述的方法,其特征在于,所述将所述目标分镜静态图、所述掩码图以及设定的图像生成提示信息,输入预先构建的图生视频模型中,由所述图生视频模型利用所述目标分镜静态图和所述掩码图的特征信息,按照所述图像生成提示信息逐步预测下一帧视频帧,并利用预测得到的各帧所述视频帧,组成所述分镜头的动态视频,包括:

4.根据权利要求1所述的方法,其特征在于,所述对所述分镜头的...

【专利技术属性】
技术研发人员:谢昊源宋施恩杨杰姚畅畅刘宸羽刘浩张东阳
申请(专利权)人:湖南快乐阳光互动娱乐传媒有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1