【技术实现步骤摘要】
本申请涉及视频特效领域，具体而言，涉及一种特效视频生成方法、装置、电子设备及计算机可读存储介质。
技术介绍
1、视频泛指将一系列静态影像以电信号的方式加以捕捉、纪录、处理、储存、传送与重现的各种技术，连续的图像变化每秒超过24帧画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面；看上去是平滑连续的视觉效果，这样连续的画面叫做视频，视频技术最早是为了电视系统而发展，但现在已经发展为各种不同的格式以利消费者将视频记录下来。
2、视频特效是指在播放视频中出现特殊的某些特殊效果，在通常情况下是由电脑的某些功能软件制作出的现实中一般不会出现的特殊效果，比如进场淡入淡出，翻书，旋转等，特效应用广泛，其让相关视频变得生动活泼，从而达到吸引人眼球的目的。但现有的特效视频的特效渲染效果较差。
技术实现思路
1、本申请的目的在于提供一种特效视频生成方法、装置、电子设备及计算机可读存储介质，能够提升特效视频的特效渲染效果。
2、第一方面，本申请实施例提供了一种特效视频生成方法，包括：获取目标视频中包括目标对象的目标视频帧和不包括所述目标对象的非目标视频帧；对于每个目标视频帧，将所述目标视频帧输入sam模型，获取所述sam模型的输出视频帧，所述输出视频帧包括目标mask，所述目标mask为所述目标对象的mask；将所述输出视频帧输入lama模型，获取所述lama模型根据所述目标mask生成的特效图像；将所述非目标视频帧和所述特效图像合成特效视频。
3、与现有技术相
4、在可选的实施例中，所述将所述非目标视频帧和所述特效图像合成特效视频前，所述特效视频生成方法还包括：将所述特效图像输入stable diffusion模型进行图像修复，获取修复后的所述特效图像。使用stable diffusion模型进行图像修复，使得特效图像的特效效果更好的融入背景中，进一步的提升特效视频的特效效果。
5、在可选的实施例中，所述获取目标视频中包括目标对象的目标视频帧和不包括所述目标对象的非目标视频帧，包括：使用pp-yoloe模型对所述目标视频的每个视频帧进行对象检测，将检测到所述目标对象的视频帧作为所述目标视频帧，未检测到所述目标对象的视频帧作为所述非目标视频帧。使用pp-yoloe模型进行对象检测，检测结果准确度高，提升特效视频中生成特效的位置准确性。
6、在可选的实施例中，所述获取所述lama模型根据所述目标mask生成的特效图像，包括：获取所述lama模型根据所述目标mask移除所述目标对象得到的图像作为所述特效图像。
7、在可选的实施例中，所述将所述输出视频帧输入lama模型，获取所述lama模型根据所述目标mask生成的特效图像，包括：获取替换图形，将所述输出视频帧和所述替换图形输入所述lama模型，获取所述lama模型将所述目标mask替换为所述替换图形后生成的图像作为所述特效图像。
8、在可选的实施例中，所述获取替换图形，包括：获取样本图像，所述样本图像包括替换图形；将所述样本图像输入所述sam模型，获取所述sam模型的样本输出图像，所述样本输出图像包括所述替换图形。使用sam模型根据样本图像生成替换图形，可以提升替换图形的分割效果，替换图形的分割效果更好，替换目标视频帧中的目标对象形成的特效效果也更好，进一步的提升特效视频的特效效果。
9、在可选的实施例中，所述将所述输出视频帧输入lama模型，获取所述lama模型根据所述目标mask生成的特效图像，包括：获取背景图像，将所述输出视频帧和所述背景图像输入所述lama模型，获取所述lama模型将所述目标mask对应的目标对象加入所述背景图像后形成的图像作为所述特效图像。
10、第二方面，本申请实施例提供了一种特效视频生成装置，包括：视频拆分模块，所述视频拆分模块用于获取目标视频中包括目标对象的目标视频帧和不包括所述目标对象的非目标视频帧；图像分割模块，所述图像分割模块运行有sam模型，所述图像分割模块用于将所述目标视频帧输入sam模型，获取所述sam模型的输出视频帧，所述输出视频帧包括目标mask，所述目标mask为所述目标对象的mask；特效生成模块，所述特效生成模块运行有lama模型，所述特效生成模块用于将所述输出视频帧输入lama模型，获取所述lama模型根据所述目标mask生成的特效图像；视频组合模块，所述视频组合模块用于将所述非目标视频帧和所述特效图像合成特效视频。
11、第三方面，本申请实施例提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前述的特效视频生成方法。
12、第四方面，本申请实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行实现如前述的特效视频生成方法。
本文档来自技高网...【技术保护点】
1.一种特效视频生成方法，其特征在于，包括：
2.根据权利要求1所述的特效视频生成方法，其特征在于，所述将所述非目标视频帧和所述特效图像合成特效视频前，所述特效视频生成方法还包括：
3.根据权利要求1所述的特效视频生成方法，其特征在于，所述获取目标视频中包括目标对象的目标视频帧和不包括所述目标对象的非目标视频帧，包括：
4.根据权利要求1所述的特效视频生成方法，其特征在于，所述获取所述LaMa模型根据所述目标mask生成的特效图像，包括：
5.根据权利要求1所述的特效视频生成方法，其特征在于，所述将所述输出视频帧输入LaMa模型，获取所述LaMa模型根据所述目标mask生成的特效图像，包括：
6.根据权利要求5所述的特效视频生成方法，其特征在于，所述获取替换图形，包括：
7.根据权利要求1所述的特效视频生成方法，其特征在于，所述将所述输出视频帧输入LaMa模型，获取所述LaMa模型根据所述目标mask生成的特效图像，包括：
8.一种特效视频生成装置，其特征在于，包括：
9.一种电子设备
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行实现权利要求1至7中任意一项所述的特效视频生成方法。
...【技术特征摘要】
1.一种特效视频生成方法，其特征在于，包括：
2.根据权利要求1所述的特效视频生成方法，其特征在于，所述将所述非目标视频帧和所述特效图像合成特效视频前，所述特效视频生成方法还包括：
3.根据权利要求1所述的特效视频生成方法，其特征在于，所述获取目标视频中包括目标对象的目标视频帧和不包括所述目标对象的非目标视频帧，包括：
4.根据权利要求1所述的特效视频生成方法，其特征在于，所述获取所述lama模型根据所述目标mask生成的特效图像，包括：
5.根据权利要求1所述的特效视频生成方法，其特征在于，所述将所述输出视频帧输入lama模型，...
【专利技术属性】
技术研发人员：管宏伟，夏凌莉，虞力，
申请(专利权)人：成都新致云服信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。