视频目标替换方法及相关装置、设备和存储介质制造方法及图纸

技术编号:40580519 阅读:17 留言:0更新日期:2024-03-06 17:23
本申请公开了一种视频目标替换方法及相关装置、设备和存储介质,其中,视频目标替换方法包括:基于原始视频中原始帧的原始特征和原始视频中待替换对象的第一特征进行加噪,得到原始帧在各个采样步数的带噪特征,基于原始帧的原始特征和关键帧的原始特征,得到原始帧相对关键帧的注意力位置;基于原始帧的注意力位置,以及关键帧其带噪特征遮蔽待替换对象后的遮蔽特征和目标对象的第二特征所得到的注意力特征,得到原始帧的第一噪声;基于原始帧的带噪特征遮蔽待替换对象后的遮蔽特征和第一噪声进行去噪并解码,得到原始帧中待替换对象被替换为目标对象之后的目标帧。上述方案,能够提升视频目标替换效率,并降低计算量,提升长时间的视频连续性。

【技术实现步骤摘要】

本申请涉及视频处理,特别是涉及一种视频目标替换方法及相关装置、设备和存储介质


技术介绍

1、视频目标替换是将原始视频中待替换对象替换为目标对象的数据处理任务。此外,视频目标替换通常需要满足一些基本要求,如尽量保证仅对待替换对象进行替换,而不对原始视频中其他无关物体、背景等要素产生过多影响。

2、现有技术中,视频目标替换根据其实现方式通常分为传统复制粘贴方案和深度生成方案。对于前者来说,容易受限于人工经验,而导致效率低下;而对于后者,由于需要对整段原始视频中各个原始帧分别执行帧间注意力,计算量通常极其庞大,难以保证长时间的视频连续性。有鉴于此,如何提升视频目标替换效率,并降低计算量,提升长时间的视频连续性,成为亟待解决的问题。


技术实现思路

1、本申请主要解决的技术问题是提供一种视频目标替换方法及相关装置、设备和存储介质,能够提升视频目标替换效率,并降低计算量,提升长时间的视频连续性。

2、为了解决上述技术问题,本申请第一方面提供了一种视频目标替换方法,包括:基于原始视频中原始帧的原始本文档来自技高网...

【技术保护点】

1.一种视频目标替换方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述原始帧的原始特征和所述关键帧的原始特征,得到所述原始帧相对所述关键帧的注意力位置,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于原始视频中原始帧的原始特征和所述原始视频中待替换对象的第一特征进行加噪,得到所述原始帧在各个采样步数的带噪特征,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于所述原始帧相对所述关键帧的注意力位置,以及所述关键帧由其带噪特征遮蔽所述待替换对象后的遮蔽特征和目标对象的第二特征所得到的注意力特征,得到所述原始帧...

【技术特征摘要】

1.一种视频目标替换方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述原始帧的原始特征和所述关键帧的原始特征,得到所述原始帧相对所述关键帧的注意力位置,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于原始视频中原始帧的原始特征和所述原始视频中待替换对象的第一特征进行加噪,得到所述原始帧在各个采样步数的带噪特征,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于所述原始帧相对所述关键帧的注意力位置,以及所述关键帧由其带噪特征遮蔽所述待替换对象后的遮蔽特征和目标对象的第二特征所得到的注意力特征,得到所述原始帧在各个所述采样步数的第一噪声,包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述关键帧在目标步数的带噪特征遮蔽所述待替换对象后的遮蔽特征和目标对象的第二特征,得到所述关键帧在各个所述采样步数的注意力特征,包括:

6.根据权利要求5所述的方法,其特征在于,在所述基于所述关键帧在所述第二步数的带噪特征遮蔽所述待替换对象后的遮蔽特征、所述目标对象的第二特征和所述第二步数的去噪方差,对所述关键帧在所述第二步数的遮蔽特征进行去噪,得到所述第三步数的带噪特征之前,所述方法还包括:

7.根据权利要求5所述的方法,其特征在于,所述基于注意力机制处理所述关键帧和所述关键帧的参考帧在所述第三步数的带噪特征,得到所述关键帧在所述第三步数的注意力特征,包括:

8.根据权利要求4所述的方法,其特征在于,所述原始帧相对所述关键帧的注意力位置包括:所述原始帧相对第一关键帧的第一注意力位置和所述原始帧相对第二关键帧的第二注意力位置,所述第一关键帧为所述原始帧所在所述子片段的前一所述子片段中所述关键帧,所述第二关键帧为所述原始帧所在所述子片段的后一所述子片段中所述关键帧;

9.根据权利要求8所述的方法,其特征在于,所述基于所述第一关键帧在所述原始视频中的第一索引、所述第二关键帧在所述原始视频中的第二索引和所述原始帧在所述原始视频中的第三索引,得到所述第一关键帧的第一权重和所述第二...

【专利技术属性】
技术研发人员:陈刚王建社方四安陶晓天
申请(专利权)人:合肥讯飞数码科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1