由电子设备执行的方法、电子设备和存储介质技术

技术编号:41532707 阅读:17 留言:0更新日期:2024-06-03 23:09
本申请关于一种由电子设备执行的方法、电子设备和存储介质,所述方法包括:从视频中确定至少一个邻近帧序列,并对所述至少一个邻近帧序列中的每一个进行以下操作:通过对当前邻近帧序列进行编码,获得当前邻近帧序列的特征图序列;基于当前邻近帧序列的特征图序列以及对应的待移除物体掩码图像序列,确定当前邻近帧序列的特征流序列;基于所述特征流序列,在所述特征图序列中的相邻特征图之间执行特征融合,获得当前邻近帧序列的更新的特征图序列;基于当前邻近帧序列的更新的特征图序列,执行解码处理,得到处理后的邻近帧序列。同时,可以使用人工智能模型来执行上述方法。

【技术实现步骤摘要】

本申请涉及视频处理领域,具体而言,本申请涉及一种由电子设备执行的方法、电子设备和存储介质


技术介绍

1、在视频的诸多应用场景中,存在对视频的视频帧中的物体进行移除、对视频帧中的缺失区域进行补全的技术需求,特别是随着诸如智能手机、平板电脑等移动终端的普及,人们使用移动终端进行视频拍摄并进行视频处理的需求更加逐渐增加,然而在相关技术中,视频帧中的物体移除或缺失区域补全等技术的效率较低。

2、如何高效地进行物体移除或缺失区域补全等,更好地满足用户需求,是本领域技术人员一直在努力研究的技术问题。


技术实现思路

1、为了至少解决现有技术中存在的上述问题,本专利技术提供了一种由电子设备执行的方法、电子设备和存储介质。

2、根据本申请实施例的第一方面,提供了一种视频处理方法,包括:从视频中确定至少一个邻近帧序列,并对所述至少一个邻近帧序列中的每一个进行以下操作:通过对当前邻近帧序列进行编码,获得当前邻近帧序列的特征图序列;基于当前邻近帧序列的特征图序列以及对应的待移除物体掩码图像序列,确定当前邻近本文档来自技高网...

【技术保护点】

1.一种由电子设备执行的方法,包括:从视频中确定至少一个邻近帧序列,并对所述至少一个邻近帧序列中的每一个进行以下操作:

2.如权利要求1所述的方法,其中,从视频中确定至少一个邻近帧序列的步骤包括:

3.如权利要求1或2所述的方法,还包括:

4.如权利要求3所述的方法,其中,从视频中确定与每一个邻近帧序列对应的参考帧序列的步骤包括:

5.如权利要求4所述的方法,其中,根据所述候选帧序列中的每一帧候选图像与当前邻近帧序列中的特定帧图像之间的相似性,从所述候选帧序列中选出与当前邻近帧序列对应的参考帧序列的步骤包括:按照帧顺序对所述候选帧序列中的每...

【技术特征摘要】

1.一种由电子设备执行的方法,包括:从视频中确定至少一个邻近帧序列,并对所述至少一个邻近帧序列中的每一个进行以下操作:

2.如权利要求1所述的方法,其中,从视频中确定至少一个邻近帧序列的步骤包括:

3.如权利要求1或2所述的方法,还包括:

4.如权利要求3所述的方法,其中,从视频中确定与每一个邻近帧序列对应的参考帧序列的步骤包括:

5.如权利要求4所述的方法,其中,根据所述候选帧序列中的每一帧候选图像与当前邻近帧序列中的特定帧图像之间的相似性,从所述候选帧序列中选出与当前邻近帧序列对应的参考帧序列的步骤包括:按照帧顺序对所述候选帧序列中的每一帧候选图像进行以下操作:

6.如权利要求5所述的方法,其中,通过将所述候选帧序列中的当前候选图像与当前邻近帧序列中的所述特定帧图像输入到参考帧匹配网络,获得当前候选图像与所述特定帧图像之间的相似性的步骤包括:

7.如权利要求6所述的方法,其中,确定所述候选帧序列中的当前候选图像和当前邻近帧序列中的所述特定帧图像之间的相似性矩阵的步骤包括:

8.如权利要求6或7所述的方法,其中,基于与所述特定帧图像对应的掩码边缘图以及所述相似性矩阵,确定边缘注意力图的步骤包括:

9.如权利要求6-8中任一项所述的方法,其中,基于与所述特定帧图像对应的待移除物体掩码图像以及所述相似性矩阵,确定掩码注意力图的步骤包括:

10.如权利要求1-9中任一项所述的方法,其中,基于当前邻近帧序列的特征图序列以及对应的待移除物体掩码图像序列,确定当前邻近帧序列的特征流序列的步骤包括:

11.如权利要求10所述的方法,其中,基于当前邻近帧序列的特征图序列以及对应的待移除物体掩码图像序列,确定当前邻近帧序列的遮挡掩码图像序列和特征流序列的步骤包括:针对当前邻近帧序列中的每一帧图像进行以下操作:

12.如权利要求11所述的方法,其中,利用特征流估计模块估计相邻帧图像到当前帧图像的特征流和遮挡掩码图像的步骤包括:

【专利技术属性】
技术研发人员:宋先松曹雷左力罗在根文伟王长威白猛猛
申请(专利权)人:北京三星通信技术研究有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1