当前位置: 首页 > 专利查询>清华大学专利>正文

视频图像编辑、修复的方法、装置及存储介质制造方法及图纸

技术编号:28626342 阅读:29 留言:0更新日期:2021-05-28 16:22
一种视频图像编辑方法,包括:选取输入视频中的一帧目标帧图像与多帧辅助帧图像,并分别进行配对,得到多个配对组合,每个配对组合包括目标帧图像和一帧辅助帧图像;对于每个配对组合分别提取一对光流,包括:从目标帧图像到该配对组合中辅助帧图像的反向光流,从该配对组合中辅助帧图像到目标帧图像的前向光流;根据每一对光流中反向光流和前向光流的一致性判断结果,得到图像的一致性标记;获取目标帧图像中的每个实例对应的分割标记;分别确定每个实例对应的分割标记与一致性标记的重合度,利用重合度高于预设条件的分割标记,与一致性标记组合得到组合标记,组合标记用于标识出目标帧图像中去除待移除区域后的结果。

【技术实现步骤摘要】
视频图像编辑、修复的方法、装置及存储介质
本文涉及但不限于计算机视觉与数字图像处理领域,尤其涉及视频图像编辑、修复的方法、装置及存储介质。
技术介绍
随着互联网技术的不断发展以及智能手机的广泛普及,手机摄影已经成为了人们生活中的重要组成部分,图像/视频编辑也成为图像处理领域中一个愈发重要的问题。在图像/视频编辑技术中,图像/视频修复(也可称为物体移除)尤其困难,它的目的是移除图像/视频中的非主体物体,并且填充被遮挡的区域。在一些修复方法中,标注需要移除的区域需要手工完成,这导致了使用上的不便。
技术实现思路
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。本申请实施例提供了一种视频图像编辑方法,可以解决在图像/视频修复时,只能依靠手工标注需要移除的区域的问题。本申请实施例提供了一种视频图像编辑方法,包括:选取输入视频中的一帧目标帧图像与多帧辅助帧图像;将所述目标帧图像与多帧辅助帧图像分别进行配对,得到多个配对组合,每个配对组合包括所述目标帧图像和一帧辅助帧图像;...

【技术保护点】
1.一种视频图像编辑方法,其特征在于,包括:/n选取输入视频中的一帧目标帧图像与多帧辅助帧图像;/n将所述目标帧图像与多帧辅助帧图像分别进行配对,得到多个配对组合,每个配对组合包括所述目标帧图像和一帧辅助帧图像;/n对于每个配对组合分别提取一对光流,包括:反向光流和前向光流;所述反向光流为从所述目标帧图像到该配对组合中所述辅助帧图像的光流,所述前向光流为从该配对组合中所述辅助帧图像到所述目标帧图像的光流;/n根据每一对光流中反向光流和前向光流的一致性判断结果,得到图像的一致性标记;/n获取目标帧图像中的每个实例对应的分割标记;/n分别确定所述每个实例对应的分割标记与一致性标记的重合度,利用所述...

【技术特征摘要】
1.一种视频图像编辑方法,其特征在于,包括:
选取输入视频中的一帧目标帧图像与多帧辅助帧图像;
将所述目标帧图像与多帧辅助帧图像分别进行配对,得到多个配对组合,每个配对组合包括所述目标帧图像和一帧辅助帧图像;
对于每个配对组合分别提取一对光流,包括:反向光流和前向光流;所述反向光流为从所述目标帧图像到该配对组合中所述辅助帧图像的光流,所述前向光流为从该配对组合中所述辅助帧图像到所述目标帧图像的光流;
根据每一对光流中反向光流和前向光流的一致性判断结果,得到图像的一致性标记;
获取目标帧图像中的每个实例对应的分割标记;
分别确定所述每个实例对应的分割标记与一致性标记的重合度,利用所述重合度高于预设条件的分割标记,与所述一致性标记组合得到组合标记,所述组合标记用于标识出所述目标帧图像中去除待移除区域后的结果。


2.根据权利要求1所述的视频图像编辑方法,其特征在于,所述图像的一致性标记包括目标帧图像中每个格点位置的一致性标记;
所述根据每一对光流中反向光流和前向光流的一致性判断结果,得到图像的一致性标记,包括:
对于每个配对组合,分别根据该配对组合中目标帧图像的该格点位置与辅助帧图像中对应的格点位置之间的一致性判断结果,得到该配对组合中该格点位置的初始一致性标记;
将所有配对组合中该格点位置的初始一致性标记累加,根据累加结果得到该格点位置的一致性标记。


3.根据权利要求2所述的视频图像编辑方法,其特征在于,所述对于每个配对组合,分别根据该配对组合中目标帧图像的该格点位置与辅助帧图像中对应的格点位置之间的一致性判断结果,得到该配对组合中该格点位置的初始一致性标记包括:
分别根据每一对光流获得相应的配对组合中新的格点位置;所述新的格点位置为根据该配对组合中所述辅助帧图像中的与所述目标帧图像的该格点位置所对应的格点位置结合前向光流计算得出;
对于每个配对组合,分别根据目标帧图像中该格点位置与该配对组合中新的格点位置之间的一致性判断结果,获取该配对组合中该格点位置的初始一致性标记。


4.根据权利要求3所述的视频图像编辑方法,其特征在于,所述分别根据每一对光流获得相应的配对组合中新的格点位置,包括:
对于所述每一对光流,按照反向光流将目标帧图像的该格点位置传播到辅助帧图像,根据所述目标帧图像的该格点位置在所述辅助帧图像上对应的格点位置以及前向光流计算出所述新的格点位置;
所述对于每个配对组合,分别根据目标帧图像中该格点位置与该配对组合中新的格点位置之间的一致性判断结果,获取该配对组合中该格点位置的初始一致性标记包括:
对于每个配对组合分别进行如下处理:
比较目标帧图像中该格点位置,与将该配对组合中所述新的格点位置按照前向光流回传到所述目标帧图像上后所在的格点位置之间的差异值,当所述差异值小于或等于预设的第一阈值时,将该格点位置的初始一致性标记记录为表示一致的值。


5.根据权利要求4所述的视频图像编辑方法...

【专利技术属性】
技术研发人员:黄高陶辰昕宋士吉
申请(专利权)人:清华大学
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1