视频修复方法和装置制造方法及图纸

技术编号:36064254 阅读:25 留言:0更新日期:2022-12-24 10:30
提供了一种视频修复方法和装置,所述视频修复方法包括:获得具有空洞区域的输入视频的每帧的图像特征;基于当前帧的图像特征和不同于当前帧的至少一个参考帧的图像特征对当前帧中的空洞区域进行填充;基于每帧的填充的图像特征来获得修复视频。像特征来获得修复视频。像特征来获得修复视频。

【技术实现步骤摘要】
视频修复方法和装置


[0001]本专利技术涉及计算机视觉领域和人工智能领域,更具体地,涉及一种视频修复方法和装置。

技术介绍

[0002]视频修复是指以合理连贯的内容填补视频的帧中出现的任意形状的空洞区域,其在视频编辑、老视频修复等方面有着广阔的应用前景。此外,随着移动端短视频分享应用的兴起,移除视频中特定物体的特效十分引人注目。同图像修复相比,视频修复拓展到了时间维度,不仅需要考虑每帧中的修补是否合理,而且需要在时间上保持视频的流畅连贯性,因而更具挑战性。
[0003]视频修复的核心是,针对视频的任意一帧,如何有效地获取空洞区域在其他帧中所对应的可见区域,并有机地结合这些相关内容来进行填补。尽管传统的基于光流或者基于小块纹理的方法可以处理简单的情况,但是对于较大的空洞或是复杂场景下往往无从应对。
[0004]近年来,神经网络极大地推进了视频修复的研究,然而,虽然依靠强大建模能力可以合成高质量的图像区域,但是匹配过程中针对空洞区域的误差会不断积累,从而影响图像修补效果,并且整体计算效率很低,非常耗时。此外,由于每帧都是单独处理,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频修复方法,包括:获得具有空洞区域的输入视频的每帧的图像特征;基于当前帧的图像特征和不同于当前帧的至少一个参考帧的图像特征对当前帧中的空洞区域进行填充;基于每帧的填充的图像特征来获得修复视频。2.如权利要求1所述的视频修复方法,其中,对当前帧中的空洞区域进行填充的步骤包括:基于当前帧中的空洞区域的图像特征与所述至少一个参考帧的图像特征之间的相似度来对当前帧中的空洞区域进行填充。3.如权利要求2所述的视频修复方法,其中,基于当前帧中的空洞区域的图像特征与所述至少一个参考帧的图像特征之间的相似度来对当前帧中的空洞区域进行填充的步骤包括:基于当前帧和所述至少一个参考帧的图像特征来获得当前帧中的非空洞区域的图像特征与所述至少一个参考帧中的非空洞区域的图像特征之间的第一相似度;基于当前帧和所述至少一个参考帧的图像特征来获得当前帧中的空洞区域的图像特征与所述至少一个参考帧中的非空洞区域的图像特征之间的第二相似度;基于第一相似度和第二相似度来获得当前帧中的空洞区域的图像特征与所述至少一个参考帧中的非空洞区域的图像特征之间的相似度;基于所述相似度和所述至少一个参考帧的图像特征来对当前帧中的空洞区域进行填充。4.如权利要求3所述的视频修复方法,其中,获得当前帧中的非空洞区域的图像特征与所述至少一个参...

【专利技术属性】
技术研发人员:贾汉超王晓冰
申请(专利权)人:三星电子株式会社
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1