视频修复方法及装置制造方法及图纸

本公开关于一种视频修复方法及装置。视频修复方法包括：获取待修复视频；基于待修复视频的每个图像帧的图像特征，得到待修复视频的每个图像帧之间的形变信息；基于形变信息，对待修复视频的每个图像帧执行形变处理；针对经过形变处理后的每个图像帧，执行以下操作：通过基于当前图像帧的图像特征对当前图像帧执行空间注意力操作，得到当前图像帧的第一修复图像特征，通过基于每个图像帧的图像特征对当前图像帧执行时间注意力操作，得到当前图像帧的第二修复图像特征，将第一修复图像特征和第二修复图像特征进行融合，得到当前图像帧的融合修复图像特征；基于经过形变处理后的每个图像帧的融合修复图像特征，得到修复后的视频。得到修复后的视频。得到修复后的视频。

【技术实现步骤摘要】
视频修复方法及装置


[0001]本公开涉及视频处理领域，尤其涉及一种视频修复方法及装置。

技术介绍

[0002]视频修复是根据视频的已知区域的信息来修复未知(受损)区域，得到重建区域，使得修复之后的视频在视觉上连贯自然，即将需要修复的那一部分像素删除后，用视频中合理的内容填补时空上的空洞，重建合理的背景。视频修复可以帮助许多视频编辑和恢复任务，例如移除掉不需要的对象，刮擦或损坏恢复以及重新定位，更为重要的是，视频修复还可以与增强现实(AR)结合使用，以提供更好的视觉体验。
[0003]目前视频修复方法基本上是基于时空联合Transformer实现，Transformer是根据自注意力机制提出的解决Seq2Seq问题的一种模型，但是基于Transformer的视频修复方法对输入的所有视频一视同仁，然而不同视频所拥有的时空信息是不一样的。例如有些视频的背景运动幅度并不大，有的视频的背景运动幅度非常剧烈，如果都是同等对待的，则无法兼容两种模式的视频，导致其中一种模式的视频的修复效果不理想。

技术实现思路

[0004]本公开提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频修复方法，其特征在于，包括：获取待修复视频；基于所述待修复视频的每个图像帧的图像特征，得到所述待修复视频的每个图像帧之间的形变信息；基于所述形变信息，对所述待修复视频的每个图像帧执行形变处理；针对经过形变处理后的每个图像帧，执行以下操作：通过基于当前图像帧的图像特征对所述当前图像帧执行空间注意力操作，得到所述当前图像帧的第一修复图像特征，通过基于每个图像帧的图像特征对所述当前图像帧执行时间注意力操作，得到所述当前图像帧的第二修复图像特征，将所述第一修复图像特征和所述第二修复图像特征进行融合，得到所述当前图像帧的融合修复图像特征；基于经过形变处理后的每个图像帧的融合修复图像特征，得到修复后的视频。2.如权利要求1所述的视频修复方法，其特征在于，所述将所述第一修复图像特征和所述第二修复图像特征进行融合，得到所述当前图像帧的融合修复图像特征，包括：基于所述形变信息，分别确定所述第一修复图像特征的权重和所述第二修复图像特征的权重；基于所述第一修复图像特征的权重和所述第二修复图像特征的权重，将所述第一修复图像特征和所述第二修复图像特征进行融合，得到所述当前图像帧的融合修复图像特征。3.如权利要求1或2所述的视频修复方法，其特征在于，所述基于所述待修复视频的每个图像帧的图像特征，得到所述待修复视频的每个图像帧之间的形变信息，包括：基于所述每个图像帧中的每个图像块的子图像特征，得到相似度信息，其中，所述图像块是所述每个图像帧分别切分得到的预定个数的图像块中的一个图像块；基于所述相似度信息，得到所述形变信息。4.如权利要求3所述的视频修复方法，其特征在于，所述基于所述每个图像帧中的每个图像块的子图像特征，得到相似度信息，包括：获取所述待修复视频的每个图像帧的图像特征；基于所述每个图像帧的图像特征，得到Query矩阵、Key矩阵和Value矩阵；基于所述Query矩阵中每个图像块的Query子矩阵和所述Key矩阵中每个图像块的Key子矩阵的相似度，得到相似度矩阵，作为所述相似度信息。5.如权利要求4所述的视频修复方法，其特征在于，所述基于所述Query矩阵中每个图像块的Query子矩阵和所述Key矩阵中每个图像块的Key子...

【专利技术属性】
技术研发人员：蔡佳音，陶鑫，戴宇荣，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：