【技术实现步骤摘要】
本专利技术涉及计算机视频处理，更为具体地，涉及一种深度先验的光流引导视频修复方法、系统。
技术介绍
1、视频修复是指利用整个视频序列中已知区域的信息对视频中的缺失区域进行补全的过程。它广泛应用于视频编辑，视频监管等实际应用中。作为图像修复的延伸，虽然前者领域的研究已取得重大进展，但由于引入了额外的时间维度，视频修复仍面临多方位的严峻挑战。如果将视频逐帧拆分并直接应用现有的图像修复方法进行修复可能会导致时间上不一致，产生明显的闪烁伪影，因此如何聚合帧内和帧间的时空信息来确保修复后结果的时空一致性对于视频修复问题来说十分重要。随着深度学习的兴起，越来越多研究者开始将目光转向基于深度学习的视频修复方法的研究。
2、近年来许多基于深度学习的视频修复方法相继涌现。这些方法大致可以分为三个方向：基于三维卷积网络的方法、基于光流的方法和基于注意力机制的方法。基于三维卷积网络的方法利用其学习上的自适应性，自动捕获时间和空间上的变化，对特征进行隐式对齐和融合。这种方法结构简单，通常以端到端的方式进行训练，但是三维卷积网络的时空感受野有限，很难融合距离较远的视频帧的有效信息，增大卷积核虽然能够扩大感受野，但是也会使模型参数量变大。基于光流的方法采用光流来捕获视频动态的运动规律，并且通过用二维卷积网络实现三维模式的计算，节省了计算开销。但是基于光流的视频修复方法非常依赖光流估计的结果，一旦光流估计结果出错，将会影响到后续的特征传播和对齐。基于注意力机制的方法可以有效捕获远程依赖关系，但由于视频修复所使用的注意力机制的搜索范围更广，计算量也
3、因此，亟需一种减少网络设计结构，减少计算开销，提高视频修复效率的深度先验的光流引导视频修复方法、系统。
技术实现思路
1、鉴于上述问题，本专利技术的目的是提供一种深度先验的光流引导视频修复方法、系统，以解决现有图片处理方法要么数据量处理过大、要么不结合金融图像属性、要么隐私性较差的问题。
2、本专利技术提供的一种深度先验的光流引导视频修复，其中，
3、将目标视频输入至阶段数固定的深度先验视频框架网络中以对所述目标视频进行分阶段迭代，每一阶段迭代对应一次经典半二次分裂算法，并且在每一次迭代过程中，由预设的数据模块对所述目标视频进行数据提取和数据输出，由预设的重建模块锁定所述目标视频中的待修复视频，并对所述待修复视频进行基于光流引导局部注意力的视频修复以获取修复视频；其中，基于光流引导局部注意力的视频修复以获取修复视频的步骤，包括：
4、将待修复视频切分为局部连续临近帧和全局参考帧，并通过预设的编码器将所述局部连续临近帧转换为局部连续临近特征，将所述全局参考帧转换为全局参考特征；
5、采用预设的光流补全模块对两两之间的局部连续临近帧进行预测和补全以获取双向光流和双向光流遮挡掩码，并基于所述双向光流和所述局部连续临近特征获取补充对齐后的局部连续临近特征；
6、采用预设的帧间修复模块根据所述补充对齐后的局部连续临近特征和所述全局参考特征获取全局时间信息视频特征；
7、通过预设的解码器对所述全局时间信息视频特征进行解码以获取修复视频。
8、优选地，所述光流补全模块为预先训练好的模块；其中，训练所述光流补全模块的步骤，包括：
9、将样本损失视频输入至光流估计网络spynet，以使所述光流估计网络spynet获取并补全所述样本损失视频的前向光流和后向光流，并学习所述前向光流和所述后向光流中具有像素可见性的样本遮挡掩码；
10、采用预设的损失函数基于所述样本遮挡掩码与预设的完整视频样本的遮挡掩码对所述光流估计网络spynet进行优化以获取光流网络，直至所述损失函数的数据达到预设的阈值，并将最后一次训练而成的光流网络作为光流补全模块。
11、优选地，所述双向光流包括补全后的前向光流和补全后的后向光流。
12、优选地，基于所述双向光流和所述局部连续临近特征获取补充对齐后的局部连续临近特征的步骤，包括：
13、在所述局部连续临近帧选择一个未受损帧作为参考帧；
14、通过光流卷将所述参考帧绕到当前待修复帧中进行粗糙对齐，并基于所述局部连续临近特征锁定所述当前待修复帧的受损光流缺口；
15、在所述双向光流中搜索与所述受损光流缺口相对应的具有像素可见性的遮挡掩码；
16、将局部注意力强的遮挡掩码替换在所述受损光流缺口对应的局部连续临近特征上以获取补充对齐后的局部连续临近特征。
17、优选地，根据所述补充对齐后的局部连续临近特征和所述全局参考特征获取全局时间信息视频特征的步骤，包括：
18、将所述补充对齐后的局部连续临近特征与所述全局参考特征进行时间轴对齐；
19、在同一时间段上，对比所述补充对齐后的局部连续临近特征和所述全局参考特征以获取视频状况参数；
20、若所述视频状况参数表示所述补充对齐后的局部连续临近特征优于所述全局参考特征，则在同一时间段上，以所述补充对齐后的局部连续临近特征替换所述全局参考特征以形成全局时间信息视频特征。
21、本专利技术还提供一种深度先验的光流引导视频修复系统，实现如前所述的深度先验的光流引导视频修复方法，包括阶段数固定的深度先验视频框架网络，用于接收目标视频，对所述目标视频进行分阶段迭代，每一阶段迭代对应一次经典半二次分裂算法；
22、所述深度先验视频框架网络包括数据模块和重建模块；所述数据模块用于在每一次迭代过程中，对所述目标视频进行数据提取和数据输出；所述重建模块用于锁定所述目标视频中的待修复视频，并对所述待修复视频进行基于光流引导局部注意力的视频修复以获取修复视频；
23、所述重建模块包括：
24、视频数据处理模块，用于将待修复视频切分为局部连续临近帧和全局参考帧；
25、编码器，用于将所述局部连续临近帧转换为局部连续临近特征，将所述全局参考帧转换为全局参考特征；
26、光流补全模块，用于对两两之间的局部连续临近帧进行预测和补全以获取双向光流和双向光流遮挡掩码；
27、光流引导的特征传播与对齐模块，用于基于所述双向光流和所述局部连续临近特征获取补充对齐后的局部连续临近特征；
28、帧间修复模块，用于根据所述补充对齐后的局部连续临近特征和所述全局参考特征获取全局时间信息视频特征；
29、解码器，用于对所述全局时间信息视频特征进行解码以获取修复视频。
30、优选地，所述光流补全模块为预先训练好的模块；其中，训练所述光流补全模块的步骤，包括：
31、将样本损失本文档来自技高网...
【技术保护点】
1.一种深度先验的光流引导视频修复方法，其特征在于，包括：
2.如权利要求1所述的深度先验的光流引导视频修复方法，其特征在于，
3.如权利要求2所述的深度先验的光流引导视频修复方法，其特征在于，
4.如权利要求3所述的深度先验的光流引导视频修复方法，其特征在于，基于所述双向光流和所述局部连续临近特征获取补充对齐后的局部连续临近特征的步骤，包括：
5.如权利要求4所述的深度先验的光流引导视频修复方法，其特征在于，根据所述补充对齐后的局部连续临近特征和所述全局参考特征获取全局时间信息视频特征的步骤，包括：
6.一种深度先验的光流引导视频修复系统，其特征在于，实现如权利要求1-5所述的深度先验的光流引导视频修复方法，包括阶段数固定的深度先验视频框架网络，用于接收目标视频，对所述目标视频进行分阶段迭代，每一阶段迭代对应一次经典半二次分裂算法；
7.如权利要求6所述的深度先验的光流引导视频修复系统，其特征在于，
8.如权利要求7所述的深度先验的光流引导视频修复系统，其特征在于，
9.如权利要求8
10.如权利要求9所述的深度先验的光流引导视频修复系统，其特征在于，所述帧间修复模块根据所述补充对齐后的局部连续临近特征和所述全局参考特征获取全局时间信息视频特征的步骤包括：
...【技术特征摘要】
1.一种深度先验的光流引导视频修复方法，其特征在于，包括：
2.如权利要求1所述的深度先验的光流引导视频修复方法，其特征在于，
3.如权利要求2所述的深度先验的光流引导视频修复方法，其特征在于，
4.如权利要求3所述的深度先验的光流引导视频修复方法，其特征在于，基于所述双向光流和所述局部连续临近特征获取补充对齐后的局部连续临近特征的步骤，包括：
5.如权利要求4所述的深度先验的光流引导视频修复方法，其特征在于，根据所述补充对齐后的局部连续临近特征和所述全局参考特征获取全局时间信息视频特征的步骤，包括：
6.一种深度先验的光流引导视频修复系统，其特征在...
【专利技术属性】
技术研发人员：杨馨焱，汪艾琦，王兵，周海亮，方力，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。