一种基于双向循环卷积生成对抗网络的视频模糊去除方法技术

本发明专利技术公开一种基于双向循环卷积生成对抗网络的视频模糊去除方法：步骤一：利用清晰视频生成网络产生高质量去除模糊的复原视频；步骤二：利用判别网络对复原视频和参考清晰视频进行分类判别；步骤三：构造损失函数对清晰视频生成网络和判别网络两个网络进行训练；输出：用训练好的清晰视频生成网络处理模糊视频。本发明专利技术方法以生成对抗网络为基本框架，通过两路沿不同方向传递信息的循环神经网络序列，利用蕴含在其中的时序关系；引入融合重建模块重建当前帧，利用全局残差连接提高网络表达能力和收敛速度；利用内容损失和对抗损失对网络进行训练。本发明专利技术可与各类图像和视频应用系统结合，帮助提升所拍摄视频的质量，有广阔市场前景与应用价值。市场前景与应用价值。市场前景与应用价值。

【技术实现步骤摘要】
一种基于双向循环卷积生成对抗网络的视频模糊去除方法


[0001]本专利技术涉及一种基于双向循环卷积生成对抗网络(BTSRNN
‑
WGAN)的视频模糊去除方法，属于数字视频处理、模式识别和计算机视觉领域，主要涉及视频和图像复原技术。在各类基于图像和视频的应用系统中有广阔的应用前景。

技术介绍

[0002]图像复原技术是指利用单张或多张退化图像及关于退化过程的先验知识得到退化前理想图像的技术。导致图像或视频发生退化的主要原因包括外部成像环境的影响和内部成像设备的影响，退化的主要表现形式为：图像模糊、畸变、噪声等。图像或视频的退化除降低其视觉效果外，还会严重影响相关高级视觉任务，如目标检测、目标跟踪、三维重建等，因此图像复原技术是计算机视觉领域一项重要的预处理技术。在对动态场景进行视频画面的捕捉时，最常见的退化现象是视频图像出现模糊，视频模糊产生的原因包括相机对焦不准产生的失焦模糊，但更常见的是目标和相机在曝光时间内发生相对运动而产生的运动模糊。在暗光环境下拍摄视频时，不得不通过增大曝光时间来拍摄足够亮度的视频，就更容易发生视频运动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双向循环卷积生成对抗网络的视频模糊去除方法，其特征在于：该方法具体包括：步骤一：利用清晰视频生成网络产生高质量去除模糊的复原视频；首先使用双向RNN序列对输入视频进行特征提取；然后对当前帧和其相邻帧特征进行融合；随后通过重建模块从融合的特征图恢复与原输入大小相同的图像；最后通过全局残差连接将当前帧与重建模块的输出相加，得到当前帧的复原结果；将每一帧的复原结果串联起来，得到复原视频；步骤二：利用判别网络对复原视频和参考清晰视频进行分类判别；步骤三：构造损失函数对清晰视频生成网络和判别网络两个网络进行训练；输出：用训练好的清晰视频生成网络处理模糊视频。2.根据权利要求1所述的一种基于双向循环卷积生成对抗网络的视频模糊去除方法，其特征在于：所述步骤一具体如下：S1.1：通过双向RNN序列提取每帧图像的特征图；所述的RNN序列由RNN单元组成，RNN单元的输入是当前帧图像和上一个RNN单元输出的隐藏状态，RNN单元的输出是当前帧的特征图和隐藏状态，特征图用于重建清晰图像，隐藏状态则传向下一个RNN单元，通过隐藏状态在RNN序列中的传递，视频的时序信息得以保留；一般前向传递的RNN序列可使当前帧特征图中包含过去帧信息，然而未来帧信息同样具有利用价值，因此设计了两条RNN序列，分别向前和向后传播，融合它们的输出结果得到当前帧的特征图；S1.2：使用融合重建模块对特征图进行融合和重建；首先利用一个时空注意模块提取当前帧和其前后两帧特征图的有效信息，融合后送入重建模块进行当前帧的重建；S1.3：通过全局残差连接得到复原结果：引入全局残差连接帮助重建：将融合重建模块的输出结果与输入的当前帧相加作为最终复原结果，提升网络学习效率和表达能力；将每一帧的复原结果串联起来，得到复原视频，将复原视频和参考清晰视频送入判别网络进行判别。3.根据权利要求2所述的一种基于双向循环卷积生成对抗网络的视频模糊去除方法，其特征在于：所述步骤S1.2还包括：在融合特征图之前，利用时空注意模块对特征图进行加权处理，有效保留每张特征图中与当前帧相似的信息，再经过多尺度卷积核对特征进行处理，将得到的结果融合在一起送入重建模块，经2次转置卷积得到与输入相同大小的结果。4.根据权利要求1所述的一种基于双向循环卷积生成对抗网络的视频模糊去除方法，其特征在于：所述步骤三具体如下：S3.1：清晰视频生成网络的损失函数由两部分组成：复原视频和参考清晰视频之间的均方误差构成的内容损失，以及将复原视频输入判别网络计算得到的对抗损...

【专利技术属性】
技术研发人员：白相志，王亚东，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：