一种运动视频去模糊的方法技术

本发明专利技术提供一种运动视频去模糊的方法，包括构建视频去模糊模型；获取原视频序列，利用视频去模糊中的DSMAP

【技术实现步骤摘要】
一种运动视频去模糊的方法


[0001]本专利技术涉及视频图像处理
，主要涉及一种运动视频去模糊的方法。

技术介绍

[0002]随着移动互联网的快速发展，海量的视频数据随之产生。当代人们获取的大部分信息都是通过人眼视觉系统所得到的，而图像和视频作为主要的视觉信息，逐渐成为了人们日常生活中必不可少的组成部分。
[0003]然而，在视频的实际拍摄过程中，由于所拍摄目标的运动以及拍摄设备不可避免的抖动，都会使得所拍摄的视频存在一定的模糊。与此同时，在视频的传输存储过程中，视频图像的格式改变以及存储介质的性质改变都可能引起视频图像失真模糊。这时，视频质量的改变将会在安防领域、自动驾驶系统、医学影像分析、遥感图像等领域内产生严重影响。因此，为了获取到质量更好的视频图像并将其应用到更充分的应用领域内，视频去模糊是必不可少的前期工作。
[0004]对于运动视频去模糊是计算机视觉中的基本问题，模糊视频处理主要分为三大类：（1）视频图像的非盲运动去模糊，最早提出的去模糊方法是逆滤波去卷积方法，随着研究的不断深入，由Donatelli等人将偏微分方程理论应用于视频图像的恢复处理。（2）视频图像的盲运动去模糊，最早由Fergus等人基于研究对比运动模糊退化的视频图像，以及原始清晰的视频图像各自的梯度分布，提出的一种基于分布统计模型的盲运动去模糊算法。（3）基于视频的运动去模糊，由Takeda等人针对视频图像序列的特性，充分利用时域上的信息，建立三维的时空不变的点扩散函数模型来对视频进行去模糊处理。
[0005]目前，视频图像的去模糊方法大都是将多帧图像一起送入卷积神经网络模型，使用2D卷积核来提取单帧图像，使用重构损失函数作为监督，来对模糊的视频进行多次优化处理，达到去模糊的效果，然而这些方法过于依赖卷积神经网络，导致视频去模糊的时效性不佳，同时去模糊模型在实际应用中出现很多制约。此外，上述方法往往过于注重输入帧序列之间的时序联系，而忽视了生成的视频中帧与帧的连续性，导致恢复出来的视频出现一定的不连续性。
[0006]我们注意到，这些算法在视频去模糊方面的成功主要是对大容量模型的使用。与这些方法不同的是，我们探索了简单而成熟的原理，使去模糊模型更紧凑，而不仅仅是扩大网络模型的容量来进行视频去模糊。

技术实现思路

[0007]针对现有技术存在的不足，本专利技术提供一种运动去模糊的方法，目的在于消除拍摄设备摄像过程中模糊视频图像的模糊像素。该方法首先使用DSMAP-GAN网络对输入的模糊视频图像帧进行预处理，得到一个初步去模糊处理的视频图像帧；将已得到的视频图像帧输入到光流估计模块进行光流估计，再通过时间锐度先验模块得到时间锐度先验信息，最后将上述内容输入到图像隐藏帧恢复网络模块中进行处理，最终输出清晰的视频图像
帧，并将其合成流畅的清晰视频。从而解决现有技术所存在的问题。
[0008]为实现上述目的，本专利技术提供了如下技术方案：一种运动视频去模糊的方法，包括以下步骤。
[0009]S1、构建视频去模糊模型；其中去模糊模型包括DSMAP-GAN网络预处理模块、光流估计模块、时间锐度模块和恢复网络模块。
[0010]S2、获取原始视频序列，将模糊视频每一帧分为一个模糊图像。然后输入到DSMAP-GAN模块中进行预处理达到初步去模糊。
[0011]S3、DSMAP-GAN模块训练过程是将模糊视频图像帧序列定为训练集A，清晰视频图像帧序列定为训练集B，然后输入到DSMAP-GAN网络中进行对抗训练得到最优的网络模型。
[0012]S4、将步骤2中生成的多张连续的初步去模糊图像帧输入到后续去模糊模块中去。
[0013]S5、在后续去模糊模块中，首先利用光流估计模块进行光流估计。
[0014]S6、将步骤2生成的初步去模糊图像帧输入到时间锐度先验模块上，得到时间锐度先验信息。
[0015]S7、将经过上述步骤处理后的图像帧序列和光流信息以及时间锐度信息一起输入到恢复网络模块上，恢复网络是一个编码器-解码器构造，经过它的进一步处理，最终得到更清晰的图像。
[0016]S8、将经步骤7处理后的图像帧序列合成流畅的清晰视频，然后将去模糊的运动视频结果进行可视化。
[0017]与现有技术相比，本专利技术具有如下有益效果。
[0018]1. 与现有技术相比，本专利技术使用光流估计模块，模型借助于该模块可以为后面的恢复网路提供更精确的运动光流信息，有助于视频去模糊。
[0019]与现有技术相比，本专利技术使用时间锐度先验模块，利用该模块模型可以提取相邻视频帧之间清晰的像素信息，有助于隐藏帧恢复网络对隐藏帧进行恢复。
[0020]下面结合说明书附图和具体实施例对本专利技术作进一步说明。
附图说明
[0021]图1为本专利技术的操作原理框图。
[0022]图2为本专利技术的DSMAP-GAN的网络流程图。
[0023]图3为本专利技术的去模糊模块中恢复网络结构图。
具体实施方式
[0024]本专利技术提供了一种运动视频去模糊方法，用于提高运动视频去模糊的效果。
[0025]为了使专利技术的目的、特征和优点更加清晰，下面结合附图和具体实施方案，对本专利技术进一步的详细描述。需要说明的是，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0026]请参阅图1到图3，首先将视频采集设备所采集到的由于目标运动所产生的模糊视频传输到DSMAP-GAN视频图像预处理模块组，在这里进行视频图像预处理，然后将预处理后的视频图像输入到视频图像去模糊模块组，最终将清晰的去模糊视频图像在显示终端进行可视化输出。
[0027]在视频图像去模糊模块组内部，由光流估计模块，时间锐度先验模块，隐藏帧恢复模块组成。
[0028]具体实施步骤如下。
[0029]S1、首先将模糊视频序列处理为一帧帧的视频图像序列，然后将视频图像序列输入到DSMAP-GAN视频图像预处理模块进行初步去模糊。
[0030]S2、在DSMAP-GAN模型上，将模糊视频帧序列A经过最优网络模型处理，生成初步去模糊视频图像帧A1，此时由于模型的鲁棒性很高，生成的初步去模糊视频图像帧A1清晰度已介于模糊视频与清晰视频之间，但是此时的去模糊图像帧A1不足以满足实际的应用需求，同时图像还可以进一步进行去模糊处理来达到更高质量的效果。
[0031]S3、将步骤S2中所生成的初步去模糊视频图像帧A1输入到视频图像去模糊模块组内。
[0032]S4、在视频图像去模糊模块组中，首先利用光流估计模块进行光流估计，光流估计模块主要为潜在帧的恢复提供运动信息。在给定的两帧图像中，下一帧图像和上一帧图像中每一个点有什么不同，而且不同点移动到了什么位置，从而估计的光流为图像恢复提供运动信息，利用估计的光流，我们可以根据现有的方法（Tae Hyun Kim和Kyung Mu Lee）使用变分模型来恢复潜在帧。
[0033]S5、将S2生成的初本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种运动视频去模糊方法，其特征在于，该方法采用模糊图像预处理模块和去模糊模块对模糊视频进行去模糊处理。2.根据权利要求1所述的一种运动视频去模糊方法，其特征在于，所述的模糊图像预处理模块采用了DSMP-GAN网络结构。3.根据权利要求1所述的一种运动视频去模糊方法，其特征在于，所述的视频去模糊模块采用了光流估计和时间锐度先验方法以及恢复网络处理。4.根据权利要求1、2、3所述的一种运动视频去模糊方法，其特征在于，具...

【专利技术属性】
技术研发人员：潘斌，汤永恒，杨楠楠，陈欢，田梦娇，刘璐璐，
申请(专利权)人：辽宁石油化工大学，
类型：发明
国别省市：