一种基于时空金字塔网络和对抗自然先验的视频去模糊方法技术

本发明专利技术公开了一种基于时空金字塔网络与对抗自然先验的视频去模糊方法，包括以下步骤：将实际环境中采集的运动模糊视频数据进行处理，将其映射到Ycbcr彩色空间，单独将Y通道数据输入时空金字塔模块提取模糊视频的不同尺寸的时域与空域信息；将通过时空金字塔模块提取后的特征图输入到特征重构模块对特征进行处理和重构得到去模糊后的视频帧；将经过前面时空金字塔模块的时空金字塔网络处理后获取的Y通道去模糊视频数据与相对应清晰的视频数据分别计算获得视频自然先验信息，改进判别器对视频图像的细节捕获能力。上述技术方案，能够将模糊的视频通过时空金字塔网络和对抗自然先验技术处理后，得到更高的定量指标及更好的视觉效果。

【技术实现步骤摘要】
一种基于时空金字塔网络和对抗自然先验的视频去模糊方法
本专利技术涉及视频处理
，具体涉及一种基于时空金字塔网络和对抗自然先验的视频去模糊方法。
技术介绍
随着移动互联网以及电子信息技术的迅猛发展，每天有海量的视频数据产生，视频分析与处理技术对于安防、监控等具有极其重要的价值。然而，在视频实时拍摄的过程中，往往由于拍摄设备的抖动以及拍摄目标运动等因素的影响，使得拍摄的视频出现一定程度的模糊，严重的影响人们从视频中获取有价值的细节信息。但很多时候，视频的内容质量严重影响了视频的可应用程度，例如：自动驾驶汽车，道路监控，安防监控等场景。模糊视频处理已有较多研究，从技术方面来看，主要分为三大类：视频图像的非盲运动去模糊，视频图像的盲运动去模糊，基于视频的运动去模糊算法。最早被提出的非盲运动去模糊算法是逆滤波(InverseFilter)去卷积方法。Nathan采用二位逆滤波算法来进行还原处理，随着研究的不断深入，Donatelli等人将偏微分方程(PartialDifferentialEquation,PDE)理论应用于视频图像的恢复处理本文档来自技高网...

【技术保护点】
1.一种基于时空金字塔网络与对抗自然先验的视频去模糊方法，其特征在于：包括以下步骤：/n(1)将实际环境中采集的运动模糊视频数据进行处理，将其映射到Ycbcr彩色空间，单独将Y通道数据输入时空金字塔模块提取模糊视频的不同尺寸的时域与空域信息，其中对应的cb、cr空间数据保留用于最后清晰视频的合成；/n(2)将通过时空金字塔模块提取后的特征图输入到特征重构模块对特征进行处理和重构得到去模糊后的视频帧；/n(3)将经过前面时空金字塔模块的时空金字塔网络处理后获取的Y通道去模糊视频数据与相对应清晰的视频数据分别计算获得视频自然先验信息，/n

【技术特征摘要】
1.一种基于时空金字塔网络与对抗自然先验的视频去模糊方法，其特征在于：包括以下步骤：
(1)将实际环境中采集的运动模糊视频数据进行处理，将其映射到Ycbcr彩色空间，单独将Y通道数据输入时空金字塔模块提取模糊视频的不同尺寸的时域与空域信息，其中对应的cb、cr空间数据保留用于最后清晰视频的合成；
(2)将通过时空金字塔模块提取后的特征图输入到特征重构模块对特征进行处理和重构得到去模糊后的视频帧；
(3)将经过前面时空金字塔模块的时空金字塔网络处理后获取的Y通道去模糊视频数据与相对应清晰的视频数据分别计算获得视频自然先验信息，



其中，代表输入视频帧Y通道数据，表示对应视频帧的梯度强度，表示视频帧在x方向上的梯度信息，表示视频帧在y方向上的梯度信息；
(4)分别将计算得到的图像自然先验信息分别送入判别器，对判别器网络进行训练，对生成的样本和清晰的样本进行判别，进而指导生成器网络进行视频去模糊任务，生成器网络和判别器网络优化的目标函数为：



先优化判别器网络，再优化生成器网络，其中，E表示数学期望，h服从概率分布Ptrain，服从概率分布


2.根据权利要求1所述的一种基于时空金字塔网络与对抗自然先验的视频去模糊方法，其特征在于：步骤(1)包括以下子步骤:
首先，将输入的连续模糊的5帧以中间帧为中心将其划分为3段子序列，分别为1帧，3帧，5帧；通过2维和3维卷积对这些子序列单独处理，采集视频不同尺度时域和空域信息；
其次，将提取到不同尺度的时域和空域信息进行动态融合，从而捕获到视频局部到全局的时空信息。


3.根据权利要求1所述...

【专利技术属性】
技术研发人员：张笑钦，王涛，蒋润华，赵丽，
申请(专利权)人：温州大学，
类型：发明
国别省市：浙江;33