基于深度学习的视频去雾系统技术方案

本发明专利技术基于深度学习，设计出一款实时的视频去雾系统。采用端到端的图像去雾方法，搭载轻量级的卷积神经网络，同时学习大气散射模型中的透射率t(x)和大气光A参数，直接生成去雾图像；结合前背景分割法和双三次插值算法对视频图像进行处理进一步提高了视频处理的实时性；在NYU2数据集上根据大气散射模型生成有雾图的方法得到有雾图像数据集，用于训练和测试。本发明专利技术设计出的视频去雾系统可移植性强，能够嵌入到硬件处理器中，能应用到交通视频去雾、无人驾驶、计算机视觉辅助驾驶中，去雾能力显著，视觉效果好，是一款有效的视频去雾系统。

Video defogging system based on deep learning

Based on deep learning, the invention designs a real-time video defogging system. The end-to-end image defogging method is adopted, which is equipped with a lightweight convolution neural network. At the same time, the transmittance t (x) and the atmospheric light a parameters in the atmospheric scattering model are learned to generate the defogging image directly. The video image processing is further improved by combining the pre background segmentation method and the bicubic interpolation algorithm. On the nyu2 data set, the system generates the defogging image according to the atmospheric scattering model Fog image data set is obtained by fog image method, which is used for training and testing. The video defog system designed by the invention has strong portability, can be embedded in the hardware processor, can be applied to the traffic video defog, unmanned driving, computer vision assisted driving, has remarkable defog ability and good visual effect, and is an effective video defog system.

【技术实现步骤摘要】
基于深度学习的视频去雾系统
本专利技术属于计算机图像处理领域，具体涉及到一种基于深度学习的视频去雾方法。
技术介绍
近年来，图像处理、计算机视觉等技术迅速发展，越来越多的应用在智能交通系统中。晴朗天气状况下，智能交通系统可以得到清晰丰富的图像信息，并且可以进行运动车辆检测、追踪、识别等工作，给道路监管带来了便捷，并极大提升了车主的行车安全性。但是在雾霾等恶劣天气时，视野变得模糊，能见度降低，智能交通系统的作用大幅度下降，难以获得准确的图像特征从而对目标进行检查和识别等工作；驾驶员的视野范围也大范围降低，为安全驾驶埋下了隐患。对受雾霾影响的道路交通视频、行车记录仪视频及辅助驾驶系统进行去雾清晰化处理，提高道路视频监控系统对环境的适应性以及辅助驾驶员进行道路状况判定显得尤为重要。针对雾霾引发的图像或视频质量下降现象，国内外研究学者提出了许多有效的去雾算法。目前通常将图像去雾算法分为两类：基于图像增强的去雾算法和基于图像复原的去雾算法。基于图像增强的去雾算法通过改变图像灰度值分布或提高图像对比度等图像特征从而实现去雾。SeowMing本文档来自技高网...

【技术保护点】
1.基于深度学习的视频去雾系统，其特征在于包括以下步骤：/n1)输入有雾视频，用前背景分割法对视频进行预处理；/n2)采用双三次插值算法提高视频处理速度，实现视频的实时去雾；/n3)在NYU2数据集上根据大气散射模型生成有雾图的方法得到有雾图像数据集用于训练和测试；/n4)采用基于CNN的端到端去雾网络实现视频去雾，先通过K估计模块来估计K(x)的值，再经过清晰图像生成模块根据大气散射物理模型计算出清晰图像J(x)；/n5)图像融合，降噪处理，输出去雾视频。/n

【技术特征摘要】
1.基于深度学习的视频去雾系统，其特征在于包括以下步骤：
1)输入有雾视频，用前背景分割法对视频进行预处理；
2)采用双三次插值算法提高视频处理速度，实现视频的实时去雾；
3)在NYU2数据集上根据大气散射模型生成有雾图的方法得到有雾图像数据集用于训练和测试；
4)采用基于CNN的端到端去雾网络实现视频去雾，先通过K估计模块来估计K(x)的值，再经过清晰图像生成模块根据大气散射物理模型计算出清晰图像J(x)；
5)图像融合，降噪处理，输出去雾视频。


2.按照权利要求1所述的基于深度学习的视频去雾系统，其特征在于：
步骤1)中前背景分割法由以下的方式确定：
本发明采用背景分离的方法，从视频序列中分离出前景和背景图像，分别进行去雾处理，最后再进行图像的融合。前背景的分离采用基于多帧视频平均建模算法，将视频中运动的物体看做是噪声，利用累加平均来消除噪声，得到视频的前景和背景信息，之后采用步骤4)的去雾算法进行去雾处理，最后再采用图像融合的方法对其进行融合。


3.按照权利要求1所述的基于深度学习的视频去雾系统，其特征在于：
步骤2)中采用双三次插值算法提高视频处理速度，设f(i，j)为点(i，j)对应的像素值，其中点A、B、C、D、E的坐标依次为(i-1，j-1)、(i-1，j+2)、(i+2，j+2)、(i+2，j-1)、(i+u，j+v)，点E(i+u，j+v)的像素f...

【专利技术属性】
技术研发人员：张婷，赵杏，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11