一种基于深度学习的端到端图像去雾处理方法技术

本发明专利技术涉及一种基于深度学习的端到端图像去雾处理方法，该方法通过一训练好的深度卷积神经网络将有雾图像转换为无雾图像，其中，所述深度卷积神经网络包括：特征提取模块，包括多个卷积子模块，对输入图像进行卷积计算，提取多维特征图谱；特征池化模块，包括多个池化层，每个池化层对应连接于一所述卷积子模块之后，对所述多维特征图谱进行去冗余处理；恢复模块，包括多个反卷积子模块，连接于所述特征池化模块之后，输出与输入图像具有相同分辨率的输出图像；层间跳跃连接层，设有多个，实现池化层的输出与相应反卷积子模块的输入间的层间跳跃连接，融合多尺度特征图谱。与现有技术相比，本发明专利技术具有去雾效果好、过程简单等优点。

An End-to-End Image Defogging Method Based on Deep Learning

The present invention relates to an end-to-end image defogging method based on depth learning. The method converts foggy image into foggless image through a trained depth convolution neural network. The depth convolution neural network includes: feature extraction module, including several convolution sub-modules, convolution calculation of input image, extraction of multi-dimensional feature map, and feature pooling module. Blocks, including multiple pooling layers, each pooling layer correspondingly connects to the convolution sub-module, and then performs de-redundancy processing on the multi-dimensional feature map; recovery module, including multiple deconvolution sub-modules, connects to the feature pooling module, and outputs output images with the same resolution as the input image; interlayer jump connection layer is provided with multiple pooling layers to realize the pooling layer. The output of the deconvolution module is connected with the input of the corresponding deconvolution module by jumping between layers, and the multi-scale feature map is fused. Compared with the prior art, the present invention has the advantages of good fog removal effect and simple process.

【技术实现步骤摘要】
一种基于深度学习的端到端图像去雾处理方法
本专利技术涉及一种图像处理方法，尤其是涉及一种基于深度学习的端到端图像去雾处理方法。
技术介绍
雾是陆地和海洋上常见的大气现象。在有雾的天气中，存在很多具有一定尺寸的大气微小颗粒。它们不仅吸收目标物体/场景的反射光，同时自身的反射光同目标物体的反射光一起进入相机，使得相机获取的光线信息受到干扰，无法对目标物体/场景进行清晰成像。由于成像的模糊和噪声，给基于计算机视觉的各种算法在性能上带来很大的困难和挑战，如目标识别/跟踪、场景分割、自动驾驶等。随着图像处理技术的发展，图像去雾受到了广泛的关注。目前图像去雾算法主要可以分为两类：第一类是基于大气散射模型的传统图像恢复，采用人为定义的图像特征提取，聚类或是信息统计等，估算大气散射模型中的透射率及大气光强，通过该散射模型的逆向求解来得到去雾图像，该类型方法的主要缺点是透射率和大气光强估算准确率和鲁棒性不高，会出现图像色彩失真和引入噪声等现象；第二类是采用深度卷积网络模型，基于大样本量训练，让网络自身学习到如何估算透射率和大气光强，再通过模型公式求解无雾图像；或是神经网络并不显式估算这两个参数，而是直接输出恢复的无雾图像。深度学习模型的优点在于不用人为定义特征的提取方法，网络本身可以学到如何提取所需特征，比传统的图像处理方法在去雾效果上具有更高的恢复准确度和普适度。目前图像传统去雾处理方法在恢复准确度和普适度上存在较大不足，而现有大部分基于深度学习的方法并没有实现有效的端到端图像去雾，还需要通过估算的透射率和大气光强进行后处理。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的端到端图像去雾处理方法。本专利技术的目的可以通过以下技术方案来实现：一种基于深度学习的端到端图像去雾处理方法，该方法通过一训练好的深度卷积神经网络将有雾图像转换为无雾图像，其中，所述深度卷积神经网络包括：特征提取模块，包括多个卷积子模块，对输入图像进行卷积计算，提取多维特征图谱；特征池化模块，包括多个池化层，每个池化层对应连接于一所述卷积子模块之后，对所述多维特征图谱进行去冗余处理；恢复模块，包括多个反卷积子模块，连接于所述特征池化模块之后，输出与输入图像具有相同分辨率的输出图像；层间跳跃连接层，设有多个，实现池化层的输出与相应反卷积子模块的输入间的层间跳跃连接，融合多尺度特征图谱。进一步地，所述卷积子模块包括相连接的两层卷积层。进一步地，所述反卷积子模块包括相连接的一层反卷积层和一层卷积层。进一步地，所述层间跳跃连接层为一卷积层。进一步地，所述深度卷积神经网络中，每个卷积层后设有非线性激活层。进一步地，所述深度卷积神经网络训练时采用的样本数据库通过如下方式生成：获取无雾图像，对无雾图像进行加雾处理，生成不同光照强度和雾化浓度下的有雾图像，即一幅无雾图像对应多幅有雾图像，以无雾-有雾图像组作为样本，组成样本数据库。进一步地，所述加雾处理采用的加雾处理函数为：G(I)＝F(I)*T(I)+a*(1-T(I))其中，I为原始无雾RGB图像，F(I)表示对图像进行随机处理函数，T(I)＝{t(p)|p为I的任一像素}为图像对应的透射率，t(p)为像素p的透射率，a为大气光强，G(I)为生成的有雾图像。进一步地，所述深度卷积神经网络训练时采用图像差异代价函数更新网络参数，所述图像差异代价函数L表示为：L＝L1+L2L1＝|R(G(I))-I|L2＝|R(G1(I))-RG2(I)|其中，L1表示有雾图像与真实无雾图像比较得到的差异代价，L2表示一致性比较差异代价，I为无雾图像，G(I)为有雾图像，R表示通过神经网络变换，G1(I)和G2(I)表示由同一无雾图像处理获得的不同有雾图像。与现有技术相比，本专利技术具有以如下有益效果：1)本专利技术构成了深度卷积神经网络，设置有层间跳跃连接层，可以让网络融合多尺度下的特征图谱，加速网络收敛速度同时能够恢复更好的图像细节。2)本专利技术深度卷积神经网络中，每个卷积层后加入有非线性激活层，使得整个网络具备模拟高阶非线性函数的能力。3)本专利技术采用的图像组作为样本输入，设置同时考虑单个图像差异和多个图像之间差异的组代价函数对网络参数进行更新，可以防止神经网络过拟合，提升网络鲁棒性和普适性。4)本专利技术可以通过深度卷积神经网络将有雾图像直接转换为无雾图像，实现端到端图像去雾，不需要估算中间参数，同时能够获得很好的去雾效果。附图说明图1为本专利技术的流程示意图；图2为本专利技术的深度卷积神经网络的结构示意图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。本专利技术实现一种基于深度学习的端到端图像去雾处理方法，通过一训练好的深度卷积神经网络将有雾图像转换为无雾图像，不需要估算中间参数，同时能够获得很好的去雾效果。如图1所示，该方法具体步骤包括：步骤S101，获取样本数据库。首先获取无雾图像集，基于大气散射模型对其不同浓度的加雾处理，并进行数据增强，生成相应的有雾数据集，将无雾图像集和有雾图像集组成样本数据库。加雾处理采用的加雾处理函数为：G(I)＝F(I)*T(I)+a*(1-T(I))其中，I为原始无雾RGB图像，F(I)表示对图像进行随机处理函数，包括图像旋转，缩放、裁剪、对称翻转、对比度调整、颜色随机调整操作，T(I)＝{t(p)|p为I的任一像素}为图像对应的透射率，t(p)为像素p的透射率，a为大气光强，G(I)为生成的有雾图像。t(p)依据像素深度值d(p)进行估算，t(p)＝e^(-beta*d(p))。beta和a随机取自(0.7-1.3)和(0.5,1)。本实施例中，获取NYUDepthV2Dataset，包含无雾的清晰RGB图像以及与之配准的深度图像，作为训练样本中的无雾图像集。对NYUDepthV2Dataset中的无雾图像进行加雾处理；为了能够适应不同天气条件，基于大气散射模型和图像的深度信息，生成不同光照强度和雾化浓度下的有雾图像。本实施例中共生成5万张无雾-有雾图像对作为训练样本，600张有雾-无雾图像对作为测试样本。本实施例中，将有雾-无雾图像对裁剪并缩放至224×224图像大小。步骤S102，构建深度卷积神经网络。如图2所示，本专利技术的深度卷积神经网络包括：特征提取模块，包括多个卷积子模块，对输入图像进行卷积计算，提取多维特征图谱；特征池化模块，包括多个池化层，每个池化层对应连接于一所述卷积子模块之后，对所述多维特征图谱进行去冗余处理；恢复模块，包括多个反卷积子模块，连接于所述特征池化模块之后，输出与输入图像具有相同分辨率的输出图像；层间跳跃连接层，设有多个，实现池化层的输出与相应反卷积子模块的输入间的层间跳跃连接，融合多尺度特征图谱。本实施例中，特征提取由5个卷积子模块构成，对输入图像和特征图谱进行卷积运算并提取多维特征图谱。每个卷积子模块包含2层卷积层，2层卷积层的卷积核大小分别为1*1和5*5，5个模块内每层包含的卷积核个数分别为64,128,256,256,512。特征池化由5个池化层构成，分别接入第1-5个卷积子模块之后，对特征图谱进行平均值下采样本文档来自技高网...

【技术保护点】
1.一种基于深度学习的端到端图像去雾处理方法，其特征在于，该方法通过一训练好的深度卷积神经网络将有雾图像转换为无雾图像，其中，所述深度卷积神经网络包括：特征提取模块，包括多个卷积子模块，对输入图像进行卷积计算，提取多维特征图谱；特征池化模块，包括多个池化层，每个池化层对应连接于一所述卷积子模块之后，对所述多维特征图谱进行去冗余处理；恢复模块，包括多个反卷积子模块，连接于所述特征池化模块之后，输出与输入图像具有相同分辨率的输出图像；层间跳跃连接层，设有多个，实现池化层的输出与相应反卷积子模块的输入间的层间跳跃连接，融合多尺度特征图谱。

【技术特征摘要】
1.一种基于深度学习的端到端图像去雾处理方法，其特征在于，该方法通过一训练好的深度卷积神经网络将有雾图像转换为无雾图像，其中，所述深度卷积神经网络包括：特征提取模块，包括多个卷积子模块，对输入图像进行卷积计算，提取多维特征图谱；特征池化模块，包括多个池化层，每个池化层对应连接于一所述卷积子模块之后，对所述多维特征图谱进行去冗余处理；恢复模块，包括多个反卷积子模块，连接于所述特征池化模块之后，输出与输入图像具有相同分辨率的输出图像；层间跳跃连接层，设有多个，实现池化层的输出与相应反卷积子模块的输入间的层间跳跃连接，融合多尺度特征图谱。2.根据权利要求1所述的基于深度学习的端到端图像去雾处理方法，其特征在于，所述卷积子模块包括相连接的两层卷积层。3.根据权利要求1所述的基于深度学习的端到端图像去雾处理方法，其特征在于，所述反卷积子模块包括相连接的一层反卷积层和一层卷积层。4.根据权利要求1所述的基于深度学习的端到端图像去雾处理方法，其特征在于，所述层间跳跃连接层为一卷积层。5.根据权利要求1所述的基于深度学习的端到端图像去雾处理方法，其特征在于，所述深度卷积神经网络中，每个卷积层后设有非线性激活层。6.根据权利要求1所述的基于深度学习的端...

【专利技术属性】
技术研发人员：郑军，李俊，
申请(专利权)人：聚时科技上海有限公司，
类型：发明
国别省市：上海,31