一种基于端到端深度学习的图像去雾方法技术

本发明专利技术公开了一种基于端到端深度学习的图像去雾的方法。本发明专利技术根据雾图成像模型将无雾图像生成有雾图像，将有雾图像及其对应的传输图和大气光输入到所设计的图像去雾神经网络中，利用随机梯度下降法训练图像去雾神经网络；将待测有雾图像输入到训练后的图像去雾神经网络中获得传输图和大气光值，得到待测有雾图像去雾后的结果。本发明专利技术方法和传统的图像去雾方法相比，得到的去雾后结果在视觉上效果较佳，且适用的场景范围更广，同时可以估计得到大气光值，从而实现端到端的去雾，可以得到较好的去雾效果。

An Image Defogging Method Based on End-to-End Deep Learning

The invention discloses an image defogging method based on end-to-end depth learning. According to the fog image imaging model, the fog-free image is generated, the fog image and its corresponding transmission map and atmospheric light are input into the designed image Fog-removal neural network, and the image Fog-removal neural network is trained by the random gradient descent method, and the fog image to be measured is input into the trained image Fog-removal neural network to obtain the transmission map and atmospheric light value, and to be measured. The result of fog image defogging. Compared with the traditional image defogging method, the obtained defogging result has better visual effect, wider applicable scene range, and can estimate the atmospheric light value, thus achieving end-to-end defogging and better defogging effect.

【技术实现步骤摘要】
一种基于端到端深度学习的图像去雾方法
本专利技术涉及图像增强方法领域，具体涉及了一种基于端到端深度学习的图像去雾方法。
技术介绍
图像去雾是计算机视觉领域一个重要的方向，室外有雾场景下，拍摄得到的图片受雾霾颗粒的影响，图像质量不佳，这对后期图像的分类、分割、目标的检测和追踪等会造成影响。因此，设计有效的图像去雾算法，从有雾图像中恢复出清晰的真实世界无雾图像就显得非常有意义。传统的图像去雾方法采用人工设计的特征，在特定场景下部分设计的先验特征并不成立，适用场景较为局限，在部分场景中传统的方法无法得到令人满意的去雾结果。依据从大气散射模型简化得到的雾图成像模型的图像去雾方法更好地考虑了场景的真实情况，能恢复出更接近实际场景的无雾图像。深度学习有优越的学习能力，可以通过训练自主学习得到与有雾图像去雾相关的特征传输图与大气光值并利用雾图成像模型合成有雾图像以及对应的传输图与大气光值，用合成的数据集训练得到端到端的神经去雾网络，并将训练好的网络用于真实有雾图像的去雾。
技术实现思路
为了解决
技术介绍
中存在的问题，本专利技术的目的在于提供了一种基于端到端深度学习的图像去雾方法。本专利技术将图像去雾分为传输图和大气光值的两部分，并且通过特殊设计的图像去雾神经网络进行同时估计获得预测的大气光值与传输图，进而有雾图像做到端到端的去雾，实现准确的图像去雾处理。本专利技术采用的技术方案包括如下步骤：(1)获取带有深度图的清晰无雾图J作为无雾图像，根据雾图成像模型由无雾图像生成样本有雾图像I，并记录下合成过程中生成的传输图t和大气光值A，作为真实传输图和真实大气光值；(2)将样本有雾图像I及其一一对应的真实传输图t和真实大气光值A输入到所设计的图像去雾神经网络中，利用随机梯度下降法训练图像去雾神经网络；(3)将待测有雾图像输入到训练后的图像去雾神经网络中获得传输图和大气光值，根据无雾图像生成部分利用传输图和大气光值对待测有雾图像进行去雾，得到待测有雾图像去雾后的结果；所述的清晰无雾图J选用含有RGB图像所对应的深度信息的数据集NYU深度数据集和VirtualKITTI数据集。所述步骤(1)具体为：(1.1)由无雾图像所对应的深度图采用以下公式生成得到真实传输图，同时记录下生成传输图时对应的真实大气光值A：t(x)＝e-βd(x)其中，d(x)为无雾图像中像素点x所对应的深度值，e表示常数；β表示大气光的真实散射系数，真实散射系数β随机生成，β的取值范围为0.5到1.5之间；A表示真实大气光值，真实大气光值A随机生成，A的取值范围在0.8和1之间；t(x)表示真实传输图中像素点x的传输值；(1.2)根据上述步骤(1.1)生成的真实散射系数β和真实大气光值A利用以下公式表示的雾图成像模型将无雾图像生成样本有雾图像：I(x)＝J(x)t(x)+A(1-t(x))其中，J(x)表示无雾图像中的像素点x的像素值，I(x)表示样本有雾图像中的像素点x的像素值。所述步骤(2)中的图像去雾神经网络具体包括传输图估计部分和大气光值估计部分，传输图估计部分和大气光值估计部分分别用于传输图和大气光值的估计；其中传输图估计部分主要由卷积层、最大值池化层、上采样层组成，大气光值估计部分主要由卷积层、最大值池化层、全连接层组成。(2.A)传输图估计部分：传输图估计部分主要由三个结构相同的传输图网络单元和一个最终卷积层依次连接构成，每个传输图网络单元由卷积层、池化层和上采样层依次连接构成；三个传输图网络单元中的每个卷积层采用的激活函数均为ReLU函数，引入非线性性；三个传输图网络单元中的第三个卷积层的特征图维度为10；对于最终卷积层，采用尺度大小为1x1的卷积核，不仅能够保留前一层的平面结构，而且能够起到降维的作用，且激活函数选用Sigmoid函数，使得传输图的数值在0到1之间，以此保证输出值的范围；池化层选用最大值池化，尺度选择2x2；上采样层采用最近邻插值进行上采样；每个传输图网络单元中的卷积层包含卷积核和偏置参数，卷积层的响应函数为：其中，和分别为当前卷积层的第i个特征图和当前卷积层的前一层第j个特征图，当前卷积层的前一层为当前卷积层前面的输入层或者是当前卷积层前面的传输图网络单元中的上采样层，若为当前卷积层前面的输入层，其特征图为样本有雾图像I的RGB三通道；表示与特征图卷积得到特征图的卷积核，为得到当前卷积层第i个特征图的偏置参数，卷积核的作用类似于传统图像处理方法中的滤波器，通过训练得到的卷积核与前一层的输出进行卷积操作能够提取出有用的特征；每个传输图网络单元中，样本有雾图像I的RGB三通道输入，经过卷积层提取特征图，利用池化层进行最大值池化保持特征图的平移和旋转不变性，再通过上采样层恢复尺寸的大小。传输图估计部分的损失函数设置为样本有雾图像经传输图估计部分处理估计得到的传输图与样本有雾图像对应的真实传输图之间的均方误差，公式如下：其中，t′(x)为样本有雾图像经传输图估计部分处理估计得到的传输图中像素点x的传输值，t*(x)为样本有雾图像对应的真实传输图中像素点x的传输值，q为样本有雾图像的数目，ti′(x)表示第i张样本有雾图像经传输图估计部分处理估计得到的传输图中像素点x的传输值，表示第i张样本有雾图像对应的真实传输图中像素点x的传输值，||||2表示二范数；(2.B)大气光值估计部分：大气光值估计部分主要由两个结构相同的大气光值网络单元和三个全连接层依次连接构成，每个大气光值网络单元由卷积层、池化层依次连接构成；两个大气光值网络单元中的每个卷积层采用的激活函数均为ReLU函数；池化层选用最大值池化，在保持不变性的基础上，起到了降维的作用；三个全连接层的输出维度分别为256、10、1。大气光值估计部分的损失函数设置为样本有雾图像经传输图估计部分处理估计得到的大气光值与样本有雾图像对应的真实大气光值之间的均方误差，公式如下：其中，A′为样本有雾图像经大气光值估计部分处理估计得到的大气光值，A*为样本有雾图像对应的真实大气光值，A′i表示第i张样本有雾图像经大气光值估计部分处理估计得到的大气光值，表示第i张样本有雾图像对应的真实大气光值。所述步骤(2)中，传输图估计部分和大气光值估计部分均采用随机梯度下降法(Tensorflow)训练，直至直至传输图估计部分损失函数的值小于0.015或者训练次数达到300次，大气光值估计部分损失函数的值小于0.001或者训练次数达到300次则停止训练。所述步骤(3)中，根据无雾图像生成部分利用传输图和大气光值对待测有雾图像进行去雾，具体采用以下公式处理得到：其中，I^(x)表示待测有雾图像中像素点x的像素值，t^(x)表示待测有雾图像经图像去雾神经网络处理获得的传输图，A^表示待测有雾图像经图像去雾神经网络处理获得的大气光值，t0为预设的最小传输阈值，通过引入t0能够避免J(x)因为噪声点的影响而过大，J(x)表示无雾图像J中的像素点x的像素值。本专利技术的有益效果：本专利技术与传统图像去雾算法相比，使用的场景更为广泛；与现有其他基于深度学习的去雾算法相比，本专利技术所设计的网络不仅能够估计得到传输图，同时可以估计得到大气光值，从而实现端到端的去雾，可以得到较好的去雾效果。附图说明图1是本专利技术设计的图像去雾神经网络的结构图。本文档来自技高网...

【技术保护点】
1.一种基于端到端深度学习的图像去雾算法，其特征是，包括如下步骤：(1)获取带有深度图的清晰无雾图J作为无雾图像，根据雾图成像模型由无雾图像生成样本有雾图像I，并记录下合成过程中生成的传输图t和大气光值A，作为真实传输图和真实大气光值；(2)将样本有雾图像I及其对应的真实传输图t和真实大气光值A输入到所设计的图像去雾神经网络中，训练图像去雾神经网络；(3)将待测有雾图像输入到训练后的图像去雾神经网络中获得传输图和大气光值，根据无雾图像生成部分利用传输图和大气光值对待测有雾图像进行去雾，得到待测有雾图像去雾后的结果。

【技术特征摘要】
1.一种基于端到端深度学习的图像去雾算法，其特征是，包括如下步骤：(1)获取带有深度图的清晰无雾图J作为无雾图像，根据雾图成像模型由无雾图像生成样本有雾图像I，并记录下合成过程中生成的传输图t和大气光值A，作为真实传输图和真实大气光值；(2)将样本有雾图像I及其对应的真实传输图t和真实大气光值A输入到所设计的图像去雾神经网络中，训练图像去雾神经网络；(3)将待测有雾图像输入到训练后的图像去雾神经网络中获得传输图和大气光值，根据无雾图像生成部分利用传输图和大气光值对待测有雾图像进行去雾，得到待测有雾图像去雾后的结果。2.根据权利要求1所述的一种基于端到端深度学习的图像去雾算法，其特征是：所述的清晰无雾图J选用含有RGB图像所对应的深度信息的数据集NYU深度数据集和VirtualKITTI数据集。3.根据权利要求1所述的一种基于端到端深度学习的图像去雾算法，其特征是：所述步骤(1)具体为：(1.1)由无雾图像所对应的深度图采用以下公式生成得到真实传输图，同时记录下生成传输图时对应的真实大气光值A：t(x)＝e-βd(x)其中，d(x)为无雾图像中像素点x所对应的深度值，e表示常数；β表示大气光的真实散射系数，真实散射系数β随机生成，β的取值范围为0.5到1.5之间；A表示真实大气光值，真实大气光值A随机生成，A的取值范围在0.8和1之间；t(x)表示真实传输图中像素点x的传输值；(1.2)根据上述步骤(1.1)生成的真实散射系数β和真实大气光值A利用以下公式表示的雾图成像模型将无雾图像生成样本有雾图像：I(x)＝J(x)t(x)+A(1-t(x))其中，J(x)表示无雾图像中的像素点x的像素值，I(x)表示样本有雾图像中的像素点x的像素值。4.根据权利要求1所述的一种基于端到端深度学习的图像去雾算法，其特征是：所述步骤(2)中的图像去雾神经网络具体包括传输图估计部分和大气光值估计部分，传输图估计部分和大气光值估计部分分别用于传输图和大气光值的估计；(2.A)传输图估计部分：传输图估计部分主要由三个结构相同的传输图网络单元和一个最终卷积层依次连接构成，每个传输图网络单元由卷积层、池化层和上采样层依次连接构成；三个传输图网络单元中的每个卷积层采用的激活函数均为ReLU函数；三个传输图网络单元中的第三个卷积层的特征图维度为10；对于最终卷积层，采用尺度大小为1x1的卷积核，且激活函数选用Sigmoid函数；池化层选用最大值池化，尺度选择2x2；上采样层采用最近邻...

【专利技术属性】
技术研发人员：黄红兵，阮颖颖，章毅，刘俊毅，龚小谨，姜文东，陈水耀，钟一俊，刘岩，徐晶，贺家乐，江洪成，吴恺源，张晖，蔡晴，
申请(专利权)人：国网浙江省电力有限公司信息通信分公司，浙江大学，
类型：发明
国别省市：浙江,33