一种基于多尺度稠密连接网络的图像去雾方法技术

本发明专利技术公开一种基于多尺度稠密连接网络的图像去雾方法，将具有不同程度的雾的图像重建成较为清晰的图像，极大的提高了图像的质量与视觉感受。首次提出自适应直方图均衡化的方式提高图像的对比度的图像预处理，显著提高了去雾效果；采用多尺度稠密连接卷积神经网络能够描述不同尺度雾的特征，并且有效的结合其特征，达到最有效的去雾效果;提出了基于Retinex去雾问题的公式，使得端对端的深度学习去雾更加简洁有效;本发明专利技术和其他基于深度学习的去雾算法相比。本发明专利技术不但极大地减少了模型参数数量，而且可以在极少的训练数据的情况下，也达到理想的去雾效果。

An image de fogging method based on multi-scale dense connection network

The invention discloses an image de-fogging method based on a multi-scale densely connected network, which reconstructs images with different degrees of fog into clearer images and greatly improves the image quality and visual perception. For the first time, an adaptive histogram equalization method is proposed to improve the contrast of images, which can significantly improve the effect of fog removal. Multi-scale densely connected convolution neural network is used to describe the characteristics of fog at different scales, and the most effective fog removal effect can be achieved by combining the characteristics effectively. The formula of the problem makes the end-to-end depth learning defogging more concise and effective, and the invention is compared with other depth learning defogging algorithms. The invention not only greatly reduces the number of model parameters, but also achieves an ideal de-fogging effect with very little training data.

【技术实现步骤摘要】
一种基于多尺度稠密连接网络的图像去雾方法
本专利技术涉及图像增强领域，尤其涉及一种基于多尺度稠密连接网络的图像去雾方法。
技术介绍
雾是由于微小的尘埃和水汽颗粒在干燥的条件下聚集而形成的一种天气现象。雾，霾，烟等浑浊介质会吸收大气光和造成大气光的散射，这导致在此天气下采集的户外场景的图像退化。通常，退化的图像会失去对比度和色彩保真度。经过某种散射媒介的光线，在原方向上的光强会逐步减弱，同时由于能量守恒定律，减弱的光强会散射到其他方向上。此外，散射所损失的能量取决于其到摄像机的距离。基于这种物理现象，人们常用基于大气散射的物理模型来描述有雾的图像。有雾的图像能够表示为下面的一个线性模型：I(x)＝J(x)t(x)+A(1-t(x))其中，I(x)代表有雾的图像，J(x)是物体的原始辐射，A是全局大气光照，t(x)被称为介质透射率。然而，如果只提供单张图像的信息，同时求解t(x)和A的话，这是一种欠适定的问题。为了解决这个问题，大部分传统的去雾算法依赖于假设和先验条件来估计透射图，进而以此求出其他未知数。(1)基于对比度的方法：与有雾图像的对比度相比，Tan等人发现无雾图像的对比度更低，同时其投射率的变化只跟物体的深度有关，所以利用马尔可夫随机场对投射图进行建模[1]；(2)基于颜色衰减先验的方法：Zhu等人采用了一种基于先验的简单的线性回归模型来预测场景深度[2]，其方法是利用了在无雾区域的亮度和颜色饱和度会非常相似，但是在有雾区域的亮度和颜色饱和度会有非常大的区别的物理特性。(3)基于暗通道的方法：He等人利用暗通道的先验进行去雾。所谓暗通道就是在绝大多数非天空局部区中，光强最小的值。借助暗通道图，可以从有雾的图像中获得所有需要的参数值[3]。(4)基于全局像素的方法：Berman等人基于一个先验知识：一张清晰干净的图像中图像像素点的数量远大于不同颜色的数量。通常，对于一张正常图像，在RGB空间上，图像的像素点的颜色可以聚合成几百个小的团簇。而这些属于同一个团簇的像素点会聚集在RGB空间的直线上，这些直线成为雾线。该方法正是利用雾线估计透射率，进而通过大气散射模型得到去雾后的图像[4]。从上述方法中可以看出，一般去雾算法极大地依赖于透射图估计的准确程度。而透射图的估计又需要基于各种各样的先验和假设。一旦实际图像不符合事先的假设，那么图像的去雾效果就会非常差。为了提高透射图估计的准确率，近年来，学术界开始利用深度学习来解决图像去雾问题。Cai等人是第一个提出用深度学习来学习有雾图像到投射图的映射关系，在此基础上再利用大气散射模型重建出较为清晰的图像[5]。Ling等人和Ren等人改进了Cai的估计透射图的方法，分别提出了基于深度CNN的透射图估计[6]和基于多尺度的透射图估计[7]。但是，这种将透射图和全局大气光照度分开估计的方法会导致次优解的问题。因为在两部分参数分别估计的时候产生的误差会不断累积，然后在两个参数并行优化的时候被放大。因此，Li等人将图像去雾问题彻底转化为端对端的问题，通过神经网络直接学习有雾图像到无雾图像的映射关系[8]。虽然相关研究已经取得了较好的图像去雾效果，但是还是存在一些问题。当采用传统的方式来进行图像去雾时，如果有雾图像的生成与该算法的先验条件或假设不一致时，会导致其去雾性能降低。当采用基于深度学习的去雾算法时，由于其鲁棒性受限于数据集，处理有些图像时则会效果不佳。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于多尺度稠密连接网络的图像去雾方法，能够将具有不同浓度的雾的图像重建出较为清晰的图像，显著的提高了图像质量与视觉效果。本专利技术采用的技术方案是：一种基于多尺度稠密连接网络的图像去雾方法，其包括如下步骤：步骤1，将单张有雾图像I(x)进行预处理后，并将预处理后得到的图像I(x4)作为模型的输入数据；所述步骤1具体包括以下步骤：步骤1.1，图像均衡化：将单张有雾图像I(x)通过基于对比度限制的自适应直方图均衡化方法[9]进行图像预处理，得到图像I(x1)；步骤1.2，图像归一化：将预处理后的有雾图像I(x1)的每个像素值除以255，使得每一个像素介于[0,1]之间，得到图像I(x2)；步骤1.3，图像负值化：将归一化处理后的有雾图像I(x2)的每个像素值都乘以-1，使得每个像素介于[-1,0]之间，得到图像I(x3)；步骤1.4，图像正值化：将负值化处理后的有雾图像I(x3)的每个像素都加上1，使得每个像素介于[0,1]之间，得到图像I(x4)；步骤2,将预处理后得到的图像I(x4)分别执行初始阶段、多尺度卷积层计算阶段、多尺度卷积特征混合计算阶段、变量带入公式计算阶段，获得一幅其对应的去雾处理后的图像；所述步骤2具体包括以下步骤：步骤2.1，初始阶段：输入的预处理后得到的图像I(x4)进行卷积运算和激活函数运算得到其对应的第1层输出结果F(I(x4))，其计算公式是：F(I(x4))＝max(W*I(x4)+b,0)(1)其中W和b分别是本专利技术的第一层网络的卷积权值参数和偏置参数；步骤2.2，多尺度卷积层计算阶段：为了提取不同尺度的雾的特征，本专利技术将把初始阶段提取的卷积特征输入三种大小的多个卷积核组成的三个卷积层组，其卷积核大小分别为3x3，5x5和7x7。将把初始阶段的结果F(I(x4))分别输入到多尺度卷积层的每个卷积层组，其后把结果又进行一次卷积，然后把前面两个结果堆叠的结果输入到下一个卷积层。其计算公式是：其中和分别是i尺度(i＝3、5、7)的卷积层组的第1个、第2个和第3个卷积层的卷积权值参数，和分别是i尺度(i＝3、5、7)的卷积层组的第1个、第2个和第3个卷积层的偏置参数。和分别是i尺度(i＝3、5、7)的卷积层组的第1个、第2个和第3个卷积层的输出结果；步骤2.3，多尺度卷积特征混合阶段：本专利技术的特征混合阶段由1次特征堆叠操作、2次激活函数运算和2次卷积运算组成，其计算公式是：F5(I(x))＝max(W5*4(I(x))+b5,0)(6)其中W4和W5分别是多尺度卷积特征混合阶段的第1个和第2个卷积层的卷积权值参数，b4和b5分别是多尺度卷积特征混合阶段的第1个和第2个卷积层的偏置参数，F5(I(x))是本专利技术卷积神经网络的输出，即卷积神经网络所学习的中间变量；步骤3，去雾区域计算阶段：本专利技术通过卷积神经网络所学习的中间变量，并利用此中间变量重建出较为清晰的图像。传统的去雾算法是基于大气散射物理模型，其公式如下：I(x)＝J(x)t(x)+A(1-t(x))(7)其中，I(x)为有雾的图像，J(x)是原始的无雾的图像，A为全局大气光照，t(x)为投射图。由于传统的去雾模型需要同时计算较多的参数，这导致图像去雾问题成为一个欠适定的问题。因此，在Galdran等人理论的基础上[10]，本专利技术提出了一种从Retinex角度解决去雾问题的公式。其中，Galdran等人证明了Retinex理论和图像去雾问题之间存在一种关系，其关系如下：Dehazing(I(x))＝1-Retinex(1-I(x))(8)其中Dehazing表示去雾算法，Retinex表示基于Retinex理论进行图像去雾的算法。该公式证明了，这两种方法之间的关系。而Reti本文档来自技高网...

【技术保护点】
1.一种基于多尺度稠密连接网络的图像去雾方法，其特征在于：其包括如下步骤：步骤1，将单张有雾图像I(x)进行预处理后，并将预处理后得到的图像I(x4)作为模型的输入数据；所述步骤1具体包括以下步骤：步骤1.1，图像均衡化：将单张有雾图像I(x)通过基于对比度限制的自适应直方图均衡化方法进行图像预处理，得到图像I(x1)；步骤1.2，图像归一化：将预处理后的有雾图像I(x1)的每个像素值除以255，使得每一个像素介于[0,1]之间，得到图像I(x2)；步骤1.3，图像负值化：将归一化处理后的有雾图像I(x2)的每个像素值都乘以‑1，使得每个像素介于[‑1,0]之间，得到图像I(x3)；步骤1.4，图像正值化：将负值化处理后的有雾图像I(x3)的每个像素都加上1，使得每个像素介于[0,1]之间，得到图像I(x4)；步骤2,将预处理后得到的图像I(x4)分别执行初始阶段、多尺度卷积层计算阶段、多尺度卷积特征混合计算阶段、变量带入公式计算阶段，获得一幅其对应的去雾处理后的图像；所述步骤2具体包括以下步骤：步骤2.1，初始阶段：输入的预处理后得到的图像I(x4)进行卷积运算和激活函数运算得到其对应的第1层输出结果F(I(x4))，其计算公式是：F(I(x4))＝max(W*I(x4)+b,0)                             (1)其中W和b分别是本专利技术的第一层网络的卷积权值参数和偏置参数；步骤2.2，多尺度卷积层计算阶段：将把初始阶段提取的卷积特征输入三种大小的多个卷积核组成的三个卷积层组；将把初始阶段的结果F(I(x4))分别输入到多尺度卷积层的每个卷积层组，其后把结果又进行一次卷积，然后把前面两个结果堆叠的结果输入到下一个卷积层。其计算公式是：...

【技术特征摘要】
1.一种基于多尺度稠密连接网络的图像去雾方法，其特征在于：其包括如下步骤：步骤1，将单张有雾图像I(x)进行预处理后，并将预处理后得到的图像I(x4)作为模型的输入数据；所述步骤1具体包括以下步骤：步骤1.1，图像均衡化：将单张有雾图像I(x)通过基于对比度限制的自适应直方图均衡化方法进行图像预处理，得到图像I(x1)；步骤1.2，图像归一化：将预处理后的有雾图像I(x1)的每个像素值除以255，使得每一个像素介于[0,1]之间，得到图像I(x2)；步骤1.3，图像负值化：将归一化处理后的有雾图像I(x2)的每个像素值都乘以-1，使得每个像素介于[-1,0]之间，得到图像I(x3)；步骤1.4，图像正值化：将负值化处理后的有雾图像I(x3)的每个像素都加上1，使得每个像素介于[0,1]之间，得到图像I(x4)；步骤2,将预处理后得到的图像I(x4)分别执行初始阶段、多尺度卷积层计算阶段、多尺度卷积特征混合计算阶段、变量带入公式计算阶段，获得一幅其对应的去雾处理后的图像；所述步骤2具体包括以下步骤：步骤2.1，初始阶段：输入的预处理后得到的图像I(x4)进行卷积运算和激活函数运算得到其对应的第1层输出结果F(I(x4))，其计算公式是：F(I(x4))＝max(W*I(x4)+b,0)(1)其中W和b分别是本发明的第一层网络的卷积权值参数和偏置参数；步骤2.2，多尺度卷积层计算阶段：将把初始阶段提取的卷积特征输入三种大小的多个卷积核组成的三个卷积层组；将把初始阶段的结果F(I(x4))分别输入到多尺度卷积层的每个卷积层组，其后把结果又进行一次卷积，然后把前面两个结果堆叠的结果输入到下一个卷积层。其计算公式是：其中和分别是不同i尺...

【专利技术属性】
技术研发人员：刘文哲，李根，童同，高钦泉，
申请(专利权)人：福建帝视信息科技有限公司，
类型：发明
国别省市：福建,35