基于多尺度卷积的轻量级神经网络单图像去雾方法技术

本发明专利技术公开了一种基于多尺度卷积的轻量级神经网络单图像去雾方法，包括以下步骤：(1)将数据集划分为训练集、验证集和测试集；(2)利用训练集和验证集训练提出的网络模型；(3)利用测试集测试训练好的模型；(4)采用度量标准对模型进行评估。上述技术方案，本发明专利技术专门设计了一个多尺度去雾模块，用于提取各尺度下的图片信息，这对最后的去雾结果有重要影响；在充分考虑各尺度信息的情况下尽量减少模型参数，压缩模型大小，进而降低模型的计算复杂度；实现峰值信噪比更高的去雾效果，同时不用估计透射率和全球大气光的单张图片去雾。

A single image defogging method based on multi-scale convolution and lightweight neural network

【技术实现步骤摘要】
基于多尺度卷积的轻量级神经网络单图像去雾方法
本专利技术涉及图像处理
，具体涉及一种基于多尺度卷积的轻量级神经网络单图像去雾方法。
技术介绍
雾作为一种自然现象长久以来不仅影响人们的视觉体验，同时捕获的雾图不利于图像的进一步处理，严重影响了图像处理领域其他应用的进一步发展，例如：图像分类、目标跟踪等；在雾环境下捕获的图片通常会遭受低对比度、晕面以及颜色偏移等问题，正是这些现象限制了图片的能见度。此外，在计算机视觉领域，很多计算机视觉和图像处理算法对含雾图像并不鲁棒，雾的存在阻碍了对图片的进一步处理。不管是出于改善人们的视觉体验，还是推动计算机视觉领域相关应用的发展，去雾都非常重要并且必要，有非常重要的科学意义和应用前景。去雾的研究由来已久，雾图的成像模型早在1924年已经提出，I＝Jt+A(1-t)t(x)＝eβd(x)其中，I为观察到的雾图，J为待恢复的清晰图像，t和A分别是空气透射率和全球大气光，d是成像的深度。但该模型是一个严重不适定问题，为了获得足够的信息以求解这个模型，在08年以前去雾方法都集中在多张图片去雾，直到在08年Fattal和Tan分别提出了两种不同的单张图片的去雾方法。在这一里程碑的工作之后单张图片去雾一直都占据主流。在09年，何凯明博士提出了基于暗通道先验(DCP，DarkChannelPrior)的去雾方法，该先验通过统计结果得出，在绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值。这一开创性的工作被证明非常有效，并且触发了基于DCP的一系列改进方法，例如引入中值滤波，双边滤波以及导向滤波对透射率t加以改进。且此后不断有新的先验被提出，如颜色衰减先验(CAP,ColorAttenuationPrior，在有雾图片中，雾浓度和图片亮度与饱和度之差呈正相关)，色差差异先验，color-line(颜色线),haze-line(雾线)先验等，haze-line(雾线)先验是第一个采用全局先验去雾的方法。也有学者提出将多个先验组合起来用随机森林回归来确定个先验特征的关系。在12年，马尔可夫随机域也被引入来获得更精确的清晰图像。最近，有学者提出了一种基于感知雾密度的去雾方法，该方法在最小化感知雾密度的导引下建立模型进行去雾。以上的方法有的已经取得了一定的结果，但他们在不同程度上存在过增强、过饱和或者边缘效应，块效应等缺点，所以仍需要更好更高效的方法对去雾方法加以补充。在16年之后，基于深度学习的方法不断涌现。最早的采用神经网络结构进行去雾的方法是多尺度卷积神经网络，这个新提出来的卷及网络层首先通过Coarse-scale的模块获得初步的空气透射率t,之后再输入fine-scale模块进一步得到更精细的空气透射率。最后用得到的t通过雾图的成像模型获得去雾后的图片。紧接着有学者提出了Dehaze-Net,该网络将传统的先验模型融入了不同形态的卷积层获得了比较好的实验效果。后来端对端的AOD-Net(All-in-oneDehazeNet)被提出。AOD-Net第一次提出将空气透射率t和全球大气光结合为一个参数，最后利用雾图成像模型的变体直接获得去雾结果。该方法不再同时估计两个参数，这样避免了多参数估计叠加造成最后的误差偏大的情况。在此之后，Gatedcontextaggregationnetwork被学者提出，它采用最新的平滑膨胀技术来消除使用膨胀卷积所造成的网络伪影。同时它利用一个门控子网络融合不同层次的特征。这样网络就可以在产生较少的伪影同时提取丰富的特征。通过结合基于模型和局域融合的去模糊方法，多波段融合去雾方法被提出。该方法利用多波段融合方法提取Laplace模块的基础和细节。此外自适应非线性映射函数用于调整每个残差层的细节。最近，有学者在工作里面将去雾问题归结为为了图像到图像的风格迁移问题，并提出了一种嵌入了生成对抗网络的增强版的像素到像素的去雾网络。这些深度学习方法在去雾任务上都取得了很好的效果。以上的各种去雾方法它们大多要攻克的难点都在于准确估计透射率t和全球大气光A；少部分图像到图像的网络随着去雾效果的提升，他们的模型大小也在不断增加，给模型的训练和应用造成了计算上的困难。此外，尽管模型大小以及增长到非常高了，但仍然存在着遗漏一些尺度的细节信息。
技术实现思路
针对现有技术存在的不足，本专利技术的目的在于提供一种基于多尺度卷积的轻量级神经网络单图像去雾方法，该方法能实现峰值信噪比更高的去雾效果，同时不用估计透射率和全球大气光，实现单张图片的去雾方法。为实现上述目的，本专利技术提供了如下技术方案：一种基于多尺度卷积的轻量级神经网络单图像去雾方法，包括以下步骤：(1)将数据集划分为训练集、验证集和测试集；(2)利用训练集和验证集训练提出的网络模型；(3)利用测试集测试训练好的模型；(4)采用度量标准对模型进行评估。作为优选的，步骤(1)，将数据集RESIDE-beta的part1选出作为训练过程中用到的数据集；其中，将part1的90％作为训练集，10％作为验证集，将RESIDE数据集标准版的HSTS选出作为仿真数据测试集；并将提出的真实场景图片构成的数据集作为定性比价的测试集。作为优选的，步骤(2)，将训练集中的图片逐一输入待训练的网络模型，首先通过多尺度块的第一个子块得到四组特征图的叠加组合；然后将得到的四个第一子块分支的特征图重叠到一起，并作为多尺度块第二个子块的输入；第二个子块输出的特征图先后经过三个卷积层得到三通道的特征；设置一个用于保留原图片信息的全局跳跃连接；最后经过激活函数得到与雾图对应的清晰图片。作为优选的，第一个子块包括四个第一子块分支，四个第一子块分支的设置为：第一子块分支一：输入图片通过一个1×1的卷积；第一子块分支二：输入图片首先通过一个3×3的平均池化，再通过一个1×1卷积；第一子块分支三：输入图片先后通过1×1卷积和3×3卷积；第一子块分支四:输入图片先后通过1×1，3×3，3×3卷积。作为优选的，第二子块包含四个第二子块分支，四个第二子块分支的设置为：第二分支一：是一个1×1卷积；第二分支二：首先经过平均池化再经过一个1×1卷积；第三分支三：包含一个1×1卷积和一个1×7，7×1的卷积对；第四分支四：包含一个1×1卷积和两个1×7，7×1的卷积对。作为优选的，所有卷积层都紧跟着正则化操作和激活函数；通过损失函数在训练过程中利用Adam算法进行反向传播更新卷积层的参数；其中，损失函数为清晰图像和经过该网络的输出图像的欧几里得距离，同时监测验证集上的损失函数变化情况。作为优选的，步骤(3)，将待测试的测试集图片逐一输入到训练好的网络模型，直接得到对应的去雾图片。作为优选的，步骤(4)，将获得的去雾图片，与用于合成雾图的清晰图片分别在多个数据集上求它们的峰值信噪比和结构自相似性以评估它们的去雾效果。本专利技术的优点是：与现有技术相比，本专利技术本文档来自技高网...

【技术保护点】
1.一种基于多尺度卷积的轻量级神经网络单图像去雾方法，其特征在于：包括以下步骤：/n(1)将数据集划分为训练集、验证集和测试集；/n(2)利用训练集和验证集训练提出的网络模型；/n(3)利用测试集测试训练好的模型；/n(4)采用度量标准对模型进行评估。/n

【技术特征摘要】
1.一种基于多尺度卷积的轻量级神经网络单图像去雾方法，其特征在于：包括以下步骤：
(1)将数据集划分为训练集、验证集和测试集；
(2)利用训练集和验证集训练提出的网络模型；
(3)利用测试集测试训练好的模型；
(4)采用度量标准对模型进行评估。


2.根据权利要求1所述的一种基于多尺度卷积的轻量级神经网络单图像去雾方法，其特征在于：步骤(1)，将数据集RESIDE-beta的part1选出作为训练过程中用到的数据集；其中，将part1的90％作为训练集，10％作为验证集，将RESIDE数据集标准版的混合主观测试集选出作为仿真数据测试集；并将提出的真实场景图片构成的数据集作为定性比价的测试集。


3.根据权利要求1所述的一种基于多尺度卷积的轻量级神经网络单图像去雾方法，其特征在于：步骤(2)，将训练集中的图片逐一输入待训练的网络模型，首先通过多尺度块的第一个子块得到四组特征图的叠加组合；然后将得到的四个第一子块分支的特征图重叠到一起，并作为多尺度块第二个子块的输入；第二个子块输出的特征图先后经过三个卷积层得到三通道的特征；设置一个用于保留原图片信息的全局跳跃连接；最后经过激活函数得到与雾图对应的清晰图片。


4.根据权利要求3所述的一种基于多尺度卷积的轻量级神经网络单图像去雾方法，其特征在于：第一个子块包括四个第一子块分支，四个第一子块分支的设置为：
第一子块分支一：输入图片通过一个1×1的卷积；
第一子块分支二：输入...

【专利技术属性】
技术研发人员：张笑钦，唐贵英，赵丽，
申请(专利权)人：温州大学，
类型：发明
国别省市：浙江;33