基于卷积神经网络的联合估计图像去雾方法技术

本发明专利技术公开了一种单幅图像去雾方法，主要解决现有技术非线性拟合能力受约束和训练繁琐以及适用场景单一的问题。其方案是：在Caffe框架下构建由特征共享部分以及雾图大气光值估计分支和透射率估计分支组成的卷积神经网络；获取一组无雾图像集J，对J进行人工加雾得到有雾图像集I；将I、J按批量大小分别平分为多个配对的图像组，并依次循环输入200000次至神经网络进行训练；将需要去雾的图像I输入至训练完成的神经网络，输出大气光值A和透射率T；根据大气光值A和透射率T计算得到无雾图像Jc。本发明专利技术能很好的保持恢复图像的对比度和色彩饱和度，其峰值信噪比和结构相似性两个指标均优于现有技术，可用于有雾图像的清晰化处理。

【技术实现步骤摘要】
基于卷积神经网络的联合估计图像去雾方法
本专利技术属于图像处理
,特别涉及一种单幅图像去雾方法,可用于成像系统拍摄的单幅有雾图像的清晰化处理。
技术介绍
受现实条件中雾霾等恶劣天气的影响，成像设备捕获的图像质量普遍偏低，经常存在对比度低，色调偏移、信息可辨识度低的现象。这些降质的图像不仅影响人眼的主观感受，更严重影响了各类智能视觉信息处理系统的性能。因此，对雾天图像进行清晰化处理具有非常重要的实际应用价值。目前，基于大气散射模型的图像和视频去雾算法是研究关注的热点，其关键问题是如何估计大气光和透射率。传统去雾方法通过各种先验假设来提取雾图的特征，然后利用该特征分别设计有效的大气光和透射率估计方法，以实现图像去雾。典型的去雾方法如He等人提出的基于暗通道先验的方法(DarkChannelPrior，DCP)，见HEK,SUNJ,TANGX.Singleimagehazeremovalusingdarkchannelprior[J].//IEEEtransactionsonpatternanalysisandmachineintelligence,2011,33(12):2341–2353.该方法思想简单有效，但在实际应用中，对于包含有大面积天空区域或者较大的白色物体的图像，该方法的去雾效果有限，其恢复图像会产生较严重的色彩失真。随着深度学习技术的蓬勃发展，基于深度学习的去雾方法逐渐成为当前图像去雾领域的研究热点。早期的去雾方法都是仅利用卷积神经网络CNN来估计透射率，而对于大气光则直接采用传统方法，如He等人提出的基于暗通道先验的方法，是先对大气光值和透射率进行估计，再根据生成雾图的大气散射模型计算得到去雾图像。最早的深度学习去雾网络是Cai等人提出的的DehazeNet网络，见CAIB,XUX,JIAK,etal.Dehazenet:Anend-to-endsystemforsingleimagehazeremoval[J]//IEEETransactionsonImageProcessing,2016,25(11):5187–5198.该网络使用合成数据作为训练集，输入有雾的图像块，经由训练好的CNN网络输出对应块的透射率。虽然该方法获得了不错的去雾效果，但由于训练数据只是局部图像块，使得在一些雾图的处理上出现颜色扭曲和去雾不彻底的现象。随后，Ren等人提出MSCNN网络，见RENW,LIUS,ZHANGH,etal.Singleimagedehazingviamulti-scaleconvolutionalneuralnetworks[C]//Europeanconferenceoncomputervision.2016:154–169.该网络采用整幅图像作为输入，利用多尺度卷积神经网络估计整图的透射率，改善了透射率估计的准确性，获得较高的图像质量，但是该方法仍然存在三方面不足：1)训练数据为基于室内图像的合成雾图，不能准确表征户外雾图的特性；2)在网络结构中pooling层与unpooling层的连接方式导致网络整体感受野较小，导致网络末端单个像素点对输入图像的全局信息学习能力较低；3)对于大气光值的估计该方法仍使用传统方法，其估计不够准确，从而导致恢复图像部分区域存在去雾不彻底以及颜色失真。为了解决传统方法对大气光估计不准的问题，并且避免单独估计透射率和大气光带来的误差累积影响，最近出现的去雾方法大都统一采用卷积神经网络同时估计大气光和透射率，直接输出去雾后的图像，实现从雾图到去雾图的“端到端”的处理。典型的方法包括：1)Yang等人提出的Bilinear网络，见YANGH,PANJ,YANQ,etal.ImageDehazingusingBilinearCompositionLossFunction[J]//arXivpreprintarXiv:1710.00279,2017.该方法首先利用并行子网络来分别估计透射率和大气光，然后由所估计的透射率和大气光值来共同拟合去雾图像，该方法虽然可以减小单独估计透射率和大气光值的带来的误差，但其单独使用两组卷积堆叠的网络来估计透射率和大气光值时，其非线性拟合能力有限，另外此方法需要先对透射率和大气光估计网络进行训练，再对利用大气光值和透射率去雾的网络训练，其训练复杂度较高；2)Li等人提出的AOD-Net，见LIB,PENGX,WANGZ,etal.Aod-net:All-in-onedehazingnetwork[C]//ProceedingsoftheIEEEInternationalConferenceonComputerVision.2017:4770–4778.该方法通过对大气散射模型进行公式变换，将透射率和大气光统一纳入到一个新的变量K中，利用卷积神经网络估计K，进而恢复相应的去雾图像。该方法虽说在一定程度上提高了大气光和透射率估计的精度，改善了去雾图像质量，但由于网络仅仅使用了卷积层的堆叠和跨接层，其深度在一定程度上影响了变量K的拟合，并且网络的非线性拟合能力也受到一定的约束，另外由于网络训练时使用的训练数据只有室内合成雾图，针对室外雾图的恢复效果不理想。综上所述，现有的雾图透射率及大气光值联合估计的神经网络存在以下不足：一是AOD-net网络仅仅使用了卷积层和跨接层，影响变量K的拟合；二是Bilinear网络单独使用两部分的卷积堆叠网络分别估计透射率和大气光，非线性拟合能力受到约束，且训练复杂且繁琐；三是只使用室内合成数据进行网络训练，不适用于室外雾图。
技术实现思路
本专利技术的目的在于提出一种基于卷积神经网络的联合估计图像去雾方法，以解决现有技术非线性拟合能力受约束和训练繁琐以及适用场景太过单一的问题，并完全利用卷积神经网络对图像进行去雾。为实现上述目的，本专利技术的技术方案包括如下：本专利技术的技术方案为：一种基于卷积神经网络的联合估计图像去雾算法，其特征在于，包括以下步骤：1)在Caffe框架下构建由特征共享部分以及雾图大气光值估计分支和透射率估计分支组成的卷积神经网络架构，其中:特征共享部分包括三个卷积单元，大气光值估计分支包括三个卷积层，透射率估计分支依次包括一个金字塔池化模块、一个卷积层和一个反卷积层以及两个卷积层；每个卷积单元包括卷积层，归一化层，每个卷积层包括卷积操作以及ReLU激活函数层，每个反卷积层包括反卷积操作以及ReLU激活函数层，反卷积操作都具有相应的权值Dn，卷积操作都具有相应的权值Wn和偏置值Bn，归一化操作具有相应的缩放系数γn和偏移系数αn；2)获取一组清晰无雾图像集Jt，并对无雾图像Jt根据人为设定的大气光值A和透射率T进行人工加雾得到有雾图像集It，将无雾图像集Jt和有雾图像集It作为训练图像集；3)将训练图像集It、Jt按批量大小分别平分为多个配对的图像组进行图像处理，即同时输入It、Jt的第一图像组训练，得到神经网络各个卷积操作的初始权值Wn和偏置值Bn和反卷积操作的权值Dn以及归一化操作的缩放系数γn和偏移系数αn；4)将权值Wn和偏置值Bn和反卷积操作的权值Dn以及缩放系数γn和偏移系数αn应用至步骤1构建的卷积神经网络架构中，得到第一次参数更新后的神经网络；再将第二图像组输入至第一次参数本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的单幅图像去雾方法，包括：1)在Caffe框架下构建由特征共享部分以及雾图大气光值估计分支和透射率估计分支组成的卷积神经网络架构，其中:特征共享部分包括三个卷积单元，大气光值估计分支包括三个卷积层，透射率估计分支依次包括一个金字塔池化模块、一个卷积层和一个反卷积层以及两个卷积层；每个卷积单元包括卷积层，归一化层，每个卷积层包括卷积操作以及ReLU激活函数层，每个反卷积层包括反卷积操作以及ReLU激活函数层，反卷积操作都具有相应的权值Dn，卷积操作都具有相应的权值Wn和偏置值Bn，归一化操作具有相应的缩放系数γn和偏移系数αn；2)获取一组清晰无雾图像集Jt，并对无雾图像Jt根据人为设定的大气光值A和透射率T进行人工加雾得到有雾图像集It，将无雾图像集Jt和有雾图像集It作为训练图像集；3)将训练图像集It、Jt按批量大小分别平分为多个配对的图像组进行图像处理，即同时输入It、Jt的第一图像组训练，得到神经网络各个卷积操作的初始权值Wn和偏置值Bn和反卷积操作的权值Dn以及归一化操作的缩放系数γn和偏移系数αn；4)将权值Wn和偏置值Bn和反卷积操作的权值Dn以及缩放系数γn和偏移系数αn应用至步骤1构建的卷积神经网络架构中，得到第一次参数更新后的神经网络；再将第二图像组输入至第一次参数更新后的神经网络，得到第二次参数更新后的神经网络；以此类推直至最后一组图像组输入至前一次更新后的神经网络，得到完成一次训练的神经网络；5)再将It、Jt的所有图像组依次输入至完成一次训练的神经网络，得到完成两次训练的神经网络；以此类推直至所有图像组均被输入200000次，得到完成所有训练的神经网络；6)将一幅需要去雾处理的有雾图像Ic输入至完成所有训练的神经网络，通过网络的大气光估计分支输出大气光值Ac，通过网络的透射率估计分支输出透射率Tc；7)根据6)的结果，计算得到高质量无雾图像：Jc＝(Ic‑Ac)/Tc+Ac。...

【技术特征摘要】
1.一种基于卷积神经网络的单幅图像去雾方法，包括：1)在Caffe框架下构建由特征共享部分以及雾图大气光值估计分支和透射率估计分支组成的卷积神经网络架构，其中:特征共享部分包括三个卷积单元，大气光值估计分支包括三个卷积层，透射率估计分支依次包括一个金字塔池化模块、一个卷积层和一个反卷积层以及两个卷积层；每个卷积单元包括卷积层，归一化层，每个卷积层包括卷积操作以及ReLU激活函数层，每个反卷积层包括反卷积操作以及ReLU激活函数层，反卷积操作都具有相应的权值Dn，卷积操作都具有相应的权值Wn和偏置值Bn，归一化操作具有相应的缩放系数γn和偏移系数αn；2)获取一组清晰无雾图像集Jt，并对无雾图像Jt根据人为设定的大气光值A和透射率T进行人工加雾得到有雾图像集It，将无雾图像集Jt和有雾图像集It作为训练图像集；3)将训练图像集It、Jt按批量大小分别平分为多个配对的图像组进行图像处理，即同时输入It、Jt的第一图像组训练，得到神经网络各个卷积操作的初始权值Wn和偏置值Bn和反卷积操作的权值Dn以及归一化操作的缩放系数γn和偏移系数αn；4)将权值Wn和偏置值Bn和反卷积操作的权值Dn以及缩放系数γn和偏移系数αn应用至步骤1构建的卷积神经网络架构中，得到第一次参数更新后的神经网络；再将第二图像组输入至第一次参数更新后的神经网络，得到第二次参数更新后的神经网络；以此类推直至最后一组图像组输入至前一次更新后的神经网络，得到完成一次训练的神经网络；5)再将It、Jt的所有图像组依次输入至完成一次训练的神经网络，得到完成两次训练的神经网络；以此类推直至所有图像组均被输入200000次，得到完成所有训练的神经网络；6)将一幅需要去雾处理的有雾图像Ic输入至完成所有训练的神经网络，通过网络的大气光估计分支输出大气光值Ac，通过网络的透射率估计分支输出透射率Tc；7)根据6)的结果，计算得到高质量无雾图像：Jc＝(Ic-Ac)/Tc+Ac。2.根据权利要求1所述的方法，其特征在于：步骤1)中的金字塔池化模块，其按如下步骤对数据进行处理：1a)将输入至模块的数据I进行0.5倍最大池化操作，再进行卷积...

【专利技术属性】
技术研发人员：王柯俨，赵熹，王迪，李云松，许宁，雷杰，陈静怡，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61