基于Retinex理论的端到端网络的图像去雾方法技术

本发明专利技术公开了一种基于Retinex理论的端到端网络的图像去雾方法，主要是首先建立去雾网络，然后，将Retinex模型嵌入去雾网络中实现端到端的学习，从有雾图像中提取特征信息来估计亮度图和反射图，进而根据Retinex模型恢复出清晰图像。利用本发明专利技术中的网络可以联合估计图像的亮度图和反射图，然后依据Retinex模型来恢复无雾图像。本发明专利技术提出的去雾网络不依赖于大气散射模型，从而避免了不准确的传输图估计导致的去雾后图像质量下降的问题，并且Retinex理论是一种基于人类视觉的颜色感知模型，该网络通过估计亮度图和反射图来恢复无雾图像，更符合人眼的视觉规律，使得恢复的无雾图像更加清晰自然。

【技术实现步骤摘要】
基于Retinex理论的端到端网络的图像去雾方法
本专利技术属计算机图像处理方法，尤其涉及一种图像的去雾方法。
技术介绍
在雾、霾等天气条件下拍摄的户外图像，由于受到大气悬浮粒子的吸收和散射等干扰，会产生对比度下降、细节模糊、颜色失真等退化现象，严重影响户外视频监控、目标识别等视觉系统的性能。因此，图像去雾在计算机视觉应用和数字图像处理领域尤为重要。随着卷积神经网络(CNN)在计算机视觉任务中的广泛应用，基于深度学习的方法成为图像去雾研究的主流方向。该方法直接学习有雾图像到无雾图像之间的映射关系来实现去雾，或者通过估计传输图和大气光值等参数并利用成像模型实现去雾。Qu等[1]提出了一个增强的pix2pix去雾网络(EPDN)，该网络直接学习有雾图像和无雾图像之间的映射关系。Chen等[2]提出一个多尺度自适应去雾网络(MADN)，该网络包括自适应蒸馏网络和多尺度增强网络，其中多尺度增强网络通过金字塔池化模块来融合信息，使恢复的无雾图像更加更加精细化。Cai等[3]提出一个端到端的网络(DehazeNet)来估计传输图，然后依据大气散射模型恢复无雾图像。Li等[4]重新构造了大气散射模型，将传输图和大气光值整合成一个参数K，并设计了AOD-Net来估计参数K，从而恢复无雾图像。Zhang等[5]提出一种端到端的密集连接的金字塔网络结构(DCPDN)，通过两个子网络分别估计传输图和大气光值来实现去雾。虽然这些方法得到了较好的去雾结果，但是方法[1-2]直接学习有雾图像和无雾图像之间的映射关系来恢复无雾图像，缺乏理论依据，存在去雾后图像失真的现象。虽然方法[3-5]依据大气散射模型来恢复无雾图像，但通过网络估计的传输图往往包含过多的细节信息，并且大多数方法将大气光值设置为全局一致常量，导致恢复的无雾图像质量下降。[参考文献][1]Qu,Y.,Chen,Y.,Huang,J.,&Xie,Y.(2019).EnhancedPix2pixDehazingNetwork.InProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition(pp.8160-8168).[2]Chen,Shuxin,etal."Multi-ScaleAdaptiveDehazingNetwork."ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognitionWorkshops.2019.[3]KuiJiaChunmeiQingDachengTaoBolunCai,XiangminXu.Dehazenet:anend-to-endsystemforsingleimagehazeremoval.IEEETransactionsonImageProcessing,25(11):5187–5198,2016.[4]BoyiLi,XiulianPeng,ZhangyangWang,JizhengXu,andDanFeng.Aod-net:All-in-onedehazingnetwork.InIEEEInternationalConferenceonComputerVision,pages4780–4788,2017.[5]HeZhangandVishalMPatel.Denselyconnectedpyramiddehazingnetwork.InTheIEEEConferenceonComputerVisionandPatternRecognition(CVPR),2018[6]E.H.Land.TheRetinextheoryofcolorvision.ScientifificAmerican,237(6):108–129,1977.[7]WangJ,LuK,XueJ,etal.SingleimagedehazingbasedonthephysicalmodelandMSRCRalgorithm[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2018,28(9):2190-2199.[8]LiB,RenW,FuD,etal.Benchmarkingsingle-imagedehazingandbeyond[J].IEEETransactionsonImageProcessing,2018,28(1):492-505.[9]ZhangY,TianY,KongY,etal.Residualdensenetworkforimagesuper-resolution[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2018:2472-2481.[10]O.Ronneberger,P.Fischer,andT.Brox.U-net:Convolutionalnetworksforbiomedicalimagesegmentation.InInternationalConferenceonMedicalImageComputingandComputer-AssistedIntervention,pages234–241.Springer,2015.[11]KarenSimonyanandAndrewZisserman.Verydeepconvolutionalnetworksforlarge-scaleimagerecognition.arXivpreprintarXiv:1409.1556,2014.
技术实现思路
上述现有技术的方法DehazeNet[3]中依据传统去雾方法中的先验知识设计网络结构来估计传输图，从而更好的恢复无雾图像。受该方法的启发，依据传统去雾方法中的Retinex(视网膜大脑皮层)理论[6]，本专利技术设计了一种基于Retinex理论的端到端网络图像去雾方法，利用本专利技术中的网络可以联合估计图像的亮度图和反射图，然后依据Retinex模型来恢复无雾图像。本专利技术提出的去雾网络不依赖于大气散射模型，从而避免了不准确的传输图估计导致的去雾后图像质量下降的问题，并且Retinex理论是一种基于人类视觉的颜色感知模型，该网络通过估计亮度图和反射图来恢复无雾图像，更符合人眼的视觉规律，使得恢复的无雾图像更加清晰自然。实验结果表明，此网络可以有效恢复清晰的无雾图像。为了解决上述技术问题，本专利技术提出的一种基于Retinex理论的端到端网络的图像去雾方法，主要是建立去雾网络，然后，将Retinex模型嵌入去雾网络中实现端到端的学习，从有雾图像中提取特征信息来估计亮度图和反射图，进而根据式(1)恢复出清晰图像：S＝L×R(1)式(1)中，S为清晰图像，L为清晰图像的亮度图，R为清晰图像的反射图，×表示点乘操作。本专利技术中去雾网络的结构包括亮度图估计子本文档来自技高网...

【技术保护点】
1.一种基于Retinex理论的端到端网络的图像去雾方法，其特征在于，建立去雾网络，然后，将Retinex模型嵌入去雾网络中实现端到端的学习，从有雾图像中提取特征信息来估计亮度图和反射图，进而根据式(1)恢复出清晰图像：/nS＝L×R (1)/n式(1)中，S为清晰图像，L为清晰图像的亮度图，R为清晰图像的反射图，×表示点乘操作。/n

【技术特征摘要】
1.一种基于Retinex理论的端到端网络的图像去雾方法，其特征在于，建立去雾网络，然后，将Retinex模型嵌入去雾网络中实现端到端的学习，从有雾图像中提取特征信息来估计亮度图和反射图，进而根据式(1)恢复出清晰图像：
S＝L×R(1)
式(1)中，S为清晰图像，L为清晰图像的亮度图，R为清晰图像的反射图，×表示点乘操作。


2.根据权利要求1所述的基于Retinex理论的端到端网络的图像去雾方法，其特征在于，去雾网络的结构如下：
该去雾网络包括亮度图估计子网络、反射图估计子网络、利用Retinex模型进行图像复原，具体内容如下：
1)亮度图估计子网络：
所述亮度图估计子网络采用级联的残差密集网络结构，包含五个卷积层和五个密集残差块；
第一和第二个卷积层分别为cov1，cov2，卷积核的大小均为3*3，步长均为1，padding均设置为1，输出通道数均为64，第二个卷积层后面紧跟一个RELU激活函数；
第三个卷积层cov3的卷积核大小为3*3，步长为2，padding设置为1；
所述第三个卷积层cov3后面依次是五个密集残差块，五个密集残差块分别记为RDB1，RDB2，RDB3，RDB4，RDB5；每个密集残差块的结构相同，均包含依次接着的四个卷积层，其中，前三个卷积层的卷积核的大小均为3*3，步长均为1，padding均设置为1，输出通道数均设置为16，每个卷积层后均紧跟一个RELU激活函数，最后一个卷积层的卷积核大小为1*1，步长为1，padding设置为0，输出的通道数为16；
五个密集残差块中的最后一个卷积层后紧接着一个反卷积层decov1和卷积层cov4，反卷积层decov1的卷积核大小为3*3，步长为2，padding设置为1，卷积层cov4的卷积核大小为1*1，步长为1，padding设置为0；
通过该亮度图估计子网络生成无雾图像的亮度图
2)反射图估计子网络：
所述反射图估计子网络采用Unet结构，包含特征提取部分和上采样部分；
特征提取部分包含四个尺度，前三个尺度上均包含两个卷积层和一个最大池化层，卷积层的卷积核均为3*3，步长均为1，padding均设置为1，输出通道数分别为64、128和256，最大池化层的核的大小均设置为2*2；第四个尺度上包含两个卷积层，卷积核的大小...

【专利技术属性】
技术研发人员：杨爱萍，刘瑾，王海新，何宇清，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12