一种基于深度卷积神经网络的单幅图像雨线去除的方法技术

本发明专利技术公开了一种基于深度卷积神经网络的单幅图像雨线去除的方法，该方法首先使用引导滤波将带雨图像分解为低频基准层和高频细节层，然后根据图像处理领域知识修改目标函数，并将带雨图像的高频细节层输入设计的深度学习网络架构中，以学习它与带雨图像所对应的清晰图像高频细节层之间的映射。最后将网络所输出的去雨后高频细节层与带雨图像的低频基准层相加，得到去除雨线后的清晰图像。本发明专利技术在去除单幅图像中雨线的同时保留了去雨后图像的细节部分，使得图像清晰度大幅提高。

A method for removing rain lines from single image based on deep convolution neural network

The invention discloses a method for removing rainline from a single image based on depth convolution neural network. The method first decomposes the rainy image into low-frequency reference layer and high-frequency detail layer by using guided filtering, then modifies the objective function according to the knowledge of image processing field, and inputs the high-frequency detail layer of rainy image into the depth of design. Degree learning network architecture, to learn its mapping with the high-frequency detail layer of the clear image corresponding to the rainy image. Finally, the high-frequency detail layer of the network output after rain removal is added to the low-frequency reference layer of the rainy image to obtain a clear image after rain removal. The invention not only removes the rainline in a single image, but also retains the details of the image after rain removal, thus greatly improving the image clarity.

【技术实现步骤摘要】
一种基于深度卷积神经网络的单幅图像雨线去除的方法
本专利技术涉及一种单幅图像雨线去除方法，具体涉及一种基于深度卷积神经网络的单幅图像雨线去除方法。
技术介绍
单幅图像去雨研究是图像复原领域的重要方向之一，其广泛应用在物体识别，目标跟踪等领域。然而，大量快速运动的雨线在雨天环境中被随机的分布着，使得反射和折射现象存在于目标物体与背景光线中，导致图像的对比度降低、成像模糊，细节信息丢失，要得出清晰的图像是非常困难的，因此需要对带雨线的单幅图像进行恢复处理。现有的单幅图像去雨线方法主要分为两类。一类将问题视为图像层分解问题。主要包括结构相似性约束，广义低秩模型等方法。另一类是基于扩散或基于滤波器的方法，如非局部均值平滑等方法。近年来，由于卷积神经网络(CNN)在学习非线性函数能力上所取得的优越性，一些基于CNN的方法也被用来解决单幅图像去雨的问题。虽然现存方法已取得了一些成功，但存在以下两个方面的局限性：(1)对于现有的许多方法，其基本操作是在小的接受域或局部图像块上进行去雨线处理，通常会忽略影响去雨效果的接受域或感受野之间的空间上下文信息。(2)由于背景纹理结构和雨线是内部重叠的，现有的大多数方法对图像中的无雨区域也进行了去雨处理，导致恢复的图像存在过度平滑现象。
技术实现思路
专利技术目的：为了克服现有技术的不足，本专利技术提供一种基于深度卷积神经网络的单幅图像雨线去除方法，该方法可以解决单幅图像去雨时存在的图像对比度降低、成像模糊、细节信息丢失的问题。技术方案：本专利技术所述的基于深度卷积神经网络的单幅图像雨线去除方法，该方法包括以下步骤：(1)采用引导滤波方法将带雨图像分解为低频基准层和高频细节层；(2)根据带雨图像的高频细节层和干净图像的高频细节层之间的2范数来构造目标函数，并且在目标函数中添加L2正则化项；(3)构建一个基于深度卷积神经网络的单幅图像去雨的网络架构，包含4个卷积层，分别记为第1卷积层，第2卷积层，第3卷积层，第4卷积层，并在每个卷积层后采用网络激活函数，4个反卷积层，分别记为第1反卷积层，第2反卷积层，第3反卷积层，第4反卷积层，并在前3个反卷积层后采用网络激活函数，3个跳跃连接，分别将第1个卷积层和第3个反卷积层组成跳跃连接，将第2个卷积层和第2个反卷积层组成跳跃连接，将第3个卷积层和第1个反卷积层组成跳跃连接；(4)将带雨图像的数据集作为训练数据，输入到所述基于深度卷积神经网络的单幅图像去雨的网络架构中进行训练迭代，并针对每次迭代，采用随机梯度下降算法更新所述网络参数；(5)训练迭代后，将带雨图像的基准层与去除雨线后的高频细节层相加恢复成干净图像。优选的，步骤(2)中，所述目标函数表示为：其中，N是所述带雨图像分解后的图像块的个数，n是索引图像，W是网络参数，Idetail和Jdetail分别表示带雨图像和其对应的清晰图像的高频细节层，fw()函数代表网络体函数，为L_2惩罚正则化，λ是平衡系数。优选的，步骤(3)中，所述网络激活函数采用Tanh激活函数。优选的，步骤(3)中，所述第1卷积层，第2卷积层，第3卷积层，第4卷积层的特征映射个数均为128，卷积核大小分别设置为9*9，3*3，3*3，3*3。优选的，步骤(3)中，所述第1反卷积层，第2反卷积层，第3反卷积层，第4反卷积层特征映射个数分别为128，128，128，3，卷积核的大小分别设置为3*3，3*3，3*3，1*1。优选的，所述网络参数更新公式为：其中，b为网络参数中的偏置项，W是网络参数，s表示一次迭代，α表示学习率，T是转置运算符，Idetail和Jdetail分别表示带雨图像和其对应的清晰图像的高频细节层。优选的，步骤(5)中，所述将带雨图像的基准层与去除雨线后的高频细节层相加恢复成干净图像，用公示表示为：E＝fW(Idetail)+Ibase其中，Idetail表示带雨图像的高频细节层，Ibase表示带雨图像的基准层。有益效果：本专利技术与现有技术相比，其显著优点是：1、采用的网络架构层次更深，卷积滤波器的尺寸更小，特征映射减少，使网络的参数大幅减少，并有助于挖掘更多细节信息且消除雨线；2、对真实雨图和合成雨图的去雨效果都很显著，在提高图像质量和计算效率方面优于其他先进的方法；3、根据图像处理领域知识修改目标函数，加入了一定的约束，减少了参数量。附图说明图1是本专利技术所述的方法流程图；图2是基于深度卷积神经网络的单幅图像去雨的网络架构示意图；图3是在合成图像环境下，本专利技术所述方法与其他去雨方法效果图，其中图3a、图3b、图3c和图3d分别为码头、伞、兔子和鸟的去雨方法效果图；图4是在真实图像环境下，本专利技术所述去雨方法与其他去雨方法效果图，图4a、图4b和图4c是在不同图像下的效果图；图5是在图4所述的真实图像环境下，本专利技术所述去雨方法与其他去雨方法区域放大效果图，图5a、图5b和图5c分别对应在图4a、图4b和图4c环境下的区域放大效果图。具体实施方式实施例如图1所示，本专利技术所示的方法首先使用引导滤波将带雨图像分解为低频基准层和高频细节层。然后根据图像处理领域知识修改目标函数，并将带雨图像的高频细节层输入设计的深度学习网络架构中，以学习它与带雨图像所对应的清晰图像高频细节层之间的映射。最后将网络所输出的去雨后高频细节层与带雨图像的低频基准层相加，得到去除雨线后的清晰图像。本专利技术在去除单幅图像中雨线的同时保留了去雨后图像的细节部分，使得图像清晰度大幅提高。(1)进行图像分频处理首先使用引导滤波方法将带雨图像分解为基准层和细节层，其中基准层保留了低频基本信息，细节层则包括高频细节部分，如雨线和其它的边缘信息等。当雨图去除基准层后，剩下的细节层部分是非常稀疏的。稀疏的训练集可以让卷积神经网络更容易、更快的收敛。因此本专利技术使用此方法是有效且合理的，即：I＝Ibase+Idetail，其中Ibase表示带雨图像对应的低频基准层，Idetail表示带雨图像对应的高频细节层。(2)构造目标函数根据雨图的高频细节层和干净图的高频细节层之间的2范数来构造目标函数，此外，为了减少过拟合，我们在目标函数中添加了L2正则化项。其中，N是所述带雨图像分解后的图像块的个数，n是索引图像，W是网络参数，Idetail和Jdetail分别表示带雨图像和其对应的清晰图像的高频细节层，fw()函数代表网络体函数，为L_2惩罚正则化，λ是平衡系数。(3)设计基于深度CNN的单幅图像去雨的网络架构如图2所示，设计的网络架构由卷积层、反卷积层和跳跃连接等组成。采用4个卷积层充当特征提取器，保留输入图像的主要细节部分且消除雨线，其中4个卷积层的特征映射个数都为128，分别记为第1卷积层，第2卷积层，第3卷积层，第4卷积层，卷积核的大小分别设置为9*9，3*3，3*3，3*3，并在每个卷积层后采用Tanh激活函数。由于卷积操作将原始图像的细节集中到更小尺寸中，使得原始图像的细节部分可能会有所丢失，原始图像的分辨率有所降低，因此在卷积层后添加4个反卷积层，分别记为第1反卷积层，第2反卷积层，第3反卷积层，第4反卷积层，其中4个反卷积层的特征映射个数分别为128，128，128，3，卷积核的大小分别设置为3*3，3*3，3*3，1*1，并在第1，2，3个反卷积层后采本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络的单幅图像雨线去除方法，其特征在于，该方法包括以下步骤：(1)采用引导滤波方法将带雨图像分解为低频基准层和高频细节层；(2)根据带雨图像的高频细节层和干净图像的高频细节层之间的2范数来构造目标函数，并且在目标函数中添加L2正则化项；(3)构建一个基于深度卷积神经网络的单幅图像去雨的网络架构，包含4个卷积层，分别记为第1卷积层，第2卷积层，第3卷积层，第4卷积层，并在每个卷积层后采用网络激活函数，4个反卷积层，分别记为第1反卷积层，第2反卷积层，第3反卷积层，第4反卷积层，并在前3个反卷积层后采用网络激活函数，3个跳跃连接，分别将第1个卷积层和第3个反卷积层组成跳跃连接，将第2个卷积层和第2个反卷积层组成跳跃连接，将第3个卷积层和第1个反卷积层组成跳跃连接；(4)将带雨图像的数据集作为训练数据，输入到所述基于深度卷积神经网络的单幅图像去雨的网络架构中进行训练迭代，并针对每次迭代，采用随机梯度下降算法更新所述网络参数；(5)训练迭代后，将带雨图像的基准层与去除雨线后的高频细节层相加恢复成干净图像。

【技术特征摘要】
1.一种基于深度卷积神经网络的单幅图像雨线去除方法，其特征在于，该方法包括以下步骤：(1)采用引导滤波方法将带雨图像分解为低频基准层和高频细节层；(2)根据带雨图像的高频细节层和干净图像的高频细节层之间的2范数来构造目标函数，并且在目标函数中添加L2正则化项；(3)构建一个基于深度卷积神经网络的单幅图像去雨的网络架构，包含4个卷积层，分别记为第1卷积层，第2卷积层，第3卷积层，第4卷积层，并在每个卷积层后采用网络激活函数，4个反卷积层，分别记为第1反卷积层，第2反卷积层，第3反卷积层，第4反卷积层，并在前3个反卷积层后采用网络激活函数，3个跳跃连接，分别将第1个卷积层和第3个反卷积层组成跳跃连接，将第2个卷积层和第2个反卷积层组成跳跃连接，将第3个卷积层和第1个反卷积层组成跳跃连接；(4)将带雨图像的数据集作为训练数据，输入到所述基于深度卷积神经网络的单幅图像去雨的网络架构中进行训练迭代，并针对每次迭代，采用随机梯度下降算法更新所述网络参数；(5)训练迭代后，将带雨图像的基准层与去除雨线后的高频细节层相加恢复成干净图像。2.根据权利要求1所述的基于深度卷积神经网络的单幅图像雨线去除方法，其特征在于，步骤(2)中，所述目标函数表示为：其中，N是所述带雨图像分解后的图像块的个数，n是索引图像，W是网络参数，Idetail和Jdetail分别表示带雨图像和其对应的清晰图像的高频细节层，fw()函数代表...

【专利技术属性】
技术研发人员：郭业才，李晨，周腾威，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏,32