基于梯度先验驱动的深度网络图像去雨方法技术

本发明专利技术涉及图像复原技术领域，公开了一种基于梯度先验驱动的深度网络图像去雨方法，包括：步骤1：获取雨天拍摄的待处理受损图像；步骤2：融合基于模型驱动的方法和基于深度神经网络方法，在构建深度网络框架模型时，引入梯度域特征构建模型驱动深度网络的误差控制项，构建梯度先验驱动的深度网络去雨模型；步骤3：对所述梯度先验驱动的深度网络去雨模型进行求解，输出雨痕图像和恢复的清晰图像。与现有技术相比，本发明专利技术在结合模型驱动方法和深度学习兼容的基础上，在构建深度网络框架模型时，引入了梯度域特征构建模型驱动深度网络的误差控制项，改善了图像去雨能力和信息恢复质量。量。量。

【技术实现步骤摘要】
基于梯度先验驱动的深度网络图像去雨方法


[0001]本专利技术涉及图像复原
，具体涉及一种基于梯度先验驱动的深度网络图像去雨方法。

技术介绍

[0002]光电成像系统户外作业被广泛应用于交通、探测、目标追踪与识别等领域。然而，成像系统户外作业不可避免地会收到天气因素的影响，例如雨点下落的痕迹会影响最终的图像获取质量，从而影响图像信息的后期分析与使用。为去除雨痕的影响并尽可能地恢复图像目标信息，研究者们提出了众多的方法，包括基于模型驱动的方法和基于深度神经网络的方法。基于模型驱动的方法需要人工设定相应的图像先验知识用于表征和保护图像目标信息，且其优化处理过程需要大量的时间，且需要寻找合适的模型参数，这些因素制约图像处理质量的提升。基于深度神经网络的方法则存在需要大量的训练样本，且网络结构如何表征和保护图像无法解释等问题，当处理对象与训练样本偏差较大时，神经网络的方法处理效果大大降低。
[0003]虽然，已有方法融合了模型方法和深度学习的方法，比如一种基于深度学习和模型驱动的单图去雨方法，CN 111462014 A，构建新的网络结构，但是该方法在构建模型时使用的是基于图像空域的信息。根据已有的研究：一种基于各向异性稀疏梯度的交通监控图像去雨方法，CN201910783723.6，发现在图像与雨存在明细的梯度特征，目前没有方法考虑在利用图像其他域信息已实现进一步的模型驱动网络去雨和信息复原能力。

技术实现思路

[0004]专利技术目的：针对现有技术中存在的问题，本专利技术提供一种梯度先验驱动的深度网络图像去雨方法，在结合模型驱动方法和深度学习兼容的基础上，在构建深度网络框架模型时，引入了梯度域特征构建模型驱动深度网络的误差控制项，改善了图像去雨能力和信息恢复质量。
[0005]技术方案：本专利技术提供了一种基于梯度先验驱动的深度网络图像去雨方法，包括如下步骤：
[0006]步骤1：获取雨天拍摄的待处理受损图像；
[0007]步骤2：融合基于模型驱动的方法和基于深度神经网络方法，在构建深度网络框架模型时，引入梯度域特征构建模型驱动深度网络的误差控制项，构建如下梯度先验驱动的深度网络去雨模型：
[0008][0009]其中，o，r，u分别表示雨天拍摄的受损图像，雨痕图像和待恢复的清晰图像，和分别表示图像的整体梯度算子、竖直方向梯度算子和水平方向梯度算子，Ψ(u)和Φ(r)分别表示背景图像的正则项和雨痕图像的正则项；α1，α2，λ1和λ2分别表示非负的正
则化系数，表示L2范数；为误差控制项；
[0010]步骤3：将待处理受损图像输入至所述梯度先验驱动的深度网络去雨模型，并对所述梯度先验驱动的深度网络去雨模型进行求解，输出雨痕图像r
k+1
和恢复的清晰图像u
k+1
。
[0011]进一步地，所述步骤3求解时，先将模型中的双变量求解问题转换为两个单变量求解问题：
[0012][0013][0014]进一步地，所述雨痕图像r
k+1
的解如下：
[0015][0016]其中，其中，是近端梯度算子，用于控制图像的正则化先验Φ(r)，正则化先验函数Φ(r)通过深度学习获得；近端梯度算了由4层残差卷积神经网络构成。
[0017]进一步地，所述恢复的清晰图像u
k+1
的解如下：
[0018][0019]其中，η2是u
k+1
迭代步长，
[0020][0021]是近端梯度算子，用于控制图像的正则化先验Φ(r)，正则化先验函数Φ(r)通过深度学习获得；近端梯度算子由4层残差卷积神经网络构成。
[0022]进一步地，所述近端梯度算子由4层残差卷积神经网络构成，每层残差网络结构由两层卷积层和一个修正线性单位(Relu)层构成，每个卷积层由64个3*3大小的卷积核进行卷积运算，先第一层卷积层运算后经过修正线性单位(Relu)层后再进行第二层卷积层运算。
[0023]有益效果：
[0024]本专利技术融合了基于模型驱动的方法和基于深度神经网络方法的优点，且引入了梯度域信息，增强模型驱动网络的误差控制能力，该网络不仅让网络结构可以解释，而且无需进行先验知识设计和调参，且利用梯度信息加强模型驱动深度网络的信息表征能力，有效地改善了图像去雨能力和信息恢复质量。
附图说明
[0025]图1为本专利技术残差网络结构图；
[0026]图2为本专利技术残差模块具体流程图；
[0027]图3为本专利技术与其他方法的去雨和信息还原性能对比图；其中，(a)清晰参照图；(b)雨降质图；(c)稀疏表达复原图；(d)深度学习复原图；(e)方向性梯度复原图；(f)本专利技术复原图。
具体实施方式
[0028]下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。
[0029]传统的雨天获得图像空域数学模型为：
[0030]o＝r+u
ꢀꢀꢀ
(1)
[0031]式中，o，r，u分别表示雨天拍摄的受损图像，雨痕图像和待恢复的清晰图像。
[0032]图像存在梯度域信息，那么在梯度域空间，其雨天图像梯度域数学模型可以表示为：
[0033][0034]式中，梯度算子和分别表示竖直方向梯度算子和水平方向梯度算子。
[0035]现有公开的构建模型驱动的深度去雨模型(CN 111462014 A)有：
[0036][0037]式中，M是稀疏系数，C是卷积字典，Φ(M)和Ψ(u)是雨和清晰图的正则项，为模型驱动深度网络的模型误差控制项，用于控制模型驱动深度网络的训练后得到的雨信息图像和背景图像u接近真实解。由于式(3)中的正则项Φ(M)和Ψ(u)是通过深度学习自适应地获取雨层和背景信息，因而误差控制项对于(3)式的处理结果有着重要的影响。
[0038]为进一步加强图像去雨能力和背景信息恢复，本专利技术公开了一种基于梯度先验驱动的深度网络图像去雨方法，融合基于模型驱动的方法和基于深度神经网络方法，在构建深度网络框架模型时，引入梯度域特征构建模型驱动深度网络的误差控制项，提出的梯度先验驱动的深度网络去雨模型。具体去雨方法包括如下步骤：
[0039]步骤1：获取雨天拍摄的待处理受损图像。
[0040]步骤2：融合基于模型驱动的方法和基于深度神经网络方法，在构建深度网络框架模型时，引入梯度域特征构建模型驱动深度网络的误差控制项，构建如下梯度先验驱动的深度网络去雨模型：
[0041][0042]其中，o，r，u分别表示雨天拍摄的受损图像，雨痕图像和待恢复的清晰图像，和分别表示图像的整体梯度算子、竖直方向梯度算子和水平方向梯度算子，Ψ(u)和Φ(r)分别表示背景图像的正则项和雨痕图像的正则项；α1，α2，λ1和λ2分别表示非负的正则化系数，表示L2范数；为误差控制项。
[0043]步骤3：将待处理受损图像输入至所述梯度先验驱本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于梯度先验驱动的深度网络图像去雨方法，其特征在于，包括如下步骤：步骤1：获取雨天拍摄的待处理受损图像；步骤2：融合基于模型驱动的方法和基于深度神经网络方法，在构建深度网络框架模型时，引入梯度域特征构建模型驱动深度网络的误差控制项，构建如下梯度先验驱动的深度网络去雨模型：其中，o，r，u分别表示雨天拍摄的受损图像，雨痕图像和待恢复的清晰图像，和分别表示图像的整体梯度算子、竖直方向梯度算子和水平方向梯度算子，Ψ(u)和Φ(r)分别表示背景图像的正则项和雨痕图像的正则项；α1，α2，λ1和λ2分别表示非负的正则化系数，表示L2范数；为误差控制项；步骤3：将待处理受损图像输入至所述梯度先验驱动的深度网络去雨模型，并对所述梯度先验驱动的深度网络去雨模型进行求解，输出雨痕图像r
k+1
和恢复的清晰图像u
k+1
。2.根据权利要求1所述的基于梯度先验驱动的深度网络图像去雨方法，其特征在于，所述步骤3求解时，先将模型中的双变量求解问题转换为两个单变量求解问题：述步骤3求解时，先将模型中的双变量求解问题转换为两个单...

【专利技术属性】
技术研发人员：吴静，陈华松，范媛媛，李晶，杜蒙瑞，袁林阳，陈怡琳，王君豪，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：