基于LAB颜色空间多尺度融合网络的单幅图像雨滴去除方法技术

本发明专利技术提出基于LAB颜色空间多尺度融合网络的单幅图像雨滴去除方法，包括以下步骤；步骤A：根据同场景下的原始附着雨滴退化状态和干净状态生成训练图像对，针对训练图像对进行颜色空间变换，得到对应LAB颜色空间的训练图像对；步骤B：对训练图像对进行预处理，得到LAB颜色空间的图像块数据集；步骤C：基于图像对在LAB颜色空间上的特性，利用多尺度学习策略设计单幅图像雨滴去除的卷积神经网络；步骤D：设计目标损失函数loss，以图像块数据集为训练数据，利用反向传播方法计算卷积神经网络中各参数的梯度，利用随机梯度下降方法更新参数；步骤E：以图像雨滴去除网络生成雨滴去除之后的图像，恢复至RGB颜色空间；本发明专利技术能显著提高图像雨滴去除的性能。像雨滴去除的性能。像雨滴去除的性能。

【技术实现步骤摘要】
基于LAB颜色空间多尺度融合网络的单幅图像雨滴去除方法


[0001]本专利技术涉及图像和视频处理以及计算机视觉领域，尤其是基于LAB颜色空间多尺度融合网络的单幅图像雨滴去除方法。

技术介绍

[0002]随着无人驾驶、智慧城市、智能交通等领域的不断发展，如何使用各种图像采集设备，进行有效的户外图像的采集，并提高获取到的户外图像的质量，是这些领域都需要解决的问题。高质量的户外图像，可以方便后续使用图像识别系统等进行自动导航、车辆跟踪、行人检测等工作。但是，进行户外图像的采集时，特别容易受到天气变化的影响。雨是一种常见的天气现象，当雨滴附着在玻璃窗或相机镜头上时会妨碍背景场景的可见性，降低图像的质量，导致图像严重的退化，如对比度降低，饱和度降低，可见度变得模糊不清。这使得图像上的细节信息无法识别，从而导致图像的使用价值极大地被降低。因此，从单幅图像中去除雨滴以恢复干净背景对于提高户外的计算机视觉系统的稳定性和适用性具有重要的研究意义。
[0003]当前大多数工作大都是集中在对单幅图像中的雨条纹进行去除，对单幅图像中的雨滴进行去除的研究还较少。图像中的雨滴虽然没有像雨条纹那么稠密，但是雨滴尺寸一般要比雨条纹大，会完全遮挡住图像背景。而且雨滴的外观受较多参数的影响，它的形状通常与细和垂直的雨条纹不一样，这就导致了雨滴的物理建模也与雨条纹完全不一样。因此这些得到较好探索的单幅图像雨条纹去除方法并不能直接用于单幅图像雨滴的去除，针对单幅图像的雨滴去除工作变得更加困难。
[0004]目前单幅图像雨滴去除的方法大体上被分为两大类，即基于模型的方法和现有的基于深度学习的方法。基于模型的方法通常都是先使用一个滤波器，将其分解为高频和低频两个部分，然后通过字典学习区分高频部分中的雨成分和非雨成分。基于模型的方法大多依赖于人工预先设好的参数来进行图像的特征提取和性能优化，只能提取图像中的浅层信息，并缺乏对内容的深层推理，使得它们对输入的变化不具有鲁棒性，例如具有各种模糊、亮度和大小的雨滴。而基于深度学习的方法，是一种数据驱动的方法，通过利用大量的数据来训练一个卷积神经网络。卷积神经网络表现出来的强大特征学习表示能力，能够较好地提取到图像特征，取得了较好的雨滴去除效果。但是，这些基于深度学习的方法没有充分探索并结合雨滴的物理特性，雨滴丰富的物理特性是去除雨滴任务的有力先验指导，并且它们的单尺度框架很难捕捉到雨滴跨尺度的相互关联。因此，如何将深度学习与雨滴丰富的物理特性结合起来俨然会成为未来研究者们关注的热点之一。

技术实现思路

[0005]本专利技术提出基于LAB颜色空间多尺度融合网络的单幅图像雨滴去除方法，将雨滴的物理特性和深度卷积神经网络结合起来，显著提高图像雨滴去除的性能。
[0006]本专利技术采用以下技术方案。
[0007]基于LAB颜色空间多尺度融合网络的单幅图像雨滴去除方法，基于多尺度自适应融合网络，包括以下步骤；
[0008]步骤A：根据同场景下的原始附着雨滴退化状态和干净状态生成训练图像对，针对训练图像对进行颜色空间变换，得到对应LAB颜色空间原始附着雨滴退化图像和干净图像的训练图像对；
[0009]步骤B：对步骤A得到的LAB颜色空间原始附着雨滴退化图像和干净图像的训练图像对进行预处理，得到LAB颜色空间原始附着雨滴退化图像和干净图像的训练图像对组成的图像块数据集；
[0010]步骤C：基于图像对在LAB颜色空间上的特性，并利用多尺度学习策略设计单幅图像雨滴去除的卷积神经网络；
[0011]步骤D：设计用于优化网络的目标损失函数loss，以图像块数据集为训练数据，根据所设计的目标损失函数loss，利用反向传播方法计算所设计的图像雨滴去除卷积神经网络中各参数的梯度，并利用随机梯度下降方法更新参数，最终学习到模型的最优参数；
[0012]步骤E：将待测图像输入到所设计的图像雨滴去除网络，利用训练好的模型预测生成LAB颜色空间中雨滴去除之后的干净图像，最后对其进行颜色空间变换，使其恢复至RGB颜色空间。
[0013]所述步骤A中包括以下步骤：
[0014]步骤A1：将原始附着雨滴退化图像和干净图像的训练图像对从RGB颜色空间转换到XYZ颜色空间；
[0015]步骤A2：将步骤A1得到的XYZ颜色空间的训练图像对转换到LAB颜色空间的训练图像对。
[0016]所述步骤A1包括以下步骤：
[0017]步骤A11：RGB颜色空间中，将任意像素的三个通道的值记为r，g，b，取值范围均为[0，255]，按照如下的转换公式进行转换：
[0018][0019]其中gamma()函数对图像进行非线性色调编辑以提高图像对比度；采用如下的gamma函数：
[0020][0021]步骤A12：将步骤A11得到的R，G，B三个分量排成一个向量，再乘上一个系数矩阵M即可完成RGB颜色空间到XYZ颜色空间的转换，转换公式如下：
[0022][0023]其中
[0024]所述步骤A2包括以下步骤：
[0025]步骤A21：假设L
*
，A
*
，B
*
为最终的LAB颜色空间三个通道的值，按照如下的转换公式将XYZ颜色空间转换到LAB颜色空间：
[0026]L
*
＝116f(Y/Y
n
)
‑
16
[0027]A
*
＝500[f(X/X
n
)
‑
f(Y/Y
n
)][0028]B
*
＝200[f(Y/Y
n
)
‑
f(Z/Z
n
)][0029]其中X，Y，Z是RGB颜色空间转XYZ颜色空间后计算出来的值，X
n
，Y
n
，Z
n
一般默认是95.047，100.0，108.883，f(t)的具体公式如下：
[0030][0031]所述步骤B中包括以下步骤；
[0032]步骤B1：将LAB颜色空间原始附着雨滴退化图像和其对应的干净图像按照一致的方式进行切块，得到W
×
W尺寸的图像块，切块时每隔m个像素点进行切块以避免重叠切块，切块后W
×
W的附着雨滴图像块和W
×
W的干净图像块一一对应。
[0033]所述步骤C包括以下步骤；
[0034]步骤C1：将LAB颜色空间中的L通道和B通道分离，设计一个双分支网络，一个分支用于原始附着雨滴退化图像L通道的雨滴去除，另一个分支用于原始附着雨滴退化图像B通道的雨滴去除；
[0035]步骤C2：设计每一分支的多尺度自适应融合网络，用于提取雨滴的相关特征，以对去除雨滴的任务进行优化；
[0036]步骤C3：设计多尺度自适应融合网络中的多尺度自适应特征融合模块，用于优化提取图像特征和特征融合。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于LAB颜色空间多尺度融合网络的单幅图像雨滴去除方法，基于多尺度自适应融合网络，其特征在于：包括以下步骤；步骤A：根据同场景下的原始附着雨滴退化状态和干净状态生成训练图像对，针对训练图像对进行颜色空间变换，得到对应LAB颜色空间原始附着雨滴退化图像和干净图像的训练图像对；步骤B：对步骤A得到的LAB颜色空间原始附着雨滴退化图像和干净图像的训练图像对进行预处理，得到LAB颜色空间原始附着雨滴退化图像和干净图像的训练图像对组成的图像块数据集；步骤C：基于图像对在LAB颜色空间上的特性，并利用多尺度学习策略设计单幅图像雨滴去除的卷积神经网络；步骤D：设计用于优化网络的目标损失函数loss，以图像块数据集为训练数据，根据所设计的目标损失函数loss，利用反向传播方法计算所设计的图像雨滴去除卷积神经网络中各参数的梯度，并利用随机梯度下降方法更新参数，最终学习到模型的最优参数；步骤E：将待测图像输入到所设计的图像雨滴去除网络，利用训练好的模型预测生成LAB颜色空间中雨滴去除之后的干净图像，最后对其进行颜色空间变换，使其恢复至RGB颜色空间。2.根据权利要求1所述的基于LAB颜色空间多尺度融合网络的单幅图像雨滴去除方法，其特征在于：所述步骤A中包括以下步骤：步骤A1：将原始附着雨滴退化图像和干净图像的训练图像对从RGB颜色空间转换到XYZ颜色空间；步骤A2：将步骤A1得到的XYZ颜色空间的训练图像对转换到LAB颜色空间的训练图像对。3.根据权利要求2所述的基于LAB颜色空间多尺度融合网络的单幅图像雨滴去除方法，其特征在于：所述步骤A1包括以下步骤：步骤A11：RGB颜色空间中，将任意像素的三个通道的值记为r，g，b，取值范围均为[0，255]，按照如下的转换公式进行转换：其中gamma()函数对图像进行非线性色调编辑以提高图像对比度；采用如下的gamma函数：步骤A12：将步骤A1l得到的R，G，B三个分量排成一个向量，再乘上一个系数矩阵M即可完成RGB颜色空间到XYZ颜色空间的转换，转换公式如下：
其中所述步骤A2包括以下步骤：步骤A21：假设L
*
，A
*
，B
*
为最终的LAB颜色空间三个通道的值，按照如下的转换公式将XYZ颜色空间转换到LAB颜色空间：L
*
＝116f(Y/Y
n
)
‑
16A
*
＝500[f(X/X
n
)
‑
f(Y/Y
n
)]B
*
＝200[f(Y/Y
n
)
‑
f(Z/Z
n
)]其中X，Y，Z是RGB颜色空间转XYZ颜色空间后计算出来的值，X
n
，Y
n
，Z
n
一般默认是95.047，100.0，108.883，f(t)的具体公式如下：4.根据权利要求1所述的基于LAB颜色空间多尺度融合网络的单幅图像雨滴去除方法，其特征在于：所述步骤B中包括以下步骤；步骤B1：将LAB颜色空间原始附着雨滴退化图像和其对应的干净图像按照一致的方式进行切块，得到W
×
W尺寸的图像块，切块时每隔m个像素点进行切块以避免重叠切块，切块后W
×
W的附着雨滴图像块和W
×
W的干净图像块一一对应。5.根据权利要求1所述的基于LAB颜色空间多尺度融合网络的单幅图像雨滴去除方法，其特征在于：所述步骤C包括以下步骤；步骤C1：将LAB颜色空间中的L通道和B通道分离，设计一个双分支网络，一个分支用于原始附着雨滴退化图像L通道的雨滴去除，另一个分支用于原始附着雨滴退化图像B通道的雨滴去除；步骤C2：设计每一分支的多尺度自适应融合网络，用于提取雨滴的相关特征，以对去除雨滴的任务进行优化；步骤C3：设计多尺度自适应融合网络中的多尺度自适应特征融合模块，用于优化提取图像特征和特征融合。6.根据权利要求5所述的基于LAB颜色空间多尺度融合网络的单幅图像雨滴去除方法，其特征在于：步骤C1中，两个分支对应的多尺度自适应融合网络的结构相同，所述步骤C2包括以下步骤；步骤C21：将原始附着雨滴退化图像对应的L通道和B通道图像块分别送入各自分支的多尺度自适应融合网络，步骤C22：L通道、B通道图像块送入其分支对应的网络后的处理流程相同，以L通道进行说明，原始附着雨滴退化图像对应的L通道图像块输入到一个激活函数为ReLU的卷积层，进行图像到特征图的转换，按如下公式输出特征：
F0＝Conv1(X
l
)其中，Conv1代表激活函数为ReLU的卷积层，X
l
为原始附着雨滴退化图像对应的L通道图像块，F0代表所提取的特征图；步骤C23：将特征图F0输入到多个所设计的多尺度自适应特征融合模块，多尺度自适应特征融合模块的个数为5，按如下公式计算：F1＝MSAFF(MSAFF(MSAFF(MSAFF(MSAFF(F0)))))其中MSAFF(*)表示所设计的多尺度自适应特征融合模块；步骤C24：将步骤C23的输出结果F1输入到一个激活函数为ReLU的卷积层，完成特征图到图像的转换，按如下公式输出通道数为1的原始附着雨滴退化图像L通道的雨滴去除图像：Y
l
＝Conv2(F1)其中Conv2表示激活函数为ReLU的卷积层，Y
l
为通道数为1的原始附着雨滴退化图像L通道的雨滴去除图像；所述步骤C3包括以下步骤：步骤C31：在多尺度自适应特征融合模块中，首先将输入特征F
′
分别送入3个扩张率不同的空洞卷积，按以下公式计算：F1′
＝LeakyReLU(Dilated
r＝2
(F
′
))F2′
＝LeakyReLU(Dilated
r＝4
(F
′
))F3′
＝LeakyReLU(Dilated
r＝8
(F
′
))其中F1′
，F2′
，F3′
分别为扩张率为2、4、8的空洞卷积的输出特征，Dilated
r＝n
(*)为空洞卷积或...

【专利技术属性】
技术研发人员：牛玉贞，陈锋，林闽沪，
申请(专利权)人：福州大学，
类型：发明
国别省市：