基于雨条纹指导的单幅图像的渐进式去雨方法技术

本发明专利技术公开了一种基于雨条纹指导的单幅图像的渐进式去雨方法，包括以下步骤：S1：构建具有多个阶段的渐进式去雨网络，每一阶段均包括渐进式雨条纹检测模块和渐进式雨条纹去除模块；S2：获取有雨图像，将有雨图像输入渐进式去雨网络进行训练，渐进式雨条纹检测模块输出雨条纹掩膜，渐进式雨条纹去除模块输出去雨图像；S3：设定渐进式去雨网络的组合损失函数，根据组合损失函数对渐进式去雨网络进行优化，获得渐进式去雨网络模型；S4：将待去雨的有雨图像输入训练好的渐进式去雨网络模型，渐进式去雨网络模型输出去除雨条纹后的无雨图像。本发明专利技术可以有效地恢复被雨条纹遮挡的图像，解决雨条纹去除不干净的情况，实现了每阶段逐步去除雨条纹的效果。雨条纹的效果。雨条纹的效果。

【技术实现步骤摘要】
基于雨条纹指导的单幅图像的渐进式去雨方法


[0001]本专利技术涉及图像处理及计算机视觉领域，具体地说，涉及一种基于雨条纹指导的单幅图像的渐进式去雨方法。

技术介绍

[0002]在八十年代之后开始掀起了深度学习的第二次热潮，计算机视觉开始飞速发展，与此同时，随着时代的进步以及科学技术的发展，摄像功能开始逐步得到发展。因此，相关领域的学者以及研究人员们开始将计算机视觉与摄像功能相结合应用到各个领域，例如安防监控、无人机导航、智能驾驶等。然而在实际应用中，在拍摄采集图像数据的过程中，很有可能会遭受到恶劣天气的影响而导致采集的图像数据的质量下降，例如：在有雨天气中，雨的存在造成拍摄图像的目标以及背景被遮挡或者图像细节丢失，严重影响相关的计算机视觉任务的图像特征的提取，从而影响相关的视觉算法的有效性，进而干扰航空探测、户外监控、智能导航、无人驾驶等应用系统的正常使用。
[0003]因此，针对自然天气的噪声干扰，国内外的研究人员开始了相关课题的研究。在自然天气的噪声干扰中，比如雨、雾、雪以及霾等，目前已有大量关于图像去雾的研究，达到了一个比较好的研究成果，拥有了较多相对成熟的研究。但是在雨天的情况下，雨对目标或者背景造成遮挡以及细节丢失，同时雨条纹的形状、大小以及方向等特征相对具有多样性，特别是在大雨的天气里拍摄的图像数据里，图像背景几乎被完全遮挡，图像细节严重丢失，在这一课题上有待进一步研究，并且针对去雨领域的研究能够推动高级计算机视觉任务的发展，因此更加具有挑战性，更有研究的必要性。
[0004]在单幅图像去雨方法的发展中，主要分为基于物理模型的图像去雨方法和基于深度学习的图像去雨方法。基于物理模型的方法依赖于雨纹以及背景场景的统计特征分析。该方法将已经清楚的先验分别用于雨层和背景层，然后建立一个代价函数用于该模型的优化。目前基于物理模型的去雨方法主要有：基于图像分解的去雨方法、基于稀疏编码的去雨方法以及基于先验知识的高斯混合模型。
[0005]近些年来，基于深度学习的快速发展，数据驱动去雨的方法得到了快速的发展，不少性能较好的算法开始崭露头角。基于数据驱动的方法里，使用一大批有雨图像数据来对一个神经网络进行训练，让神经网络学习到不同背景下不同的雨条纹分布的信息，可以比较好的提取到雨条纹的特征，实现无雨图像的恢复。但是，如何实现在完整去除图像中的雨条纹同时并且保持背景的原样依然是去雨领域一个需要关注并且解决的热点之一。

技术实现思路

[0006]本专利技术的目的在于克服现有技术难以实现在完整去除图像中的雨条纹同时并且保持背景原样的问题，提供一种基于雨条纹指导的单幅图像的渐进式去雨方法，通过渐进式的方式来自动检测和引导图像中的雨条纹的去除，使得去雨的性能得到提升。
[0007]为了实现上述目的，本专利技术所采用的技术方案如下：
[0008]一种基于雨条纹指导的单幅图像的渐进式去雨方法，包括以下步骤：
[0009]S1：构建具有多个阶段的渐进式去雨网络，每一阶段均包括渐进式雨条纹检测模块和渐进式雨条纹去除模块；
[0010]S2：获取有雨图像，将有雨图像输入渐进式去雨网络进行训练，渐进式雨条纹检测模块输出雨条纹掩膜，渐进式雨条纹去除模块输出去雨图像；
[0011]第一阶段渐进式雨条纹检测模块的输入为有雨图像，渐进式雨条纹去除模块的输入为第一阶段的雨条纹掩膜与有雨图像拼接的特征；
[0012]其他阶段渐进式雨条纹检测模块的输入为上一阶段的雨条纹掩膜与上一阶段的去雨图像拼接的特征；渐进式雨条纹去除模块的输入为当前阶段的雨条纹掩膜与上一阶段的去雨图像拼接的特征；
[0013]S3：设定渐进式去雨网络的组合损失函数，根据组合损失函数对渐进式去雨网络进行优化，获得渐进式去雨网络模型；
[0014]S4：将待去雨的有雨图像输入训练好的渐进式去雨网络模型，渐进式去雨网络模型输出去除雨条纹后的无雨图像。
[0015]进一步地，渐进式雨条纹检测模块的输入表示为：
[0016][0017]式中，O
n
‑1表示第n
‑
1阶段渐进式雨条纹去除模块输出的去雨图像；I1表示渐进式去雨网络输入的有雨图像；M
n
‑1表示第n
‑
1阶段渐进式雨条纹检测模块输出的雨条纹掩膜；[；]表示在通道维度上拼接特征图的操作；表示第n阶段渐进式雨条纹检测模块的输入。
[0018]进一步地，渐进式雨条纹检测模块包括浅层卷积层、多个平滑扩张卷积残差块、卷积长短期记忆神经网络和深层卷积层，
[0019]浅层卷积层的输出表示为：
[0020][0021]式中，表示第n阶段渐进式雨条纹检测模块的输入；Conv
n
表示第n阶段渐进式雨条纹检测模块的浅层卷积层；ReLU
n
表示第n阶段渐进式雨条纹检测模块的激活函数；表示第n阶段渐进式雨条纹检测模块的浅层卷积层的输出。
[0022]进一步地，经过多个平滑扩张卷积残差块后的输出表示为：
[0023][0024]式中，表示第n阶段渐进式雨条纹检测模块的浅层卷积层的输出，表示第n阶段渐进式雨条纹检测模块的第i个平滑扩张卷积残差块，表示第n阶段渐进式雨条纹检测模块中经过多个平滑扩张卷积残差块后的输出。
[0025]进一步地，经过卷积长短期记忆神经网络和深层卷积层的输出为：
[0026][0027]式中，表示第n阶段渐进式雨条纹检测模块中经过多个平滑扩张卷积残差块后
的输出，ConvLSTMn表示第n阶段渐进式雨条纹检测模块的卷积长短期记忆神经网络；表示第n阶段渐进式雨条纹检测模块的深层卷积层的输出；
[0028]深层卷积层的输出进行归一化处理之后的输出就是雨条纹检测模块输出的雨条纹掩膜M
n
，归一化处理的公式为：
[0029][0030]式中，M
n(i,j)
表示特征中某个通道中某一个位置归一化后的值，表示深层卷积层的输出某一位置的值。
[0031]进一步地，渐进式雨条纹去除模块的输入表示为：
[0032][0033]式中，表示第n阶段渐进式雨条纹去除模块的输入；M
n
表示第n阶段雨条纹检测模块输出的雨条纹掩膜；O
n
‑1表示第n
‑
1阶段渐进式雨条纹去除模块输出的去雨图像；[；]表示在通道维度上拼接特征图的操作；I1表示渐进式去雨网络输入的有雨图像，M1表示第1阶段雨条纹检测模块输出的雨条纹掩膜。
[0034]进一步地，渐进式雨条纹去除模块包括编码器、瓶颈层和解码器，编码器、瓶颈层和解码器依次连接，编码器具有多层结构，每层包括卷积层和平滑扩张卷积残差块，编码器的输出表示为：
[0035][0036]式中，表示第n阶段编码器第i
‑
1层的输出；Conv
ni
表示第n阶段编码器第i层的卷积层；ReLU
ni
表示第n阶本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于雨条纹指导的单幅图像的渐进式去雨方法，其特征在于，包括以下步骤：S1：构建具有多个阶段的渐进式去雨网络，每一阶段均包括渐进式雨条纹检测模块和渐进式雨条纹去除模块；S2：获取有雨图像，将有雨图像输入渐进式去雨网络进行训练，渐进式雨条纹检测模块输出雨条纹掩膜，渐进式雨条纹去除模块输出去雨图像；第一阶段渐进式雨条纹检测模块的输入为有雨图像，渐进式雨条纹去除模块的输入为第一阶段的雨条纹掩膜与有雨图像拼接的特征；其他阶段渐进式雨条纹检测模块的输入为上一阶段的雨条纹掩膜与上一阶段的去雨图像拼接的特征；渐进式雨条纹去除模块的输入为当前阶段的雨条纹掩膜与上一阶段的去雨图像拼接的特征；S3：设定渐进式去雨网络的组合损失函数，根据组合损失函数对渐进式去雨网络进行优化，获得渐进式去雨网络模型；S4：将待去雨的有雨图像输入训练好的渐进式去雨网络模型，渐进式去雨网络模型输出去除雨条纹后的无雨图像。2.如权利要求1的基于雨条纹指导的单幅图像的渐进式去雨方法，其特征在于，渐进式雨条纹检测模块的输入表示为：式中，O
n
‑1表示第n
‑
1阶段渐进式雨条纹去除模块输出的去雨图像；I1表示渐进式去雨网络输入的有雨图像；M
n
‑1表示第n
‑
1阶段渐进式雨条纹检测模块输出的雨条纹掩膜；[；]表示在通道维度上拼接特征图的操作；表示第n阶段渐进式雨条纹检测模块的输入。3.如权利要求1的基于雨条纹指导的单幅图像的渐进式去雨方法，其特征在于，渐进式雨条纹检测模块包括浅层卷积层、多个平滑扩张卷积残差块、卷积长短期记忆神经网络和深层卷积层，浅层卷积层的输出表示为：式中，表示第n阶段渐进式雨条纹检测模块的输入；Conv
n
表示第n阶段渐进式雨条纹检测模块的浅层卷积层；ReLU
n
表示第n阶段渐进式雨条纹检测模块的激活函数；表示第n阶段渐进式雨条纹检测模块的浅层卷积层的输出。4.如权利要求3的基于雨条纹指导的单幅图像的渐进式去雨方法，其特征在于，经过多个平滑扩张卷积残差块后的输出表示为：式中，表示第n阶段渐进式雨条纹检测模块的浅层卷积层的输出，表示第n阶段渐进式雨条纹检测模块的第i个平滑扩张卷积残差块，表示第n阶段渐进式雨条纹检测模块中经过多个平滑扩张卷积残差块后的输出。5.如权利要求4的基于雨条纹指导的单幅图像渐进式去雨方法，其特征在于，经过卷积
长短期记忆神经网络和深层卷积层的输出为：式中，表示第n阶段渐进式雨条纹检测模块中经过多个平滑扩张卷积残差块后的输出，ConvLSTM
n
表示第n阶段渐进式雨条纹检测模块的卷积长短期记忆神经网络；表示第n阶段渐进式雨条纹检测模块的深层卷积层的输出；深层卷积层的输出进行归一化处理之后的输出就是雨条纹检测模块输出的雨条纹掩膜M
n
，归一化处理的公式为：式中，M
n(i,j)
表示特征中某个通道中某一个位置归一化后的值，表示深层卷积层的输出某一位置的值。6.如权利要求1的基于雨条纹指导的单幅图像的渐进式去雨方法，其特征在于，渐进式雨条纹去除模块的输入表示为：式中，表示第n阶段渐进式雨条纹去除模块的输入；M
n
表示第n阶段雨条纹检测模块输出的雨条纹掩膜；O
n
‑1表示第n
‑
1阶段渐进式雨条纹去除模块输出的去雨图像；[；]表示在通道维度上拼接特征图的操作；I1表示渐进式去雨网络输入的有雨图像，M1表示第1阶段雨条纹检测模块输出的雨条纹掩膜。...

【专利技术属性】
技术研发人员：傅予力，夏君君，蔡磊，向友君，霍万良，张颖，王鹏程，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：