一种雨密度分类引导的双阶段单幅图像去雨方法技术

本发明专利技术提出了一种雨密度分类引导的双阶段单幅图像去雨方法；本发明专利技术引入多幅合成雨天图像和对应的真实清晰图像，进一步引入每幅合成雨天图像对应的雨线层图像、全局大气光图像、传输地图图像、雨密度分类标签真值；依次引入先验去雨网络、雨密度分类网络和优化去雨网络，结合先前所引入的数据分别构建损失函数，得到训练好的各网络模型；将真实雨天图像输入训练好的先验去雨模型和雨密度分类模型，得到对应的预测初始去雨背景和预测雨密度分类级别，再将它们输入至训练好的优化去雨模型得到对应的去雨图像；本发明专利技术能解决现有技术难以同时去除雨线和雨雾、对不同密度、不同模式的雨处理不够鲁棒的问题，能对真实雨天场景进行高效、清晰地复原。清晰地复原。清晰地复原。

【技术实现步骤摘要】
一种雨密度分类引导的双阶段单幅图像去雨方法


[0001]本专利技术属于深度学习图像增强
，尤其是一种雨密度分类引导的双阶段单幅图像去雨方法。

技术介绍

[0002]雨天作为一种最常见的恶劣天气，会导致很多原本为清晰成像条件设计的户外视觉系统运行效果大大折扣。雨对图像的退化效应主要包括雨线对背景的遮挡、雨线累积形成的雨雾会使得背景变模糊。单幅图像去雨以一张雨天图像作为输入，目的是去除雨对图像造成的影响，尽可能恢复出清晰的背景。
[0003]早期的传统去雨算法通过基于线性叠加雨天物理模型的分层来实现，利用一些先验知识(例如低秩特性、高斯混合模型等)来从雨天图像中分解出待复原的背景层，这些基于不同先验知识的方法对图像的特征提取和表达均停留在较低的层次，当图像中出现外观形态类似雨丝的物体(如砖块、细绳、桅杆等)时也会被误识别为雨丝，并且会对背景中的高频细节信息做平滑和模糊处理，适用场景有限、鲁棒性不足。近年来基于深度学习的去雨算法也不断被提出，由卷积神经网络来学习由于雨天图像到对应清晰背景的端到端映射关系。2019年，Ren等人提出渐进递本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种雨密度分类引导的双阶段单幅图像去雨方法，其特征在于，包括以下步骤：步骤1：引入多幅合成雨天图像、多幅合成雨天图像对应的真实清晰图像，进一步引入每幅合成雨天图像对应的雨线层图像、每幅合成雨天图像对应的全局大气光图像、每幅合成雨天图像对应的传输地图图像，人工标记每幅合成雨天图像的雨密度分类标签真值；步骤2：引入先验去雨网络，将每幅合成雨天图像输入至先验去雨网络进行图像去雨处理得到每幅合成雨天图像对应的初始去雨背景图像，结合每幅合成雨天图像对应的雨线层图像、全局大气光图像、传输地图图像构建先验去雨网络损失函数，通过ADAM优化器进行梯度反向传播更新网络参数，得到训练好的先验去雨网络模型；步骤3：引入雨密度分类网络，将每幅合成雨天图像输入至雨密度分类网络进行分级处理得到每幅合成雨天图像的雨密度分类级别，结合每幅合成雨天图像的雨密度分类标签真值构建雨密度分类网络损失函数，通过ADAM优化器进行梯度反向传播更新网络参数，得到训练好的雨密度分类网络模型；步骤4：将每幅合成雨天图像输入至训练好的先验去雨网络模型进行图像去雨处理得到每幅合成雨天图像对应的预测初始去雨背景，将每幅合成雨天图像输入至训练好的雨密度分类网络模型进行分级处理得到每幅合成雨天图像对应的预测雨密度分类级别；步骤5：引入优化去雨条件生成对抗网络，将每幅合成雨天图像对应的预测初始去雨背景、每幅合成雨天图像对应的预测雨密度分类级别输入至优化去雨条件生成对抗网络进行高清还原处理，得到每幅合成雨天图像对应的恢复后清晰图像，结合每幅原始雨天图像对应的真实清晰雨天图像构建损失函数，通过ADAM优化器进行梯度反向传播更新网络参数，得到训练好的优化去雨网络模型；步骤6：将真实采集雨天图像R通过步骤4得到真实雨天图像对应的预测初始去雨背景、真实雨天图像对应的预测雨密度分类级别，将真实雨天图像对应的预测初始去雨背景、真实雨天图像对应的预测雨密度分类级别输入至训练好的优化去雨网络模型预测得到真实雨天图像对应的去雨图像。2.根据权利要求1所述的雨密度分类引导的双阶段单幅图像去雨方法，其特征在于，步骤1所述多幅合成雨天图像，定义为：{I
k
，k∈[1，K]}其中，I
k
是第k幅合成雨天图像，K表示合成雨天图像的数量；步骤1所述多幅合成雨天图像对应的真实清晰图像，定义为：其中，是第k幅合成雨天图像对应的真实清晰图像，K表示合成雨天图像的数量；步骤1所述每幅合成雨天图像的雨线层图像，定义为：步骤1所述每幅合成雨天图像的全局大气光图像，定义为：步骤1所述每幅合成雨天图像的传输地图图像，定义为：其中，是第k幅合成雨天图像对应的雨线层图像，是第k幅合成雨天图像对应的全局大气光图像，是第k幅合成雨天图像对应的传输地图图像，K表示合成雨天图像的数量；
步骤1所述每幅合成雨天图像的雨密度分类标签真值，定义：其中，表示第k幅合成雨天图像的雨密度分类标签，表示大雨，表示中雨，表示小雨。3.根据权利要求1所述的雨密度分类引导的双阶段单幅图像去雨方法，其特征在于，步骤2所述先验去雨网络结构包括：先验去雨网络由雨雾预测网络A
‑
Net、雨线预测网络S
‑
Net和传输地图预测网络T
‑
Net三个分支并联；第k幅合成雨天图像分别输入至所述的雨雾预测网络A
‑
Net、雨线预测网络S
‑
Net和传输地图预测网络T
‑
Net；第k幅合成雨天图像输入至所述的雨雾预测网络A
‑
Net预测得到第k幅合成雨天图像对应的预测雨线层图像S
k
；第k幅合成雨天图像输入至所述的雨线预测网络S
‑
Net预测得到第k幅合成雨天图像对应的预测全局大气光图像A
k
；第k幅合成雨天图像输入至所述的传输地图预测网络T
‑
Net预测得到第k幅合成雨天图像对应的预测传输地图图像T
k
；A
‑
Net采用类似分类器的网络结构，包括：雨雾预测网络第一卷积层、雨雾预测网络第二卷积层、雨雾预测网络第一池化层、雨雾预测网络第三卷积层、雨雾预测网络第二池化层、雨雾预测网络第四卷积层、雨雾预测网络第三池化层、雨雾预测网络第五卷积层、雨雾预测网络第四池化层、雨雾预测网络全连接层、雨雾预测网络Sigmoid层、雨雾预测网络上采样层；所述的雨雾预测网络第一卷积层、雨雾预测网络第二卷积层、雨雾预测网络第一池化层、雨雾预测网络第三卷积层、雨雾预测网络第二池化层、雨雾预测网络第四卷积层、雨雾预测网络第三池化层、雨雾预测网络第五卷积层、雨雾预测网络第四池化层、雨雾预测网络全连接层、雨雾预测网络Sigmoid层、雨雾预测网络上采样层依次连接；雨雾预测网络第e卷积层待寻优参数为e∈[1,7]；S
‑
Net包括：雨线预测网络第一卷积层、雨线预测网络第二空洞卷积层、雨线预测网络第三空洞卷积层、雨线预测网络第四空洞卷积层、雨线预测网络第五卷积层、雨线预测网络第六卷积层、雨线预测网络第七卷积层、雨线预测网络第八卷积层；所述的雨线预测网络第一卷积层、雨线预测网络第二空洞卷积层、雨线预测网络第三空洞卷积层、雨线预测网络第四空洞卷积层、雨线预测网络第五卷积层、雨线预测网络第六卷积层、雨线预测网络第七卷积层、雨线预测网络第八卷积层依次连接；雨线预测网络第e卷积层待寻优参数为η
e
，e∈[1,8]；T
‑
Net采用编解码器结构，包括：传输地图预测网络第一卷积层、传输地图预测网络第一池化层、传输地图预测网络第二卷积层、传输地图预测网络第二池化层、传输地图预测网络第三卷积层、传输地图预测网络第三池化层、传输地图预测网络第四卷积层、传输地图预测网络第四池化层，解码器部分包括传输地图预测网络第五卷积层、传输地图预测网络第一上采样层、传输地图预测网络第六卷积层、传输地图预测网络第二上采样层、传输地图预
测网络第七卷积层、传输地图预测网络第三上采样层、传输地图预测网络第八卷积层、传输地图预测网络第四上采样层；所述的传输地图预测网络第一卷积层、传输地图预测网络第一池化层、传输地图预测网络第二卷积层、传输地图预测网络第二池化层、传输地图预测网络第三卷积层、传输地图预测网络第三池化层、传输地图预测网络第四卷积层、传输地图预测网络第四池化层，解码器部分包括传输地图预测网络第五卷积层、传输地图预测网络第一上采样层、传输地图预测网络第六卷积层、传输地图预测网络第二上采样层、传输地图预测网络第七卷积层、传输地图预测网络第三上采样层、传输地图预测网络第八卷积层、传输地图预测网络第四上采样层依次连接；传输地图预测网络第e卷积层待寻优参数为θ
e
，e∈[1,8]；先验去雨网络的输出预测量包括第k幅合成雨天图像对应的预测雨线层图像S
k
，k∈[1，K]，第k幅合成雨天图像对应的预测全局大气光图像A
k
，k∈[1，K],第k幅合成雨天图像对应的预测传输地图图像T
k
，k∈[1，K],K表示合成雨天图像的数量；结合第k幅合成雨天图像I
k
、第k幅合成雨天图像对应的预测雨线层图像S
k
、第k幅合成雨天图像对应的预测全局大气光图像A
k
、第k幅合成雨天图像对应的预测传输地图图像T
k
，求解初始去雨背景图像，具体如下：其中，I
k
是第k幅合成雨天图像，第k幅合成雨天图像对应的预测雨线层图像S
k
、第k幅合成雨天图像对应的预测全局大气光图像A
k
、第k幅合成雨天图像对应的预测传输地图图像T
k
B
k
是先验去雨网络对于第k幅合成雨天图像得到的初始去雨背景图像；步骤2所述先验去雨网络损失函数，定义为：所述先验去雨网络损失函数包括：雨线层损失、雨雾层损失和传输地图损失；所述雨线层损失的定义为：所述雨雾层损失的定义为：所述传输地图损失的定义为：其中，K表示合成雨天图像的数量，S
k
是第k幅合成雨天图像对应的预测的雨线层图像，A
k
是第k幅合成雨天图像对应的预测的全局大气光图像，T
k
是第k幅合成雨天图像对应的预测的传输地图图像，是第k幅合成雨天图像对应的雨线层图像，是第k幅合成雨天图像对应的全局大气光图像，是第k幅合成雨天图像对应的传输地图图像；
所述先验去雨网络损失函数为：loss
...

【专利技术属性】
技术研发人员：梅天灿，高智，曹敏，
申请(专利权)人：武汉大学，
类型：发明
国别省市：