基于多尺度对比学习的无监督图像去雨方法、装置及终端制造方法及图纸

本发明专利技术公开了一种基于多尺度对比学习的无监督图像去雨方法、装置及终端，利用雨纹和背景具有不同的属性和特征，采用了多尺度的对比学习，从特征层面开始分解雨纹和背景，获得雨层图像和背景层图像。通过多尺度的对比学习，无需雨图对应的无雨图做监督，即可有效地将雨层和背景进行分离。再利用图像层面的分布特性来约束雨层图像和背景层图像所各自具有的图像先验，使得训练后的去雨网络泛化能力强，能够有效地去除真实有雨图像中的雨纹。能够有效地去除真实有雨图像中的雨纹。能够有效地去除真实有雨图像中的雨纹。

【技术实现步骤摘要】
基于多尺度对比学习的无监督图像去雨方法、装置及终端


[0001]本专利技术涉及图像处理
，尤其涉及的是一种基于多尺度对比学习的无监督图像去雨方法、装置及终端。

技术介绍

[0002]无人车自动驾驶过程中，摄像头在雨天捕获的图像或视频中通常含有雨纹，导致图像的可视化质量下降，影响提取特征的精确度，进而影响图像分割、检测及识别等高级视觉任务。因此，如何有效地去除有雨图像的雨纹，同时在去除雨纹时还能保留原有的背景信息不受到损害，具有重要的研究意义和实用价值。
[0003]通过有监督地训练去雨网络来去除雨纹，需要通过大量的有雨图
‑
无雨图样本对去雨网络进行训练，学习到有雨图到无雨图的映射，从而去除未知有雨图像的雨纹。然而这种方法很大程度依赖训练数据的分布特性，当训练集中的雨纹与真实雨纹差距较大时，训练后的去雨网络并不能很好地去除真实雨图的雨纹。
[0004]虽然也有少量方法通过无监督地训练去雨网络，但是主要通过改变去雨网络的架构来提高去雨网络的鲁棒性和泛化性能，而没有从有雨图像的雨层和背景本身的特性出发，训练后的去雨网络仍然泛化性能不高，图像去雨效果不好。
[0005]因此，目前训练去雨网络不能获得较好的泛化性能，训练后的去雨网络并不能很好地去除雨纹。

技术实现思路

[0006]本专利技术的主要目的在于提供一种基于多尺度对比学习的无监督图像去雨方法及装置，解决训练去雨网络不能获得较好的泛化性能，训练后的去雨网络并不能很好地去除雨纹的问题。
[0007]为了实现上述目的，本专利技术第一方面提供一种基于多尺度对比学习的无监督图像去雨方法，预先训练去雨网络，获得已训练的去雨网络，将有雨图像输入所述已训练的去雨网络，获得去雨后图像；所述去雨网络设有两个分支，预先训练所述去雨网络，包括：
[0008]在每个分支分别对输入的有雨图像进行多个尺度的编码和解码，其中一个分支获得每个尺度的雨特征，另一个分支获得每个尺度的背景特征；
[0009]根据每个尺度的所述雨特征和所述背景特征，获得每个尺度的特征层损失值，所述特征层损失值用于对比学习所述雨特征和所述背景特征；
[0010]根据所述雨特征获得雨层图像，根据所述背景特征获得背景层图像；
[0011]根据所述雨层图像和所述背景层图像，获得图像层损失值；
[0012]根据所述图像层损失值和所有的所述特征层损失值，获得总损失值；
[0013]根据所述总损失值迭代优化所述去雨网络的参数，直至所述总损失值收敛，获得所述已训练的去雨网络。
[0014]可选的，所述根据所述雨层图像和所述背景层图像，获得图像层损失值，包括：
[0015]根据所述雨层图像和所述背景层图像，计算重构一致性损失值，所述重构一致性损失值用于约束所述背景层图像和所述雨层图像重构回所述有雨图像；
[0016]根据所述雨层图像，计算稀疏性损失值，所述稀疏性损失值用于约束所述雨层图像的稀疏性；
[0017]根据所述背景层图像，计算对抗损失值，所述对抗损失值用于约束所述背景层图像骗过判别器；
[0018]根据所述重构一致性损失值、所述稀疏性损失值和所述对抗损失值，获得所述图像层损失值。
[0019]可选的，根据目标尺度的所述雨特征和所述背景特征，获得目标尺度的特征层损失值，包括：
[0020]根据目标尺度的所述雨特征和所述背景特征，获得第一对比损失值，所述第一对比损失值用于约束所述雨特征相互之间为正样本、所述雨特征与所述背景特征之间为负样本；
[0021]根据目标尺度的所述雨特征和所述背景特征，获得第二对比损失值，所述第二对比损失值用于约束所述背景特征相互之间为正样本、所述雨特征与所述背景特征之间为负样本；
[0022]根据所述第一对比损失值和所述第二对比损失值，获得目标尺度的所述特征层损失值。
[0023]可选的，所述根据目标尺度的所述雨特征和所述背景特征，获得第一对比损失值，具体表达式为：
[0024][0025]其中，为以坐标(x
p
，y
p
)为中心的图像块的雨特征；为以坐标(x
k
，y
k
)为中心的图像块的雨特征；为以坐标(x
j
，y
j
)为中心的图像块的背景特征；Sim(
·
,
·
)为用于度量两个特征之间的相似性的函数；τ为温度系数，用于调节特征之间的距离；N为总像素数。
[0026]可选的，所述根据目标尺度的所述雨特征和所述背景特征，获得第二对比损失值，具体表达式为：
[0027][0028]其中，为以坐标(x
p
，y
p
)为中心的图像块的背景特征；为以坐标(x
k
，y
k
)为中心的图像块的背景特征；为以坐标(x
j
，y
j
)为中心的图像块的雨特征；Sim(
·
,
·
)为用于度量两个特征之间的相似性的函数；τ为温度系数，用于调节特征之间的距离；N为总像素数。
[0029]可选的，所述去雨网络的每个分支上均设有多个编码器层和多个解码器层，所述
编码器层用于对特征进行下采样，所述解码器层用于对特征进行上采样。
[0030]本专利技术第二方面提供一种基于多尺度对比学习的无监督图像去雨装置，其中，上述装置包括：
[0031]已训练的去雨网络，所述已训练的去雨网络由预训练模块训练去雨网络获得；
[0032]所述预训练模块包括特征提取单元、特征层损失值单元、图像层损失值单元、总损失值单元和迭代单元；
[0033]所述特征提取单元用于在每个分支对输入的有雨图像进行多个尺度的编码和解码，在一个分支获得每个尺度的雨特征，在另一个分支获得每个尺度的背景特征；
[0034]所述特征层损失值单元用于根据每个尺度的所述雨特征和所述背景特征，获得每个尺度的特征层损失值，所述特征层损失值用于对比学习所述雨特征和所述背景特征；
[0035]所述图像层损失值单元用于根据所述雨特征获得雨层图像，根据所述背景特征获得背景层图像，根据所述雨层图像和所述背景层图像，获得图像层损失值；
[0036]所述总损失值单元用于根据所述图像层损失值和所有的所述特征层损失值，获得总损失值；
[0037]所述迭代单元用于根据所述总损失值迭代优化所述去雨网络的参数，直至所述总损失值收敛，获得所述已训练的去雨网络。
[0038]可选的，所述特征层损失值单元包括第一对比损失值单元和第二对比损失值单元，所述第一对比损失值单元用于根据目标尺度的所述雨特征和所述背景特征，获得第一对比损失值，所述第一对比损失值用于约束所述雨特征相互之间为正样本、所述雨特征与所述背景特征之间为负样本；所述第二对比损失值单元用于根据目标尺度的所述雨特征和所述背景特征，获得第二对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多尺度对比学习的无监督图像去雨方法，其特征在于，预先训练去雨网络，获得已训练的去雨网络，将有雨图像输入所述已训练的去雨网络，获得去雨后图像；所述去雨网络设有两个分支，预先训练所述去雨网络，包括：在每个分支分别对输入的有雨图像进行多个尺度的编码和解码，其中一个分支获得每个尺度的雨特征，另一个分支获得每个尺度的背景特征；根据每个尺度的所述雨特征和所述背景特征，获得每个尺度的特征层损失值，所述特征层损失值用于对比学习所述雨特征和所述背景特征；根据所述雨特征获得雨层图像，根据所述背景特征获得背景层图像；根据所述雨层图像和所述背景层图像，获得图像层损失值；根据所述图像层损失值和所有的所述特征层损失值，获得总损失值；根据所述总损失值迭代优化所述去雨网络的参数，直至所述总损失值收敛，获得所述已训练的去雨网络。2.如权利要求1所述的基于多尺度对比学习的无监督图像去雨方法，其特征在于，所述根据所述雨层图像和所述背景层图像，获得图像层损失值，包括：根据所述雨层图像和所述背景层图像，计算重构一致性损失值，所述重构一致性损失值用于约束所述背景层图像和所述雨层图像重构回所述有雨图像；根据所述雨层图像，计算稀疏性损失值，所述稀疏性损失值用于约束所述雨层图像的稀疏性；根据所述背景层图像，计算对抗损失值，所述对抗损失值用于约束所述背景层图像骗过判别器；根据所述重构一致性损失值、所述稀疏性损失值和所述对抗损失值，获得所述图像层损失值。3.如权利要求1所述的基于多尺度对比学习的无监督图像去雨方法，其特征在于，根据目标尺度的所述雨特征和所述背景特征，获得目标尺度的特征层损失值，包括：根据目标尺度的所述雨特征和所述背景特征，获得第一对比损失值，所述第一对比损失值用于约束所述雨特征相互之间为正样本、所述雨特征与所述背景特征之间为负样本；根据目标尺度的所述雨特征和所述背景特征，获得第二对比损失值，所述第二对比损失值用于约束所述背景特征相互之间为正样本、所述雨特征与所述背景特征之间为负样本；根据所述第一对比损失值和所述第二对比损失值，获得目标尺度的所述特征层损失值。4.如权利要求3所述的基于多尺度对比学习的无监督图像去雨方法，其特征在于，所述根据目标尺度的所述雨特征和所述背景特征，获得第一对比损失值，具体表达式为：其中，为以坐标(x
p
，y
p
)为中心的图像块的雨特征；为以坐标(x
k
，y
k
)为中心的图像块的雨特征；为以坐标(x
j
，y
j
)为中心的图像块的背景特征；Sim(
·
,
·
)
为用于度量两个特征之间的相似性的函数；τ为温度系数，用于调节特征之间的距离；N为总像素数。5.如权利要求3所述的基于多尺度对比学习的无监督图像去雨方法，其特征在于，所述根据目标尺度的所述雨特征和所述背景特征，获得第二对比损失值，具体表达式为：其中，为以坐标(x
p
，y
p

【专利技术属性】
技术研发人员：何勰绯，何波，王世安，曾光辉，
申请(专利权)人：广州工程技术职业学院，
类型：发明
国别省市：