【技术实现步骤摘要】
基于多尺度对比学习的无监督图像去雨方法、装置及终端
[0001]本专利技术涉及图像处理
,尤其涉及的是一种基于多尺度对比学习的无监督图像去雨方法、装置及终端。
技术介绍
[0002]无人车自动驾驶过程中,摄像头在雨天捕获的图像或视频中通常含有雨纹,导致图像的可视化质量下降,影响提取特征的精确度,进而影响图像分割、检测及识别等高级视觉任务。因此,如何有效地去除有雨图像的雨纹,同时在去除雨纹时还能保留原有的背景信息不受到损害,具有重要的研究意义和实用价值。
[0003]通过有监督地训练去雨网络来去除雨纹,需要通过大量的有雨图
‑
无雨图样本对去雨网络进行训练,学习到有雨图到无雨图的映射,从而去除未知有雨图像的雨纹。然而这种方法很大程度依赖训练数据的分布特性,当训练集中的雨纹与真实雨纹差距较大时,训练后的去雨网络并不能很好地去除真实雨图的雨纹。
[0004]虽然也有少量方法通过无监督地训练去雨网络,但是主要通过改变去雨网络的架构来提高去雨网络的鲁棒性和泛化性能,而没有从有雨图像的雨层和背景本身的特性出发,训练后的去雨网络仍然泛化性能不高,图像去雨效果不好。
[0005]因此,目前训练去雨网络不能获得较好的泛化性能,训练后的去雨网络并不能很好地去除雨纹。
技术实现思路
[0006]本专利技术的主要目的在于提供一种基于多尺度对比学习的无监督图像去雨方法及装置,解决训练去雨网络不能获得较好的泛化性能,训练后的去雨网络并不能很好地去除雨纹的问题。
[0007]为 ...
【技术保护点】
【技术特征摘要】
1.基于多尺度对比学习的无监督图像去雨方法,其特征在于,预先训练去雨网络,获得已训练的去雨网络,将有雨图像输入所述已训练的去雨网络,获得去雨后图像;所述去雨网络设有两个分支,预先训练所述去雨网络,包括:在每个分支分别对输入的有雨图像进行多个尺度的编码和解码,其中一个分支获得每个尺度的雨特征,另一个分支获得每个尺度的背景特征;根据每个尺度的所述雨特征和所述背景特征,获得每个尺度的特征层损失值,所述特征层损失值用于对比学习所述雨特征和所述背景特征;根据所述雨特征获得雨层图像,根据所述背景特征获得背景层图像;根据所述雨层图像和所述背景层图像,获得图像层损失值;根据所述图像层损失值和所有的所述特征层损失值,获得总损失值;根据所述总损失值迭代优化所述去雨网络的参数,直至所述总损失值收敛,获得所述已训练的去雨网络。2.如权利要求1所述的基于多尺度对比学习的无监督图像去雨方法,其特征在于,所述根据所述雨层图像和所述背景层图像,获得图像层损失值,包括:根据所述雨层图像和所述背景层图像,计算重构一致性损失值,所述重构一致性损失值用于约束所述背景层图像和所述雨层图像重构回所述有雨图像;根据所述雨层图像,计算稀疏性损失值,所述稀疏性损失值用于约束所述雨层图像的稀疏性;根据所述背景层图像,计算对抗损失值,所述对抗损失值用于约束所述背景层图像骗过判别器;根据所述重构一致性损失值、所述稀疏性损失值和所述对抗损失值,获得所述图像层损失值。3.如权利要求1所述的基于多尺度对比学习的无监督图像去雨方法,其特征在于,根据目标尺度的所述雨特征和所述背景特征,获得目标尺度的特征层损失值,包括:根据目标尺度的所述雨特征和所述背景特征,获得第一对比损失值,所述第一对比损失值用于约束所述雨特征相互之间为正样本、所述雨特征与所述背景特征之间为负样本;根据目标尺度的所述雨特征和所述背景特征,获得第二对比损失值,所述第二对比损失值用于约束所述背景特征相互之间为正样本、所述雨特征与所述背景特征之间为负样本;根据所述第一对比损失值和所述第二对比损失值,获得目标尺度的所述特征层损失值。4.如权利要求3所述的基于多尺度对比学习的无监督图像去雨方法,其特征在于,所述根据目标尺度的所述雨特征和所述背景特征,获得第一对比损失值,具体表达式为:其中,为以坐标(x
p
,y
p
)为中心的图像块的雨特征;为以坐标(x
k
,y
k
)为中心的图像块的雨特征;为以坐标(x
j
,y
j
)为中心的图像块的背景特征;Sim(
·
,
·
)
为用于度量两个特征之间的相似性的函数;τ为温度系数,用于调节特征之间的距离;N为总像素数。5.如权利要求3所述的基于多尺度对比学习的无监督图像去雨方法,其特征在于,所述根据目标尺度的所述雨特征和所述背景特征,获得第二对比损失值,具体表达式为:其中,为以坐标(x
p
,y
p
【专利技术属性】
技术研发人员:何勰绯,何波,王世安,曾光辉,
申请(专利权)人:广州工程技术职业学院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。