【技术实现步骤摘要】
一种图像去雨方法和装置
本专利技术涉及图像处理领域，特别是指一种图像去雨方法和装置。
技术介绍
对图片和视频的去雨研究是计算机视觉和图像处理领域的一个重要课题。恶劣的天气条件会造成一系列可见度下降，改变图像的内容和颜色。这样的信号失真和细节损失导致许多应用于室外的计算机视觉应用失败，这些计算机视觉应用通常以高质量的图像作为输入。而图像中的雨滴会在图像小区域内造成严重的强度波动，从而造成图像的模糊，使得有雨图像无法应用于众多计算机视觉应用。因此，对图像去雨的研究具有重要的现实意义。现有的图像去雨的方法主要有三种：1.基于图像处理知识的去雨方法；2.基于稀疏编码、字典学习的去雨方法；3.基于深度学习的去雨方法。根据有雨图像的物理模型，有雨图像可以看作两层:无雨层和雨水层，将雨水层从原图像中分离出来，留下无雨层就可以得到去雨的图像。大多数现有的方法都是使用低级图像特征将雨水层与原始图像分开，存在无法完全去雨，不能很好地保留原始图像结构内容信息，去雨后图像模糊等问题。
技术实现思路
本专利技术提出了一种图像去雨方法和装置，可以更有效地去除图像中的雨滴，更好地保留图像原始信息，...
【技术保护点】
1.一种图像去雨方法，其特征在于，包括：利用编码器网络输出有雨图像的编码特征图像；根据所述编码特征图像利用注意力模型输出所述有雨图像的指示有雨区域的注意力特征图像；根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述有雨图像的去雨图像。
【技术特征摘要】
1.一种图像去雨方法，其特征在于，包括：利用编码器网络输出有雨图像的编码特征图像；根据所述编码特征图像利用注意力模型输出所述有雨图像的指示有雨区域的注意力特征图像；根据所述编码特征图像以及注意力特征图像利用解码器网络输出所述有雨图像的去雨图像。2.根据权利要求1所述的方法，其特征在于，所述编码器网络、注意力模型和解码器网络组成的图像去雨模型的训练方法如下：获取多对训练样本，其中一对训练样本为同一场景的有雨图像和无雨图像；将同一场景的有雨图像和无雨图像做差后得到指示有雨区域的注意力掩码图像；根据所述训练样本以及得到的指示有雨区域的注意力掩码对所述图像去雨模型进行训练，多次调整所述编码器网络、注意力模型和解码器网络的参数。3.根据权利要求2所述的方法，其特征在于，在一次调整所述编码器网络、注意力模型和解码器网络的参数过程中，具体包括：将一对训练样本中的有雨图像输入到所述图像去雨模型，并根据所述图像去雨模型输出的去雨图像与该对训练样本中的无雨图像的差异，调整所述图像去雨模型中的编码器网络和解码器网络的参数；根据所述图像去雨模型中的注意力模型输出的最后一个注意力特征图像和根据该对训练样本得到的指示有雨区域的注意力掩码的差异，调整所述注意力模型的参数。4.根据权利要求3所述的方法，其特征在于，在一次调整所述编码器网络、注意力模型和解码器网络的参数后，还包括：将所述图像去雨模型输出的去雨图像和对应的无雨图像输入到图像判别模型进行真实性判断；根据所述图像判别模型的判断结果，调整所述图像判别模型的参数，增强所述图像判别模型的判别能力；在所述图像判别模型的判别能力达到要求，并判断所述图像去雨模型输出的去雨图像为真实时，结束所述训练过程。5.根据权利要求1-4任一所述的方法，其特征在于，所述编码器网络包括多层卷积层；以及所述利用编码器网络输出有雨图像的编码特征图像，具体包括：将所述有雨图像输入到所述编码器网络的第一层卷积层进行卷积运算得到该卷积层输出的编码特征图像；当前的卷积层对前一层的卷积层输出的编码特征图像进行卷积运算，得到当前的卷积层输出的编码特征图像；最后一层卷积层的输出为所述有雨图像的编码特征图像。6.根据权利要求5所述的方法，其特征在于，所述注意力模型包括多层转置卷积层；以及所述利用注意力模型输出所述编码特征图像的注意力特征图像，具体包括：将所述有雨图像的编码特征图像输入到所述注意力模型的第一层转置卷积层进行转...
【专利技术属性】
技术研发人员：傅慧源，马华东，谭婧，张宇，曹宁，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。