一种基于深度学习的图像去雨方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的图像去雨方法及装置，所述方法包括：步骤S1，利用浅层卷积神经网络产生所有有雨图像的浅层特征图；步骤S2，将获得的浅层特征图输入至一个逐级下采样的多层编码器以进行编码；步骤S3，通过一个与上游的编码器结构对称、逐级上采样的多层解码器对编码后的特征图进行解码操作；步骤S4，对解码后的特征图进行细化处理，并预测有雨图像的雨条负残差信息；步骤S5，对所述有雨图像与雨条负残差信息求和，最终获得高质量无雨图像，本发明专利技术在有效地去除雨条信息的同时，能良好地保留场景细节信息。

【技术实现步骤摘要】
一种基于深度学习的图像去雨方法及装置
本专利技术涉及基于深度学习的计算机视觉
，特别是涉及一种基于非局部特征增强编码器-解码器框架的图像去雨方法。
技术介绍
图像去雨问题旨在去除图像场景中的雨条信息。近年来，由于深度学习方法在计算机视觉领域大放异彩，在数据和算法的共同推动下，图像去雨问题凭借其广泛的应用前景及学科探索性，吸引了越来越多研究者的关注。早年的许多方法大多是基于先验信息的传统图像处理方法。如Huang等人在2012年的研究工作“Automaticsingle-image-basedrainstreaksremovalviaimagedecomposition”首次使用稀疏编码方法从有雨图像的高频信息中分解出雨条信息，随后一些基于稀疏编码的图像去雨方法相继提出；Chen等人在2014年的研究工作“AGeneralizedLow-RankAppearanceModelforSpatio-temporallyCorrelatedRainStreaks(ICCV)”假设雨条信息是低秩的；然而，该类方法基于较强的假设前提与低级别的手工特征表达，通常会造成图像过度平滑，无法保留场本文档来自技高网...

【技术保护点】
1.一种基于深度学习的图像去雨方法，包括如下步骤：步骤S1，利用浅层卷积神经网络产生所有有雨图像的浅层特征图；步骤S2，将获得的浅层特征图输入至一个逐级下采样的多层编码器以进行编码；步骤S3，通过一个与上游的编码器结构对称、逐级上采样的多层解码器对编码后的特征图进行解码操作；步骤S4，对解码后的特征图进行细化处理，并预测有雨图像的雨条负残差信息；步骤S5，对所述有雨图像与雨条负残差信息求和，最终获得高质量无雨图像。

【技术特征摘要】
1.一种基于深度学习的图像去雨方法，包括如下步骤：步骤S1，利用浅层卷积神经网络产生所有有雨图像的浅层特征图；步骤S2，将获得的浅层特征图输入至一个逐级下采样的多层编码器以进行编码；步骤S3，通过一个与上游的编码器结构对称、逐级上采样的多层解码器对编码后的特征图进行解码操作；步骤S4，对解码后的特征图进行细化处理，并预测有雨图像的雨条负残差信息；步骤S5，对所述有雨图像与雨条负残差信息求和，最终获得高质量无雨图像。2.如权利要求1所述的一种基于深度学习的图像去雨方法，其特征在于，于步骤S5后，还包括如下步骤：根据生成的无雨图像与真实无雨图像的差值，进行梯度回传操作更新所述卷积神经网络参数。3.如权利要求1所述的一种基于深度学习的图像去雨方法，其特征在于：于步骤S2中，所述多层编码器的每层包含一非局部特征增强模块与一最大池化模块，所述非局部特征增强模块首先根据特征图空间大小将获得的浅层特征图划分为多个子特征图，然后对每个子特征图进行特征增强操作，最后对整个特征图进行特征提取、残差学习操作；所述最大池化模块则对特征图进行下采样操作，并记录原始特征图采样点索引。4.如权利要求3所述的一种基于深度学习的图像去雨方法，其特征在于，于步骤S2中，所述特征增强操作计算特征图中某一空间点与所有空间点的相关性，以所有空间点特征值的加权和作为该空间点的特征值。5.如权利要求3所述的一种基于深度学习的图像去雨方法，其特征在于：于步骤S3中，所述多层解码器的每层包含一个非局部增强模块与一个最大反池化模块，每一层结合编码器对应层所产生的特征图与上一层级所产生的特征图，通过非局部特征增强模块进行特征增强，再以编码器对应层所记录的采样点索引进行上采样操作...

【专利技术属性】
技术研发人员：林倞，李冠彬，张雨浓，何翔，王青，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44