【技术实现步骤摘要】
本专利技术涉及图像处理领域，具体涉及一种基于方向感知频域滤波的图像去雨方法与系统。
技术介绍
1、在计算机视觉领域，图像去雨是指基于已有的硬件设备，设计各种可行的算法实现将雨水以及雨水带来的各种影响比如模糊、遮挡等从图像中去除，从而恢复出干净无雨的清晰图像。图像去雨作为一种底层的视觉任务，通常以预处理的方式为其他高层视觉任务比如图像分割、目标检测等提供一定的性能支撑。
2、图像去雨的难点在于雨水天气的复杂多样以及高质量雨水数据集的稀缺。复杂多样的雨水天气给图像去雨工作带来了两大挑战，一是现有的去雨方法大部分仅针对单一的雨水类型比如雨线、雨滴或雨雾等进行处理，这些方法在面对未处理过的雨水类型时性能急剧下降。此外在现实的雨水天气中还往往会出现多种雨水类型叠加出现的情况。第二个挑战是由于降雨天气的不可控性和大范围性，这使得收集带有干净无雨标签的真实有雨数据集几无可能。这造成了现有的方法通常是基于人工合成的雨水数据集开展研究工作。
3、现有的图像去雨方法大致可以分为两类，一类是基于模型的方法，一类是基于数据的方法。基于模型的方法通常首先利用各种先验知识来补全完善雨图的构成模型，然后再设计有效的优化算法来使得提出的模型不断地逼近真实雨图的构成。基于数据的方法通过对大量有雨数据的学习来提取图像中的深层特征，接着通过剔除图像中的雨水特征、保留干净的背景特征实现图像去雨。
4、目前的现有技术之一为论文“direction-aware feature-level frequencydecomposition f
5、目前的现有技术之二为论文“neural compression-based feature learningfor video restoration”的一种基于神经压缩进行特征学习的视频复原方法。该方法首先使用经过预训练的光流估计网络进行运动向量的估计，接着使用一个轻量化的编解码网络对得到的运动向量进行优化，利用优化后的运动向量生成对齐后的时序特征；然后使用注意力模块和神经压缩模块对时序特征进行增强和去噪；最后通过复原模块生成最终的清晰视频。该方法的缺点是，专注于视频中时序特征的处理，而忽略了噪声在单个视频帧上的分布特征，缺乏对单帧在空间域和频域上的处理，造成最终视频复原结果在单帧上效果一般。
6、目前的现有技术之三为专利“基于图像滤波和cnn的有雨图像雨条纹去除方法及系统(cn111815526a)”。该专利技术首先使用与图像数据集增强方法扩充训练雨图像数据集，接着通过图像滤波得到有雨图像高频部分，然后将图像的高频部分作为去雨网络输入，并使用ssim损失函数优化网络，最后将去雨图像输入h-g判别网络，使用判别结果进一步优化去雨网络。该技术的缺点是，舍弃了图像中的低频部分，造成图像结构信息的丢失、去雨性能的下降，并且专利技术中仅使用ssim作为网络的损失函数，造成无法保证图像的光滑性、连续性等性质。
技术实现思路
1、本专利技术的目的是克服现有方法的不足，提出了一种基于方向感知频域滤波的图像去雨方法与系统。本专利技术解决的主要问题，是如何通过对图像高频特征和低频特征的双分支交互并行处理，进而对高低频融合特征的降噪优化以及对优化特征的图像复原，从而实现高质量去雨图像的复原。
2、为了解决上述问题，本专利技术提出了一种基于方向感知频域滤波的图像去雨方法，所述方法包括：
3、对合成雨水数据集中的每对雨图和对应无雨图进行数据增广预处理，得到增广数据集；
4、利用方向感知的频域滤波器结合resnet50网络共同对所述增广数据集里面的雨图进行频域融合特征图的提取；
5、把所述频域融合特征图输入到基于神经压缩的特征优化器中，得到噪声鲁棒的融合特征图；
6、对所述噪声鲁棒的融合特征图进行上采样，直至该噪声鲁棒的融合特征图逐步还原到原始图像大小，所得到的最终特征图作为生成的去雨图像；
7、构建损失函数计算所述生成的去雨图像与所述增广数据集里面对应的无雨图之间的差异，将差异作为全局损失训练并形成去雨模型；
8、用户输入待处理的有雨图到所述去雨模型中，得到生成的去雨图。
9、优选地，所述对合成雨水数据集中的每对雨图和对应无雨图进行数据增广预处理，得到增广数据集，具体为：
10、对合成雨水数据集中的每对配对的雨图-无雨图分别依次进行相同的随机翻转、随机旋转和固定大小裁剪的预处理操作，得到的单张图像大小为512×512，输出增广数据集。
11、优选地，所述利用方向感知的频域滤波器结合resnet50网络共同对所述增广数据集里面的雨图进行频域融合特征图的提取，具体为：
12、利用方向感知的频域滤波器把所述增广数据集里面的雨图分解为高频部分和低频部分；
13、高频部分输入高频特征处理分支，低频部分输入低频特征处理分支，两个分支分别使用resnet50网络中的模块block1提取并输出初始高频特征和初始低频特征；
14、所述低频特征处理分支首先使用方向感知的频域滤波器将所述初始低频特征分解为高频部分lh1和低频部分ll1，然后将ll1组成低频分支下一阶段的输入，lh1传递到高频特征处理分支中；所述高频特征处理分支的操作与所述低频特征处理分支相对应，首先使用方向感知的频域滤波器将所述初始高频特征分解为高频部分hh1和低频部分hl1，然后将hh1组成高频分支下一阶段的输入，hl1传递到低频特征处理分支，输出ll1、lh1、hl1、hh1；
15、将ll1与hl1、lh1与hh1分别进行拼接，得到低频处理分支和高频处理分支的下一阶段输入，重复以上操作3次，得到第三阶段的输出分别为ll3、lh3、hl3、hh3，将ll3与hl3、lh3与hh3分别进行拼接得到所述低频特征处理分支和所述高频处理分支的最终提取到的低频特征和高频特征，将低频特征与高频特征之和得到的频域融合特征图，作为结果输出。
16、优选地，所述把所述频域融合特征图输入到基于神经压缩的特征优化器中，得到噪声鲁棒的融合特征图，具体为：
17、把所述频域融合特征图输入到特征编码器中，该特征编码器交替使用两个卷积核大小为3×3，stride为2的卷积层，以及一个可减少特征本文档来自技高网...
【技术保护点】
1.一种基于方向感知频域滤波的图像去雨方法，其特征在于，所述方法包括：
2.如权利要求1所述的一种基于方向感知频域滤波的图像去雨方法，其特征在于，所述对合成雨水数据集中的每对雨图和对应无雨图进行数据增广预处理，得到增广数据集，具体为：
3.如权利要求1所述的一种基于方向感知频域滤波的图像去雨方法，其特征在于，所述利用方向感知的频域滤波器结合Resnet50网络共同对所述增广数据集里面的雨图进行频域融合特征图的提取，具体为：
4.如权利要求1所述的一种基于方向感知频域滤波的图像去雨方法，其特征在于，所述把所述频域融合特征图输入到基于神经压缩的特征优化器中，得到噪声鲁棒的融合特征图，具体为：
5.如权利要求1所述的一种基于方向感知频域滤波的图像去雨方法，其特征在于，所述对所述噪声鲁棒的融合特征图进行上采样，直至该噪声鲁棒的融合特征图逐步还原到原始图像大小，所得到的最终特征图作为生成的去雨图像，具体为：
6.如权利要求1所述的一种基于方向感知频域滤波的图像去雨方法，其特征在于，所述构建损失函数计算所述生成的去雨图像与所述增广数
7.一种基于方向感知频域滤波的图像去雨系统，其特征在于，所述系统包括：
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种基于方向感知频域滤波的图像去雨方法，其特征在于，所述方法包括：
2.如权利要求1所述的一种基于方向感知频域滤波的图像去雨方法，其特征在于，所述对合成雨水数据集中的每对雨图和对应无雨图进行数据增广预处理，得到增广数据集，具体为：
3.如权利要求1所述的一种基于方向感知频域滤波的图像去雨方法，其特征在于，所述利用方向感知的频域滤波器结合resnet50网络共同对所述增广数据集里面的雨图进行频域融合特征图的提取，具体为：
4.如权利要求1所述的一种基于方向感知频域滤波的图像去雨方法，其特征在于，所述把所述频域融合特征图输入到基于神经压缩的特征优化器中，得到噪声鲁棒的融合特征图，具体为：
5.如权利要求1所述的一种基于方向感知频域滤波的图像去雨方法，其特征在于，所述对所述噪声鲁棒...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。