基于图片块雨滴密集度的单张图片双向去雨方法技术

本发明专利技术公开了一种基于图片块雨滴密集度的单张图片双向去雨方法，可对雨滴分布不均匀的图片去雨；根据分类器预测的单张图片不同区域的雨滴密集程度对图片块进行不同程度的去雨，防止过度去雨以及未能完全去雨。训练多个图片块双向去雨模块对不同尺寸的图片块去雨，通过生成的隐层编码加强编码器和生成器之间的关系，确保生成器能够根据雨滴密集程度进行去雨。修复模块针对拼接成的去雨后的图片不平滑和失真的现象进行修复。考虑到雨天图片中，密集的雨滴会产生雾化现象，在去雨网络中加入去雾模块。本发明专利技术针对分布不均匀的雨天图片进行去雨，并且采用循环结构针对重雨图片进行有效去雨，同时去除雨天产生的雾化现象。

Two-way rain removal method for single image based on image block raindrop density

【技术实现步骤摘要】
基于图片块雨滴密集度的单张图片双向去雨方法
本专利技术涉及计算机视觉技术，尤其涉及深度学习及神经网络去雨技术，具体地说是一种基于图片块雨滴密集度的单张图片双向去雨方法。
技术介绍
在下雨天，由于下落的雨滴比较密集，并且下落的雨滴受到光的反射，降低了背景的可见度，并且严重影响了图片的质量。可以观察到，在雨天拍摄的图像中，雨滴的密集程度，覆盖程度，以及雨滴的方向和形状都是不同的，使得雨天拍摄的图片模糊和变形。密集的雨滴也会产生雾气，造成雨天模糊。在不同的视觉应用中，下落的雨滴会影响到监控或者识别的效果。雨滴去除算法可以分为，视频雨滴去除算法和单张静态图片雨滴去除算法，但是视频雨滴去除算法需要利用连续拍摄的几帧图片之间的关系，视频雨滴去除算法认为视频序列图片中，雨滴的形状，大小和方向是一致的。明显在只提供单张雨滴图片的情况下，视频去雨的方法是不适合的。在单张静态雨滴图片去雨算法中，仅仅依据当前静态雨滴图片信息进行去雨，难度比视频去雨难度大。传统算法进行单帧静态去雨，利用稀疏矩阵或者字典学习等方法。例如，Jinet等人检测到了雨滴信息，并且用非局部中值滤波器只对雨滴像素点进行滤波。但是现有的单张图片去雨算法，并没有有效的考虑雨滴的形状，方向以及密集程度的不同，会导致对图像的过度去雨或者未能完全去雨。相较于之前的去雨算法，HeZhang等人对输入图像估测雨滴密集程度，并且将预测到的雨滴密集程度信息融合到网络中。XueyangFu等人合成了足够大的数据集包含了雨滴图像的各种条件包含形状，大小，方向等，并且针对这个数据集训练了用于去雨的端到端的网络结构。上述两个去雨方法分别通过更改去雨模块以及扩大训练数据集对不同情况的雨天图片进行去雨。但是在现实生活中，由于一些实物的遮挡，对于一整张雨滴图片，雨滴的密集程度也是变化的，对一张雨滴密集程度有变化的图片去雨，会产生图片去雨过度或者密集雨滴区域未能完全去除的情况。邓君坪等人将图片分割成64*64图片块进行去雨，利用深度去噪编码器对分割出的图片块分布别进行去雨，未能考虑不同雨天图片块雨滴密集程度以及去雨后图片块拼接后不光滑和失真的情况，同时未能考虑雨滴产生的雾化现象。
技术实现思路
本专利技术的目的在于提供一种基于图片块雨滴密集度的单张图片双向去雨方法，该方法将图片分割成不同尺度的图片块，对一张图片各个图片块的密集程度进行估计，将相邻的预测为相同雨滴程度的图片块拼接成较大尺寸的图片块，并将一张雨滴图片的不同位置的密集程度融合到图片块双向去雨模块的生成器中。为了减少拼接去雨后图片块产生的不平滑现象，训练针对不同尺寸的图片块进行去雨的图片块双向去雨模块。同时，采用导向滤波器提取雨天图片的高频信息，并且利用残差结构提取的雨滴信息引导图片块双向去雨模块中生成器针对雨滴存在部分进行双向去雨，同时采用了循环单元进行重复多次去雨。现实生活中，密集的雨滴造成雾蒙蒙的天气，用训练好的去雾模块进行去除雾化现象操作。实现本专利技术目的的具体技术方案是：一种基于图片块雨滴密集度的单张图片双向去雨方法，该方法包括以下具体步骤，如图1所示：步骤1：搭建分类器，分类器结构为三层卷积层连接两层全连接层，分类器输出对图片块预测出的雨滴密集程度；其中，所述雨滴密集程度为轻、中和重；步骤2：训练分类器，训练集为有雨滴密集程度标签的图片块；其中，所述雨滴密集程度为轻、中和重，所述图片块尺寸为64*64；步骤3：将整幅雨天图片512*512分割成64个图片块64*64，用训练好的分类器预测出这64个图片块的雨滴密集程度；步骤4：在整幅雨天图片中，将被分类器预测为相同雨滴密集程度的临近的小尺寸的图片块合为大尺寸的图片块；其中，所述小尺寸的图片块为64*64；大尺寸的图片块为128*128、256*256或512*512；步骤5：搭建针对不同尺寸的图片块双向去雨模块，图片块双向去雨模块采用双向去雨的结构，前向传播结构，将雨天图片块输入到生成器，生成器产生去雨后的图片块和雨滴层，编码器对生成器生成的雨滴层编码产生隐层编码，隐层编码表示雨滴层密集程度；反向传播结构，图片块的雨滴层输入到编码器，编码器生成隐层编码，通过生成的隐层编码控制生成器对图片块进行去雨的程度；利用图片块双向去雨模块中的双向连接，通过生成的隐层编码加强编码器和生成器之间的关系，确保图片块双向去雨模块的生成器根据雨滴密集程度控制去雨的程度；步骤6：训练针对不同尺寸的图片块双向去雨模块，循环次数设为2到8之间，训练集为64*64、128*128、256*256和512*512的雨天图片块，并且不同图片块标有雨滴密集程度标签；将图片块雨滴密集程度标签融入图片块双向去雨模块中，用雨滴密集程度标签控制图片块双向去雨模块去雨的程度；步骤7：将由步骤4合并后的图片块，根据图片块的不同的尺寸输入到针对不同尺寸图片块去雨的图片块双向去雨模块中，利用雨滴密集程度标签控制图片块双向去雨模块的去雨程度，防止过度去雨和未能彻底去雨；步骤8：由步骤7得到不同尺寸的去雨后的图片块，将去雨后的图片块拼接成完整的图片；步骤9：搭建修复模块，修复模块为卷积层间有连接的神经网络，用于修复拼接去雨后图片块不平滑和失真现象；步骤10：训练修复模块，训练集为拼接后的不平滑图片以及背景图片；步骤11：用训练好的修复模块修复由步骤8得到的去雨后的图片，修复拼接去雨后图片块造成的拼接处不平滑以及图片失真情况；步骤12：搭建去雾模块，去雾模块为四支路卷积神经网络，每支路采用棋盘格卷积，四支路采用不同的棋盘格卷积构成循环单元，四支路融合不同的特征信息；步骤13：训练去雾模块，训练集为轻度雾天图片和背景图片；步骤14：利用训练好的去雾模块对由步骤11得到的图片进行去除雾化操作；步骤15：最后输出去雨后的图片。步骤5中，所述将雨天图片块输入到生成器，其生成器结构为：四支路卷积神经网络，每支路采用棋盘格卷积组合循环单元，四支路融合不同的特征信息；加入注意力机制，用导向滤波器提取雨天图片高频信息，经过深度残差结构提取雨滴信息，将提取到的雨滴位置信息作为先验信息控制图片块双向去雨模块针对有雨区域进行去雨。步骤5中，所述编码器对生成器生成的雨滴层编码产生隐层编码，其编码器结构为：四层卷积层连接三层全连接层；采用交叉熵损失函数训练编码器，雨滴层输入到编码器后，前向传播中，确保编码器生成表示雨滴密集程度标签的隐层编码，反向传播中，利用编码器生成的隐层编码控制生成器去雨的程度。步骤6中，所述循环次数设为2到8之间，将用于不同尺寸图片块进行去雨的图片块双向去雨模块遍历所有的循环次数，根据训练好的图片块双向去雨模块在测试集测出的结构相似度(SSIM)指标，将图片块双向去雨模块在测试集测得最高结构相似度指标所用的循环次数设为最终图片块双向去雨模块所用的循环次数。本专利技术涉及到一种基于图片块雨滴密集度的单张图片双向去雨方法，能够实现单幅图像去雨操作。由于本专利技术涉及到的去雨方法考虑到雨滴密集程度分布不均匀的情况，整个去雨算法能够感知雨天图片不同区域的雨滴密集程度，不同尺寸的雨天图片块分别采用针对不同尺寸雨天图片块的双向去雨方法，减少拼接去雨后图片块造成的不平滑现象。本专利技术涉及到的一种基于图片块雨滴密集度的单张图片双向去雨方法较好的利用雨滴本文档来自技高网...

【技术保护点】
1.一种基于图片块雨滴密集度的单张图片双向去雨方法，其特征在于，该方法包括以下具体步骤：步骤1：搭建分类器，分类器结构为三层卷积层连接两层全连接层，分类器输出对图片块预测出的雨滴密集程度；其中，所述雨滴密集程度为轻、中和重；步骤2：训练分类器，训练集为有雨滴密集程度标签的图片块；其中，所述雨滴密集程度为轻、中和重，所述图片块尺寸为64*64；步骤3：将整幅雨天图片512*512分割成64个图片块(尺寸64*64)，用训练好的分类器预测出这64个图片块的雨滴密集程度；步骤4：在整幅雨天图片中，将被分类器预测为相同雨滴密集程度的临近的小尺寸的图片块合为大尺寸的图片块；其中，所述小尺寸的图片块为64*64；大尺寸的图片块为128*128、256*256或512*512；步骤5：搭建针对不同尺寸图片块去雨的图片块双向去雨模块，图片块双向去雨模块采用双向去雨的结构，前向传播结构，将雨天图片块输入到生成器，生成器产生去雨后的图片块和雨滴层，编码器对生成器生成的雨滴层编码生成隐层编码，隐层编码表示雨滴层密集程度；反向传播结构，图片块的雨滴层输入到编码器，编码器生成隐层编码，通过生成的隐层编码控制生成器对图片块进行去雨的程度；利用图片块双向去雨模块中的双向连接，通过生成的隐层编码加强编码器和生成器之间的关系，确保图片块双向去雨模块的生成器根据雨滴密集程度控制去雨的程度；步骤6：训练针对不同尺寸图片块去雨的图片块双向去雨模块，循环次数设为2到8之间，训练集为64*64、128*128、256*256和512*512的雨天图片块，并且不同图片块标有雨滴密集程度标签；将图片块雨滴密集程度标签融入图片块双向去雨模块中，用雨滴密集程度标签控制图片块双向去雨模块去雨的程度；步骤7：将由步骤4合并后的图片块，根据图片块的不同尺寸输入到针对不同尺寸图片块的图片块双向去雨模块中，利用雨滴密集程度标签控制图片块双向去雨模块的去雨程度，防止过度去雨和未能彻底去雨；步骤8：由步骤7得到不同尺寸的去雨后的图片块，将去雨后的图片块拼接成完整的图片；步骤9：搭建修复模块，修复模块为卷积层间有连接的神经网络，用于修复拼接去雨后图片块不平滑和失真现象；步骤10：训练修复模块，训练集为拼接后的不平滑图片以及背景图片；步骤11：用训练好的修复模块修复由步骤8得到的去雨后的图片，修复拼接去雨后图片块造成的拼接处不平滑以及图片失真情况；步骤12：搭建去雾模块，去雾模块为四支路卷积神经网络，每支路采用棋盘格卷积，四支路采用不同的棋盘格卷积构成循环单元，每支路融合不同的特征信息；步骤13：训练去雾模块，训练集为轻度雾天图片和背景图片；步骤14：利用训练好的去雾模块对由步骤11得到的图片进行去除雾化操作；步骤15：最后输出去雨后的图片。...

【技术特征摘要】
1.一种基于图片块雨滴密集度的单张图片双向去雨方法，其特征在于，该方法包括以下具体步骤：步骤1：搭建分类器，分类器结构为三层卷积层连接两层全连接层，分类器输出对图片块预测出的雨滴密集程度；其中，所述雨滴密集程度为轻、中和重；步骤2：训练分类器，训练集为有雨滴密集程度标签的图片块；其中，所述雨滴密集程度为轻、中和重，所述图片块尺寸为64*64；步骤3：将整幅雨天图片512*512分割成64个图片块(尺寸64*64)，用训练好的分类器预测出这64个图片块的雨滴密集程度；步骤4：在整幅雨天图片中，将被分类器预测为相同雨滴密集程度的临近的小尺寸的图片块合为大尺寸的图片块；其中，所述小尺寸的图片块为64*64；大尺寸的图片块为128*128、256*256或512*512；步骤5：搭建针对不同尺寸图片块去雨的图片块双向去雨模块，图片块双向去雨模块采用双向去雨的结构，前向传播结构，将雨天图片块输入到生成器，生成器产生去雨后的图片块和雨滴层，编码器对生成器生成的雨滴层编码生成隐层编码，隐层编码表示雨滴层密集程度；反向传播结构，图片块的雨滴层输入到编码器，编码器生成隐层编码，通过生成的隐层编码控制生成器对图片块进行去雨的程度；利用图片块双向去雨模块中的双向连接，通过生成的隐层编码加强编码器和生成器之间的关系，确保图片块双向去雨模块的生成器根据雨滴密集程度控制去雨的程度；步骤6：训练针对不同尺寸图片块去雨的图片块双向去雨模块，循环次数设为2到8之间，训练集为64*64、128*128、256*256和512*512的雨天图片块，并且不同图片块标有雨滴密集程度标签；将图片块雨滴密集程度标签融入图片块双向去雨模块中，用雨滴密集程度标签控制图片块双向去雨模块去雨的程度；步骤7：将由步骤4合并后的图片块，根据图片块的不同尺寸输入到针对不同尺寸图片块的图片块双向去雨模块中，利用雨滴密集程度标签控制图片块双向去雨模块的去雨程度，防止过度去雨和未能彻底去雨；步骤8：由...

【专利技术属性】
技术研发人员：邱崧，翟高杰，孙力，徐伟，周梅，刘洪英，金豫，李庆利，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：上海,31