基于多阶段特征互补网络的单幅图像去雨方法技术

本发明专利技术公开了基于多阶段特征互补网络的单幅图像去雨方法，基于深度学习和渐进式复原的思想，构建了一种多阶段的框架，将复原任务分解为更小的子任务，在不同阶段针对性的应用不同的设计，使用编码器

【技术实现步骤摘要】
基于多阶段特征互补网络的单幅图像去雨方法


[0001]本专利技术属于图像处理领域，具体涉及一种单幅图像去雨的方法。

技术介绍

[0002]计算机视觉系统在户外工作时经常遭受雨水等恶劣天气的影响，往往会造成采集图像的严重质量退化以及重要信息受损。这样会使计算机视觉系统性能下降甚至出现故障，导致在目标跟踪和目标识别等任务中难以发挥其应有的价值。因此，对雨图进行去雨和恢复干净背景是一项非常重要的任务。
[0003]单幅图像去雨方法主要有基于模型的方法和基于数据驱动的方法。近年来，得益于计算机硬件的计算能力不断提升，深度学习技术逐渐受到计算机视觉研究者的青睐，在如今的单幅图像去雨研究中，深度学习相关算法已占据主导地位。虽然基于深度学习的去雨算法取得了一定程度上的成功，但是在仍然存在较大的提升空间。
[0004]当前存在的大多数去雨方法是基于单阶段设计的，它们的网络组成往往源于高级视觉任务开发成果，比如利用残差网络和密集连接网络进行去雨，主要存在背景纹理模糊以及去雨不充分导致雨线残留等问题。在现有的多阶段技术中，通常的处理方式是将整个去雨过程分解为多阶段，以此来渐进式的完成去雨，因为这些不同阶段之间协同完成去雨，前阶段的去雨信息对于后阶段的去雨是有指导作用的，但现有多阶段去雨方法并没有考虑各阶段之间的联系。
[0005]此外，许多去雨算法中都假定了雨线的稀疏性以及雨线性形状和方向的相似性。但是真实雨图中的雨况往通常是很复杂的，即使是在合成雨图中的雨水区域也包含多种雨线，这些雨线可能具有不同的方向和尺寸且相互叠加，因此很难一次性去除所有雨线。如果不能针对上诉问题做出处理，往往只能去除距离较近和尺寸较大的雨线，而忽略了远处的那些细小的雨线。其次，真实世界的雨水模型难以预料，这种影响会给单阶段去雨网络带来困难，即便其具有并行子网络也很难处理。

技术实现思路

[0006]本专利技术的目的在于针对现有技术的不足，提供一种多阶段特征互补网络的单幅图像去雨方法，从而更彻底地去除雨线并且保留更多的背景细节，提高单幅图像去雨后视觉效果，更好地解决图像中雨线造成背景和目标物体的遮挡和模糊等问题。
[0007]
技术实现思路

[0008]本专利技术的目的在于针对现有技术的不足，提供一种基于多阶段特征互补网络的单幅图像去雨方法，从而更彻底地去除雨线并且保留更多的背景细节，提高单幅图像去雨后视觉效果，更好地解决图像中雨线造成背景和目标物体的遮挡和模糊等问题。
[0009]本专利技术基于深度学习和渐进式复原的思想，构建了一种多阶段的框架，将复原任务分解为更小的子任务，在不同阶段针对性的应用不同的设计，使用编码器
‑
解码器网络来学习不同尺寸、方向的雨线特征，并且利用循环卷积网络(RNN)跨阶段进行互补的特征处
理，最后与原始分辨率的雨图相结合来完成去雨，保留了更丰富的局部细节。
[0010]本专利技术提供的基于多阶段特征互补网络的单幅图像去雨方法，包括以下内容：
[0011](1)去雨模型的确定
[0012]将有雨图像O分解为无雨背景层B和雨线层R的线性组合，同时将雨线的预测过程分为多个阶段，雨图模型表示如下：
[0013][0014]R
s
表示第s阶段提取的雨线特征，S表示最大阶段数。
[0015](2)多尺度特征提取
[0016]在网络的前期阶段(最后一步骤前的所有阶段)通过基于U
‑
NET改进的编码器
‑
解码器子网络对雨线特征进行提取；在编码器(Encoder)部分通过下采样提取不同尺度的雨线特征得到特征图，通过步长(stride)为2的最大池化(Max Pooling)来降低维度，共池化两次(即进行两次下采样)得到大小变为之前的1/2和1/4的两个特征图；然后采用上采样(Upsample)操作逐步恢复维度，最后在解码器(Decoder)中通过一个1
×
1大小的卷积核来恢复彩色图像的RGB通道或者灰度图像的灰度通道。
[0017](3)多阶段特征互补
[0018]在完成了前期第一个阶段的去雨后，将第一阶段的去雨输出图作为下一阶段的输入，即在第s(s＞1)阶段的输入图O
s
为第s
‑
1阶段的输出B
s
‑1；在第S阶段中，将O
s
输入到编码器
‑
解码器子网络进行进一步雨线特征提取；第s阶段编码器
‑
解码器子网络中，编码器和解码器的各层卷积运算将利用RNN在前一阶段编码器
‑
解码器子网络保留的雨线特征来进行协同，以捕获图像的全局雨线特征。也即是通过引入RNN中的门控循环单元(卷积版本的ConvGRU)来捕获空间维度上的雨线特征信息流，使得这些相关的上下文纹理特性具有循环的依赖关系，具有依赖关系的特征便能协同作用，更好的提取出全局纹理特征。
[0019]则，第s阶段雨线特征的提取表述为：
[0020]R
s
＝U
Encoder
‑
Decoder+RNN
(O
s
,x
s
‑1),1＜s≤S
[0021]其中，S表示特征提取的最大阶段数，O
s
表示第s阶段输入的雨图，x
s
‑1表示第s
‑
1阶段的编码器
‑
解码器子网络在同一层中预测到的雨线特征信息。
[0022]在第s阶段中，表示编码器
‑
解码器子网络在某一层的卷积层提取到的雨线特征，计算方式如下：
[0023][0024][0025][0026][0027]其中，σ是sigmoid函数σ(x)＝1/(1+exp(
‑
x))，
⊙
表示逐元素相乘；表示为第s阶段第j层的特征图，表示上一阶段同层特征图，和表示同阶段上一层特征图，z表示更新的门控(updata gate)，r表示控制重置的门控(reset gate)。
[0028](4)引入原始分辨率子网络
[0029]在S个阶段内已经完成了对于雨线特征的提取，由于是将上一个阶段的输出作为下一个阶段的输入，采用的是加性预测(Additice Prediction)的方式来预测雨线，因此最终雨线特征提取的结果R为各阶段提取到的雨线相加，表示为
[0030][0031]在S个阶段内通过结合编码器
‑
解码器网络和RNN已经充分提取了雨线特征，但是由于在编码器
‑
解码器子网络中重复采用了下采样操作，容易造成失去空间细节，因此为了保留从输入图像到输出图像的精细细节，在最后阶段引入原始分辨率子网络，通过将最终提取的雨线特征图R输入到原始分辨率子网络中生成空间上丰富的高分辨率特征，从而弥补损失的空间信息。然后将原始分辨率子网获得的高分辨率的雨线特征图与原始雨图相结合，通过式获得最终的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多阶段特征互补网络的单幅图像去雨方法，其特征在于，包括以下内容：(1)去雨模型的确定将有雨图像O分解为无雨背景层B和雨线层R的线性组合，同时将雨线的预测过程分为多个阶段，雨图模型表示如下：R
s
表示第s阶段提取的雨线特征，S表示最大阶段数；(2)多尺度特征提取在网络的前期阶段通过基于U
‑
NET改进的编码器
‑
解码器子网络对雨线特征进行提取；在编码器部分通过下采样提取不同尺度的雨线特征得到特征图，通过步长为2的最大池化来降低维度，共池化两次，得到大小变为之前的1/2和1/4的两个特征图；然后采用上采样操作逐步恢复维度，最后在解码器中通过一个1
×
1大小的卷积核来恢复彩色图像的RGB通道或者灰度图像的灰度通道；(3)多阶段特征互补在完成了前期第一个阶段的去雨后，将第一阶段的去雨输出图作为下一阶段的输入，即在第S(S＞1)阶段的输入图O
s
为第S
‑
1阶段的输出B
s
‑1；在第S阶段中，将O
s
输入到编码器
‑
解码器子网络进行进一步的雨线特征提取；第S阶段编码器
‑
解码器子网络中，编码器和解码器的各层卷积运算将利用RNN在前一阶段编码器
‑
解码器子网络保留的雨线特征来进行协同，即引入RNN中的门控循环单元来捕获空间维度上的雨线特征信息流，使相关的上下文纹理特性具有循环的依赖关系，以捕获图像的全局雨线特征；第s阶段雨线特征的提取过程表述为R
s
＝U
Encoder
‑
Decoder+RNN
(O
s
,x
s
‑1),1＜s≤S，其中，S表示特征提取的最大阶段数，O
s
表示第s阶段输入的雨图，x
s
‑1表示第s
‑
1阶段的编码器
‑
解码器子网络在同一层中预测到的雨线特征信息；在第s阶段中，表示编码器
‑
解码器子网络在某一层的卷积层提取到的雨线特征，计算方式如下：算方式如下：算方式如下：算方式如下：其中，σ是sigmoid函数σ(x)＝1/(1+exp(
‑
x))，
⊙
表示逐元素相乘；表...

【专利技术属性】
技术研发人员：王明辉，王康荥，李文，青小昀，娄元甲，
申请(专利权)人：四川大学，
类型：发明
国别省市：