一种基于端到端神经网络的单幅图像去雨方法技术

本发明专利技术提供了一种基于端到端神经网络的单幅图像去雨方法，包括如下步骤：S1、构建神经网络模型；S2、设计损失函数；S3、利用有雨图像和无雨图像对进行神经网络模型的训练，得到神经网络模型的模型参数；S4、在神经网络模型中导入步骤S3训练好的模型参数，输入有雨图像，在损失函数中加入基于对比感知的正则化约束项，输出无雨图像。本发明专利技术提出了一种基于端到端神经网络的单幅图像去雨方法，设计了一种融合图卷积网络和注意力卷积网络的基本模块，用于提取图像的全局和局部特征，并在损失函数中加入了基于对比感知的正则化约束项，取得了较好的去雨效果。好的去雨效果。好的去雨效果。

【技术实现步骤摘要】
一种基于端到端神经网络的单幅图像去雨方法


[0001]本专利技术属于图像处理
，具体涉及一种基于端到端神经网络的单幅图像去雨方法。

技术介绍

[0002]降雨是一种常见的自然现象，基于视觉的目标检测、目标分割等应用通常假设环境良好，图像中的雨点极易对这些应用产生干扰，因此，图像去雨具备较高的应用价值。

技术实现思路

[0003]本专利技术要解决的技术问题是提供一种基于端到端神经网络的单幅图像去雨方法，设计了一种融合图卷积网络和注意力卷积网络的基本模块，用于提取图像的全局和局部特征，并在损失函数中加入了基于对比感知的正则化约束项，取得了较好的去雨效果。
[0004]为解决上述技术问题，本专利技术的实施例提供一种基于端到端神经网络的单幅图像去雨方法，包括如下步骤：
[0005]S1、构建基于端到端的图像去雨网络模型：由一个3
×
3卷积层、两个下采样层、若干个基本模块、两个可变卷积层、两个上采样层和一个3
×
3卷积层构成；
[0006]S2、设计损失函数：由L1距离函数和对比感知的正则化约束项构成；
[0007]S3、利用有雨图像和无雨图像对进行神经网络模型的训练，得到神经网络模型的模型参数；
[0008]S4、在神经网络模型中导入步骤S3训练好的模型参数，输入有雨图像，输出得到无雨图像。
[0009]其中，步骤S1中下采样层和上采样层之间进行短连接，基础模块的头尾之间进行短连接。
[0010]其中，所述短连接的方法为：低层输出F
l
和高层输出F
h
进行级联F＝[F
l
,F
h
]，然后再经过一个1
×
1卷积层处理。
[0011]其中，所述基本模块由图卷积网络和注意力卷积网络组成，其输入特征F
in
经过空间图卷积网络(sGCN)、若干个注意力卷积网络(CAM)和一个通道图卷积网络(cGCN)提取全局特征和局部特征后，通过短连接将特征从低层网络引入高层网络，得到输出特征F
out
。
[0012]其中，所述注意力卷积网络(CAM)由两个空洞卷积层和一个注意力单元(Attention Module,AM)构成，其中，第一层空洞卷积层的空洞卷积参数DF＝1，第二层空洞卷积层的空洞卷积参数DF＝3；
[0013]所述注意力卷积网络中加入两个短连接将全局特征和局部特征从低层网络引入高层网络。
[0014]进一步，所述注意力单元由空间注意力和像素注意力融合构成，融合步骤如下：
[0015](1)采用全局平均池化处理输入特征：
[0016][0017]其中，H
p
表示全局平均池化函数，X
c
(i,j)表示输入值的c通道位于(i,j)处的值；
[0018](2)池化后的特征通过两个空洞卷积层提取特征，其中，第一个空洞卷积层的空洞卷积参数设置为DF＝1，并采用ReLU激活函数，第二个空洞卷积层的空洞卷积参数设置为DF＝3，并采用sigmoid激活函数，得到CA：
[0019]CA＝σ(DConv(δ(DConv(g
c
))))；
[0020]其中，σ表示sigmoid函数，δ表示ReLU函数；
[0021](3)将输入特征与CA相乘得到通道注意力特征CA
*
：
[0022][0023]然后CA
*
通过两层空洞卷积层，空洞参数分别设置为DF＝1和DF＝3：
[0024]PA＝σ(Conv(δ(Conv(CA
*
))))；
[0025]最终融合通道注意力和像素注意力输出：
[0026][0027]其中，所述空间图卷积网络(sGCN)用于学习特征空间中像素间的关联关系，学习过程如下：
[0028](1)令输入特征为F∈R
HW
×
C
；
[0029]其中，H和W分别表示特征高度和宽度，C表示通道数；
[0030](2)输入特征经过三个1
×
1的卷积层处理，其中后两个卷积层加入softmax激活函数防止数值不稳定，得到输出特征为：
[0031]F
sGCN
＝F
in
+A
sGCN
F
s
W
sGCN
；
[0032]其中，F
s
＝conv(F
in
),A
sGCN
为邻接矩阵，W
sGCN
是一个权重矩阵。
[0033]其中，由图中最后一个卷积层计算得到。
[0034]其中，所述通道图卷积网络(cGCN)用于学习特征图中通道级全局关联关系，学习过程如下：
[0035](1)令输入特征F
in
∈R
HW
×
C
；
[0036]其中，H和W分别表示特征高度和宽度，C表示通道数；
[0037](2)输入特征经过两个1
×
1的卷积层处理，得到输出特征为：
[0038][0039](3)利用softmax激活函数进行处理，得到输出特征为：
[0040][0041](4)F
c
经过1
×
1空洞卷积层处理后与再经过3
×
3空洞卷积层处理，其中，空洞参数分别设置为DF＝1，DF＝3，得到F
d
；
[0042](5)F
d
与进行点乘，得到：
[0043](6)F
e
经过一个1
×
1的卷积层处理之后，与F
in
相加得到最终输出表示为：
[0044][0045]其中，步骤S2中的损失函数定义如下：
[0046][0047]其中，J表示真实的无雨图像，I表示输入的有雨图像，φ(I,w)表示经过网络处理后得到的去雨图像，w表示模型的参数，‖J
‑
φ(I,w)‖1表示L1损失值；
[0048]表示对比感知正则化约束项，G
i
(
·
)表示通过预训练模型提取的图像特征，这里采用了VGG
‑
19预训练网络，D(
·
)表示L1距离，n表示提取的图像特征层数，ω
i
表示每层特征系数，α表示正则化占比参数。
[0049]其中，对神经网络模型进行训练的步骤为：(1)选取有雨
‑
无雨的图像对样本集，各12000张，测试图像1200对；
[0050](2)优化函数为Adam，参数β1＝0.9和β2＝0.99，学习率设置为0.001；
[0051](3)训练200轮，每20轮测试一次结果，测试结果采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于端到端神经网络的单幅图像去雨方法，其特征在于，包括如下步骤：S1、构建神经网络模型：由一个3
×
3卷积层、两个下采样层、若干个基本模块、两个可变卷积层、两个上采样层和一个3
×
3卷积层构成；S2、设计损失函数：由L1距离函数和对比感知的正则化约束项构成；S3、利用有雨图像和无雨图像对进行神经网络模型的训练，得到神经网络模型的模型参数；S4、在神经网络模型中导入步骤S3训练好的模型参数，输入有雨图像，输出得到无雨图像。2.根据权利要求1所述的基于端到端神经网络的单幅图像去雨方法，其特征在于，步骤S1中，下采样层和上采样层之间进行短连接，基础模块的头尾之间进行短连接。3.根据权利要求2所述的基于端到端神经网络的单幅图像去雨方法，其特征在于，所述短连接的方法为：低层输出F
l
和高层输出F
h
进行级联F＝[F
l
,F
h
]，然后再经过一个1
×
1卷积层处理。4.根据权利要求1所述的基于端到端神经网络的单幅图像去雨方法，其特征在于，所述基本模块由空间图卷积网络和注意力卷积网络组成，其输入特征F
in
经过空间图卷积网络、若干个注意力卷积网络和一个通道图卷积网络提取全局特征和局部特征后，通过短连接将特征从低层网络引入高层网络，得到输出特征F
out
。5.根据权利要求4所述的基于端到端神经网络的单幅图像去雨方法，其特征在于，所述注意力卷积网络由两个空洞卷积层和一个注意力单元构成，其中，第一层空洞卷积层的空洞卷积参数DF＝1，第二层空洞卷积层的空洞卷积参数DF＝3；所述注意力卷积网络中加入两个短连接将全局特征和局部特征从低层网络引入高层网络。6.根据权利要求5所述的基于端到端神经网络的单幅图像去雨方法，其特征在于，所述注意力单元由空间注意力和像素注意力融合构成，融合步骤如下：(1)采用全局平均池化处理输入特征：其中，H
p
表示全局平均池化函数，X
c
(i,j)表示输入值的c通道位于(i,j)处的值；(2)池化后的特征通过两个空洞卷积层提取特征，其中，第一个空洞卷积层的空洞卷积参数设置为DF＝1，并采用ReLU激活函数，第二个空洞卷积层的空洞卷积参数设置为DF＝3，并采用sigmoid激活函数，得到CA：CA＝σ(DConv(δ(DConv(g
c
))))；其中，σ表示sigmoid函数，δ表示ReLU函数；(3)将输入特征与CA相乘得到通道注意力特征CA
*
：然后CA
*
通过两层空洞卷积层，空洞参数分别设置为DF＝1和DF＝3：PA＝σ(Conv(δ(Conv(CA
*
))))；最终融合通道注意力和像素注意力输出：
7.根据权利要求4所述的基于端到端神经网络的单幅图像去雨方法，其特征在...

【专利技术属性】
技术研发人员：胡彬，顾铭岑，李金航，王尧，
申请(专利权)人：南通大学，
类型：发明
国别省市：