一种基于多教师知识蒸馏的单幅图像去雾方法技术

本发明专利技术公开了一种基于多教师知识蒸馏的单幅图像去雾方法，包括步骤：一、训练集图像的获取；二、学生网络模型的建立；三、有雾训练图像的特征提取；四、总损失函数的建立；五、有雾训练图像对学生网络模型的训练；六、利用训练好的学生网络模型对单幅图像去雾。本发明专利技术通过EPDN教师网络模型和PSD教师网络模型对学生网络模型进行指导训练，有效提高学生网络的特征提取能力，且学生网络模型通过四个尺度的编码和解码实现了对去雾图像的多尺度信息的提取，有效融合了去雾图像的全局和局部特征，进而提高图像去雾效果。高图像去雾效果。高图像去雾效果。

【技术实现步骤摘要】
一种基于多教师知识蒸馏的单幅图像去雾方法


[0001]本专利技术属于图像去雾处理
，具体涉及一种基于多教师知识蒸馏的单幅图像去雾方法。

技术介绍

[0002]目前，图像去雾方法中教师模型主要有基于先验信息的去雾方法和基于深度学习的去雾方法。基于先验信息的图像去雾方法在恢复图像的可见度、对比度、纹理结构方面具有优势，而基于深度学习的图像去雾方法在提高图像的真实性、颜色保真度方面效果较好。但是目前一般是将单个教师模型学到的知识传递给学生模型，从而使其具有与教师模型相类似的性能，但由于采用单个教师模型对学生网络进行单向知识传递，训练后的学生模型往往会受限于教师模型的性能。
[0003]因此，现如今缺少一种结构简单，设计合理的基于多教师知识蒸馏的单幅图像去雾方法，通过EPDN教师网络模型和PSD教师网络模型对学生网络模型进行训练，有效提高学生网络的特征提取能力，且学生网络模型通过四个尺度的编码和解码实现了对去雾图像的多尺度信息的提取，有效融合了去雾图像的全局和局部特征，进而提高图像去雾效果。

技术实现思路
/>[0004]本专本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多教师知识蒸馏的单幅图像去雾方法，其特征在于，该方法包括以下步骤：步骤一、训练集图像的获取：从雾天图像数据库RESIDE中选择室内训练集；其中，室内训练集包括有雾训练图像和与所述有雾训练图像对应的无雾训练图像，所述有雾训练图像和所述无雾训练图像的数量均相同；步骤二、学生网络模型的建立：建立学生网络模型，具体过程如下：步骤201、采用计算机建立学生网络的编码器模型；其中，所述学生网络的编码器模型包括第一尺度网络模型、第二尺度网络模型、第三尺度网络模型和第四尺度网络模型，所述第一尺度网络模型包括第一卷积层和两个基于PA的RDB模块，所述第二尺度网络模型包括第二卷积层、两个基于PA的RDB模块和一个特征融合模块；所述第三尺度网络模型包括第三卷积层、两个基于PA的RDB模块和一个特征融合模块；所述第四尺度网络模型包括第四卷积层、两个基于PA的RDB模块和一个特征融合模块；步骤202、采用计算机建立学生网络的解码器模型；其中，所述学生网络的解码器模型包括第一解码网络模型、第二解码网络模型、第三解码网络模型、第四解码网络模型和第五卷积层，所述第一解码网络模型包括两个基于PA的RDB模块，所述第二解码网络模型包括第一转置卷积层、两个基于PA的RDB模块和一个特征融合模块；所述第三解码网络模型包括第二转置卷积层、两个基于PA的RDB模块和一个特征融合模块；所述第四解码网络模型包括第三转置卷积层、两个基于PA的RDB模块和一个特征融合模块；步骤三、有雾训练图像的特征提取：步骤301、采用计算机将有雾训练图像I经过第一尺度网络模型进行特征提取，得到第一尺度特征图F
e1
；步骤302、采用计算机将第一尺度特征图F
e1
经过第二尺度网络模型进行特征提取，得到第二尺度特征图F
e2
；步骤303、采用计算机将第二尺度特征图F
e2
经过第三尺度网络模型进行特征提取，得到第三尺度特征图F
e3
；步骤304、采用计算机将第三尺度特征图F
e3
经过第四尺度网络模型进行特征提取，得到第四尺度特征图F
e4
；步骤305、采用计算机将第四尺度特征图F
e4
经过第一解码网络模型进行特征提取，得到第一解码特征图F
d1
；步骤306、采用计算机将第一解码特征图F
d1
经过第二解码网络模型进行特征提取，得到第二解码特征图F
d2
；步骤307、采用计算机将第二解码特征图F
d2
经过第三解码网络模型进行特征提取，得到第三解码特征图F
d3
；步骤308、采用计算机将第三解码特征图F
d3
经过第四解码网络模型进行特征提取，得到第四解码特征图F
d4
；采用计算机将第四解码特征图F
d4
经过第五卷积进行特征提取，得到输出去雾图像out；步骤309、采用计算机利用EPDN教师网络模型对有雾训练图像I处理，得到EPDN教师网络输出去雾图像out
EP
，并将EPDN教师网络模型中全局子生成器输出的特征图并记作EPDN教
师网络中间输出特征图EP1；采用计算机利用教师PSD网络模型对有雾训练图像I处理，得到PSD教师网络输出去雾图像out
PS
，并将教师PSD网络模型中主干网络输出的特征图记作PSD教师网络中间输出特征图PS2；步骤四、总损失函数的建立：步骤401、采用计算机根据得到感知损失函数L
per
；其中，i为正整数，N＝5，且Φ
i
(gt)表示与有雾训练图像I对应的无雾训练图像gt经过VGG19网络模型中Relu i_1层输出的特征图，Φ
i
(out)表示学生网络模型的输出去雾图像out经过VGG19网络模型中Relu i_1层输出的特征图，1≤i≤5；C
i
、H
i
和W
i
分别代表Relu i_1层输出的特征图的通道数、长和宽；(Φ
i
(gt),Φ
i
(out))
L1
表示VGG19网络模型中Relu i_1层输出的两个特征图之间的曼哈顿距离；步骤402、采用计算机根据L
dist
＝(out,out
EP
)
L1
+(out,out
PS
)
L1
+0.25(EP1,F
d2
)
L1
+0.5(PS2,F
d3
)
L1
，得到蒸馏损失函数L
diss
；其中，(out,out
EP
)
L1
表示学生网络模型的输出去雾图像out和EPDN教师网络输出去雾图像out
EP
之间的曼哈顿距离，(out,out
PS
)
L1
表示学生网络模型的输出去雾图像out和PSD教师网络输出去雾图像out
PS
之间的曼哈顿距离，(EP1,F
d2
)
L1
代表EPDN教师网络中间输出特征图EP1和学生网络模型的第二解码特征图F
d2
之间的曼哈顿距离，(PS2,F
d3
)
L1
代表PSD教师网络中间输出特征图PS2和学生网络模型的第三解码特征图F
d3
之间的曼哈顿距离；步骤403、采用计算机根据L
loss
＝0.1L
per
+L
dist
，得到总损失函数L
loss
；步骤五、有雾训练图像对学生网络模型的训练：步骤501、计算机采用Adam优化算法，利用总损失函数L
loss
对学生网络模型进行迭代优化，直至训练集全部训练，完成一次迭代训练；步骤502、重复步骤501迭代训练直至满足迭代训练预设次数，得到训练好的学生网络模型；步骤六、利用训练好的学生网络模型对单幅图像去雾：采用计算机将任一张有雾图像输入训练好的学生网络模型中进行去雾处理，得到无雾图像。2.按照权利要求1所述的一种基于多教师知识蒸馏的单幅图像去雾方法，其特征在于：步骤201中第一卷积层中卷积核的数量为32，卷积核的大小为3
×
3，滑动步长为1，padding为1；第二卷积层中卷积卷积核的数量为64，卷积核的大小为3
×
3，滑动步长为2，padding为1；步骤201中基于PA的RDB模块包括第一Conv+ReLU层、Conv1卷积层、RDB模块、Conv2卷积层和Sigmoid激活函数层；第一Conv+ReLU层中卷积核的数量为32，卷积核的大小为3
×
3，滑动步长为1，padding为1；Conv1卷积层中卷积核的数量为32，卷积核的大小为1
×
1，滑动步长为1，padding为0；Conv2卷积层中卷积核的数量为32，卷积核的大小为3
×
3，滑动步长为1，padding为1；第三卷积层中卷积卷积核的数量为128，卷积核的大小为3
×
3，滑动步长为2，padding
为1；第四卷积层中卷积卷积核的数量为256，卷积核的大小为3
×
3，滑动步长为2，padding为1；步骤201中特征融合模块包括第一Conv+InstanceNorm归一化+ReLU激活函数层和第二Conv+InstanceNorm归一化+ReLU激活函数层；步骤202中第一转置卷积层中卷积核的数量为128，卷积核的大小为3
×
3，滑动步长为2，padding为1，out_padding为1；第二转置卷积层中卷积核的数量为64，卷积核的大小为3
×
3，滑动步长为2，padding为1，out_padding为1；第三转置卷积层中卷积核的数量为32，卷积核的大小为3
×
3，滑动步长为2，padding为1，out_padding为1；第五卷积层中卷积卷积核的数量为3，卷积核的大小为3
×
3，滑动步长为1，padding为1。3.按照权利要求1所述的一种基于多教师知识蒸馏的单幅图像去雾方法，其特征在于：步骤301中采用计算机将有雾训练图像I经过第一尺度网络模型进行特征提取，得到第一尺度特征图F
e1
，具体过程如下：步骤3011、采用计算机将有雾训练图像I经过第一卷积层进行特征提取，得到输入特征图F
in
；步骤3012、计算机将输入特征图F
in
输入一个基于PA的RDB模块进行特征提取，得到中间输出特征...

【专利技术属性】
技术研发人员：兰云伟，崔智高，苏延召，马铮，蔡艳平，王涛，曹继平，
申请(专利权)人：中国人民解放军火箭军工程大学，
类型：发明
国别省市：