一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法及系统技术方案

本发明专利技术公开了一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法及系统，利用图像去雾模型中的主干网络提取有雾图像在不同尺寸和子区域下的五组特征图；利用图像去雾模型中的特征金字塔网络结构对五组特征图进行特征加强，得到五组特征加强后的特征图；将五组特征图通过空间多尺寸特征叠加融合的方法进行融合得到融合特征；利用图像去雾模型中的解码器对融合特征进一步融合和解码之后得到网络的中间估计参数；利用物理恢复模块对网络中间估计参数和网络输入的原始有雾图像进行重构得到无雾图像。本发明专利技术能够融合局部特征和全局特征，结合低级语义特征和高级语义特征，避免了在下采样过程中带来的特征丢失问题，充分利用了有雾图像在卷积过程中的特征信息，能够达到更好去雾效果。能够达到更好去雾效果。能够达到更好去雾效果。

【技术实现步骤摘要】
一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法及系统


[0001]本专利技术涉及图像处理
，具体涉及一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法及系统。

技术介绍

[0002]随着技术的发展，一些计算机视觉任务如目标检测、目标跟踪、行为分析、人脸识别等取得了巨大的突破。然而，高级视觉任务例如检测、跟踪依赖于清晰的视频和图像数据，其性能在实际场景，如大雾、大雨等场景往往受到极大的影响。作为一些高级视觉任务的预先任务，图像去雾近几年受到很多研究者关注。
[0003]针对单幅图像去雾，较早的没有利用深度学习的方法往往具有明显的不足。这些非深度学习方法以先验为基础，有的方法依赖于物理散射模型通过估计大气光与传输图来去雾，但是由一张雾图像估计大气光和传输图是一个不适定问题，估计结果往往不准确。有一些方法通过利用图像的统计学特征来去除图像中的雾。虽然他们有一定的效果，但是对很多真实世界场景都不适用。除此之外，其他的基于深度学习的数据驱动方法也有明显的不足，这些方法都学习给定雾图像与对应清晰图像之间的一一映射，这与去雾问题的不适定性相违背，且这些方法对于一张雾图像只能给出一个确定的输出，缺少多样性。
[0004]因此，亟需本领域工作人员提供一种对有雾图像继续有效去雾，并得到清晰图像的去雾方法。

技术实现思路

[0005]本专利技术提供了一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法及系统，用以解决如何对实际拍摄的雾图进行有效去雾的技术问题。
[0006]为解决上述技术问题，本专利技术提出的技术方案为：一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法，包括：
[0007]利用图像去雾模型中的主干网络提取有雾图像在不同尺寸和子区域下的五组特征图；
[0008]利用图像去雾模型中的特征金字塔网络结构对五组特征图进行特征加强，得到五组特征加强后的特征图；
[0009]将五组特征加强后的特征图通过空间多尺寸特征叠加融合的方法进行融合得到融合特征；
[0010]利用图像去雾模型中的解码器对所述融合特征进一步融合和解码得到网络的中间估计参数；
[0011]利用物理恢复模块对所述网络的中间估计参数和网络输入的原始有雾图像重构得到无雾图像；
[0012]所述图像去雾模型包括所述主干网络、所述特征金字塔网络结构、所述解码器和
所述物理恢复模块。
[0013]优选的，搭建所述图像去雾模型包括：
[0014]获取训练集，所述训练集包括有雾图像和与所述有雾图像对应的清晰图像；
[0015]初始化所述图像去雾模型；
[0016]将所述有雾图像输入所述主干网络输出得到有雾图像在不同尺寸和子区域下的五组特征图；
[0017]然后通过特征金字塔网络结构对五组特征图进行特征加强得到五组特征加强后的特征图；
[0018]将五组特征加强后的特征图通过空间多尺寸特征叠加融合的方法进行融合得到融合特征；
[0019]将融合特征输入进解码器，得到网络的中间估计参数；
[0020]利用物理恢复模块对所述网络的中间估计参数和网络输入的原始有雾图像重构得到无雾图像；
[0021]以所述有雾图像重构的无雾图像和其对应的清晰图像的均方差误差作为损失函数训练得到收敛的图像去雾模型。
[0022]优选的，所述损失函数满足下式：
[0023][0024]其中，L
mse
为网络损失，N为参与搭建所述图像去雾模型的有雾图像的像素数量，Y为以有雾图像重构的无雾图像，X为有雾图像对应的清晰图像。
[0025]优选的，所述主干网络由八个卷积模块组成，其中，第一个卷积模块由3
×
3的卷积层和批标准化层组成；第二、三、五和八个卷积模块为卷积核大小3
×
3的移动可翻转卷积块；第四、六和七个卷积模块为卷积核大小5
×
5的移动可翻转卷积块；第2
‑
8个卷积模块均使用残差网络结构，并且第2
‑
8个卷积模块中的网络层数分别为1、2、2、3、3、4和1。
[0026]优选的，所述解码器由三个解码模块组成，每个解码模块由3
×
3的卷积层和上采样层组成，所述融合特征经过三个解码模块可以得到网络的中间估计参数。
[0027]优选的，所述利用图像去雾模型中的特征金字塔网络结构对五组特征图进行特征加强，得到五组特征加强后的特征图包括使用多层所述特征金字塔网络结构对五组包含不同尺寸和子区域的特征图进行特征加强。
[0028]优选的，所述将五组特征加强后的特征图进行特征融合得到融合特征是使用空间多尺寸特征叠加融合的方法，以五组特征加强后的特征图中尺寸最大的特征图的尺寸为基准，其他的特征图使用混合插值的方式使其尺寸与最大的特征图保持一致，通过空间多尺寸叠加融合五组特征加强后的特征图得到融合特征。
[0029]优选的，利用物理恢复模块对网络的中间估计参数和网络输入的原始有雾图像重构得到无雾图像满足大气散射模型，对大气散射模型进行改写，大气散射模型如以下公式所示：
[0030]I(x)＝J(x)t(x)+A(1
‑
t(x))
[0031]其中，I(x)为有雾图像，J(x)为无雾图像，A是全局大气光值，t(x)为透射率；
[0032]合并大气散射模型中全局大气光值A和透射率t(x)，得到物理恢复模块依赖的物
理恢复模型；如以下公式所示：
[0033]J(x)＝k(x)I(x)
‑
k(x)+b
[0034]其中，b为常数1，k(x)为网络的中间估计参数；
[0035]利用物理恢复模块对网络的中间估计参数和网络输入的有雾图像重构得到无雾图像。
[0036]本专利技术的实施例还提供了一种基于端到端的多尺寸融合的金字塔神经网络图像去雾系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一方法的步骤。
[0037]本专利技术具有以下有益效果：
[0038]本专利技术通过利用图像去雾模型中的主干网络提取有雾图像在不同尺寸和子区域下的五组特征图；利用图像去雾模型中的特征金字塔网络结构对五组特征图进行特征加强，得到五组特征加强后的特征图；将五组特征图通过空间多尺寸特征叠加融合的方法进行融合得到融合特征；利用图像去雾模型中的解码器对融合特征进一步融合和解码之后得到网络的中间估计参数；利用物理恢复模块对网络中间估计参数和网络输入的原始有雾图像进行重构得到无雾图像。本专利技术的特征金字塔网络结构能够更进一步地融合有雾图像中的局部特征和全局特征，结合低级语义特征和高级语义特征，避免了在特征提取过程中带来的特征丢失问题，充分利用了有雾图像在卷积过程中获得的特征信息。本专利技术的图像去雾模型在达到更好去雾效果的同时，降低了对硬件的需求，并减少了去雾过程中所需要的时间。除了上面所描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法，其特征在于，包括：利用图像去雾模型中的主干网络提取有雾图像在不同尺寸和子区域下的五组特征图；利用图像去雾模型中的特征金字塔网络结构对五组特征图进行特征加强，得到五组特征加强后的特征图；将五组特征加强后的特征图通过空间多尺寸特征叠加融合的方法进行融合得到融合特征；利用图像去雾模型中的解码器对所述融合特征进一步融合和解码得到网络的中间估计参数；利用物理恢复模块对所述网络的中间估计参数和网络输入的原始有雾图像重构得到无雾图像；所述图像去雾模型包括所述主干网络、所述特征金字塔网络结构、所述解码器和所述物理恢复模块。2.根据权利要求1所述的一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法，其特征在于，搭建所述图像去雾模型包括：获取训练集，所述训练集包括有雾图像和与所述有雾图像对应的清晰图像；初始化所述图像去雾模型；将所述有雾图像输入所述主干网络输出得到有雾图像在不同尺寸和子区域下的五组特征图；然后通过特征金字塔网络结构对五组特征图进行特征加强得到五组特征加强后的特征图；将五组特征加强后的特征图通过空间多尺寸特征叠加融合的方法进行融合得到融合特征；将融合特征输入进解码器，进一步融合和解码得到网络的中间估计参数；利用物理恢复模块对所述网络的中间估计参数和网络输入的原始有雾图像重构得到无雾图像；以所述有雾图像重构的无雾图像和其对应的清晰图像的均方差误差作为损失函数训练得到收敛的图像去雾模型。3.根据权利要求2所述的一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法，其特征在于，所述损失函数满足下式：其中，L
mse
为网络损失，N为参与搭建所述图像去雾模型的有雾图像的像素数量，Y为以有雾图像重构的无雾图像，X为有雾图像对应的清晰图像。4.根据权利要求1所述的一种基于端到端的多尺寸融合的金字塔神经网络图像去雾方法，其特征在于，所述主干网络由八个卷积模块组成，其中，第一个卷积模块由3
×
3的卷积层和批标准化层组成；第二、三、五和八个卷积模块为卷积核大小3
×
3的移动可翻转卷积块；第四、六和七个卷积模块为卷积核大小5
×
5的移动可翻转卷积块；第2
‑
8...

【专利技术属性】
技术研发人员：王胜春，陈培棋，蔡荣辉，叶成志，刘炼烨，黄金贵，田斌，葛晶晶，罗颖光，计君伟，
申请(专利权)人：湖南师范大学，
类型：发明
国别省市：