一种基于透射图引导的单幅图像多解码器去雾方法技术

本发明专利技术公开了一种基于透射图引导的单幅图像多解码器去雾方法，包括步骤：一、设计基于透射图引导的去雾网络对单张的有雾图像去雾；二、计算损失函数；三、更新权重参数集合；四、调取一张新的有雾图像，循环步骤一至步骤三，直到训练达到预设训练步数或者损失值不再下降或损失值小于0.015即停止训练，得到去雾网络的最终权重参数集合，并确定最终的去雾网络；五、单张实际有雾图像去雾。本发明专利技术基于多尺度的编码解码结构进行多监督训练得到场景的透射图信息与去雾图像，并利用每个尺度上恢复的透射图指导网络有效去雾，具有较强的去雾效果和泛化能力，能够有效提高去雾图像的对比度和视觉效果。视觉效果。视觉效果。

【技术实现步骤摘要】
一种基于透射图引导的单幅图像多解码器去雾方法


[0001]本专利技术属于单幅图像去雾
，具体涉及一种基于透射图引导的单幅图像多解码器去雾方法。

技术介绍

[0002]由于空气中雾、霾等悬浮粒子的存在,光线在传播过程中将发生折射而衰减,导致采集的图像出现颜色偏差、模糊、对比度下降等质量退化现象,这不仅使图像观赏性降低,视觉效果变差,更导致物体特征难以辨认,对拍摄图像的内容理解出现偏差。图像去雾就是利用特定的方法和手段,建立有雾图像和无雾图像之间的特征关系进行去雾处理,进而降低雾霾对图像视觉效果的影响。单幅图像去雾算法是指在仅有一张有雾图像的基础上进行去雾得到清晰图像的过程。
[0003]目前单张图像去雾方法主要分为三大类：第一类是基于图像增强的方法,第二类是基于物理模型的方法,第三类是基于深度学习的方法。
[0004]基于图像增强的方法的本质是对被降质的图像进行增强,改善图像的质量。比如常见的直方均衡、对数变换、幂律变换、锐化、小波变换等。通过这些方法增强图像的对比度或突出图像的特征。与常见的对比度增强方法不同，另一种常见的图像增强的方法是基于颜色恒常性和视网膜皮层理论的Retinex方法。该方法将图像分解为本质图像与照度图像的乘积，从而消除因为受雾霾遮挡的光照因素对图像成像的影响。Retinex方法比传统的对比度提升方法相比，其得到的去雾图像具有更好的局部对比度，颜色失真较小。但由于Retinex方法本身也是一个病态问题，只能进行近似估计，因而也在一定程度上影响了图像去雾效果。
[0005]基于物理模型的方法利用大气散射模型(I＝JT+(1
‑
T)A，其中I表示有雾图像，J表示无雾图像)分别估计场景介质透视率T与全局大气光照A，从而得到清晰的无雾图像。然而在只有单张有雾图像条件下，估计T和A也是一个病态问题，只能进行近视估计。利用大气散射模型将有雾图像恢复到无雾图像的方法,总体上可以分为三类:第1类是基于深度信息的方法；第2类是基于大气光偏振特性的去雾算法；第3类是基于先验知识的方法。前两类方法通常都需要人工配合，才能得到较好的结果，而第3类方法是目前比较常见的方法，比如基于暗通道统计先验的方法，基于颜色统计先验的方法。这些方法由于是通过统计信息得到的知识，并不能适应所有场景，如基于暗通道先验知识的方法对天空等较亮的区域估计透视系统就会出现偏差，导致去雾后的图像整体偏暗。
[0006]基于深度学习的方法通过大样本的合成配对数据集(同一场景下的有雾图像和无雾图像)来训练卷积神经网络，进而建立有雾图像与无雾图像之间的特征关系，具体分为两类：(1)是非端到端的去雾算法，即利用卷积神经网络学习并估计出对应的场景投射图T和全局大气光A，进而通过大气散射模型恢复出无雾图像。这类方法降低了人工先验知识估计参数造成的误差，但由于大气散射模型是一个简化的雾霾生成模型，该方法无法得到高质量的去雾结果；(2)是端到端的去雾算法，即在不估计T和A的基础上，直接将去雾过程视为
图像的变换或者是合成过程。其中，基于图像合成的方法通常利用对比度增强、白平衡、伽玛矫正等方法对有雾图像进行预处理得到衍生图像，然后再通过神经网络学习置信权重，并用学习的权重将衍生图像进行融合，从而实现去雾。这种方法对预处理图像的质量有较高的依赖性，但由于衍生图像只能间接反映无雾场景下的特征，该方法去雾效果有限；基于图像变换的方法直接利用卷积神经网络学习有雾图像与无雾图像之间的映射变换函数，从而得到无雾图像。这种方法通过大样本的数据集拟合了无雾场景与有雾场景之间的特征关系，但由于真实雾霾图像缺乏同一场景下无雾图像的对照，且视觉效果差，这些网络在合成数据集中训练，特征多样性的缺乏导致模型不能很好地去除真实场景中的雾霾。

技术实现思路

[0007]本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于透射图引导的单幅图像多解码器去雾方法，基于多尺度的编码解码结构进行多监督训练得到场景的透射图信息与去雾图像，并利用每个尺度上恢复的透射图指导网络有效去雾，具有较强的去雾效果和泛化能力，能够有效提高去雾图像的对比度和视觉效果，便于推广使用。
[0008]为解决上述技术问题，本专利技术采用的技术方案是：一种基于透射图引导的单幅图像多解码器去雾方法，其特征在于，该方法包括以下步骤：
[0009]步骤一、设计基于透射图引导的去雾网络对单张的有雾图像去雾，过程如下：
[0010]步骤101、利用合成雾天数据集作为图像训练样本集，并将图像训练样本集中每张有雾图像归一化到固定尺寸；
[0011]步骤102、调取一张有雾图像作为输入有雾图像，将输入有雾图像视为第一尺度特征雾天图像H1，对第一尺度特征雾天图像H1进行下采样得到第二尺度特征雾天图像H2，对第二尺度特征雾天图像H2进行下采样得到第三尺度特征雾天图像H3，对第三尺度特征雾天图像H3进行下采样得到第四尺度特征雾天图像H4；
[0012]步骤103、根据公式R
i
＝RBs(H
i
)，将每一个尺度上的特征雾天图像输入到级联的残差模块中进行特征增强，得到每一个尺度上对应的增强特征雾天图像R
i
，其中，i＝1,2,3,4，RBs(
·
)为级联的残差模块；
[0013]步骤104、根据公式T
‑
64＝Conv1(R4)，得到第四尺度上的透射图特征T
‑
64，其中，Conv1(
·
)为以透射图为监督信号的卷积降维模块；
[0014]根据公式DI
‑
64＝Conv2(R4)，得到第四尺度上的初始去雾图像特征DI
‑
64，其中，Conv2(
·
)为以无雾图像为监督信号的卷积降维模块；
[0015]根据公式得到第四尺度上的改进去雾图像特征M
‑
64，其中，A为注意力模块，为像素级乘法器；
[0016]根据公式T4＝Conv
t4
(T
‑
64)，得到第四尺度上输出的透射图T4，其中，Conv
t4
(
·
)为第四尺度上输出透射图的卷积层；
[0017]根据公式D4＝Conv
d4
(M
‑
64)，得到第四尺度上输出的去雾图D4，其中，Conv
d4
(
·
)为第四尺度上输出去雾图的卷积层；
[0018]根据公式U3＝I(R3)，得到第三尺度上有雾特征图像U3，其中，R3为R4上采样到R3对应尺寸的有雾图像，I(
·
)为双线性插值函数；
[0019]步骤105、根据公式得到第三尺度上的融合降维图像F3，为通道融合模块，Conv(
·
)为卷积降维模块；
[0020]根据公式T
‑
128＝Conv1(F3)，得到第三尺度上的透射本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于透射图引导的单幅图像多解码器去雾方法，其特征在于，该方法包括以下步骤：步骤一、设计基于透射图引导的去雾网络对单张的有雾图像去雾，过程如下：步骤101、利用合成雾天数据集作为图像训练样本集，并将图像训练样本集中每张有雾图像归一化到固定尺寸；步骤102、调取一张有雾图像作为输入有雾图像，将输入有雾图像视为第一尺度特征雾天图像H1，对第一尺度特征雾天图像H1进行下采样得到第二尺度特征雾天图像H2，对第二尺度特征雾天图像H2进行下采样得到第三尺度特征雾天图像H3，对第三尺度特征雾天图像H3进行下采样得到第四尺度特征雾天图像H4；步骤103、根据公式R
i
＝RBs(H
i
)，将每一个尺度上的特征雾天图像输入到级联的残差模块中进行特征增强，得到每一个尺度上对应的增强特征雾天图像R
i
，其中，i＝1,2,3,4，RBs(
·
)为级联的残差模块；步骤104、根据公式T_64＝Conv1(R4)，得到第四尺度上的透射图特征T_64，其中，Conv1(
·
)为以透射图为监督信号的卷积降维模块；根据公式DI_64＝Conv2(R4)，得到第四尺度上的初始去雾图像特征DI_64，其中，Conv2(
·
)为以无雾图像为监督信号的卷积降维模块；根据公式得到第四尺度上的改进去雾图像特征M_64，其中，A为注意力模块，为像素级乘法器；根据公式T4＝Conv
t4
(T_64)，得到第四尺度上输出的透射图T4，其中，Conv
t4
(
·
)为第四尺度上输出透射图的卷积层；根据公式D4＝Conv
d4
(M_64)，得到第四尺度上输出的去雾图D4，其中，Conv
d4
(
·
)为第四尺度上输出去雾图的卷积层；根据公式U3＝I(R3)，得到第三尺度上有雾特征图像U3，其中，R3为R4上采样到R3对应尺寸的有雾图像，I(
·
)为双线性插值函数；步骤105、根据公式得到第三尺度上的融合降维图像F3，为通道融合模块，Conv(
·
)为卷积降维模块；根据公式T_128＝Conv1(F3)，得到第三尺度上的透射图特征T_128；根据公式DI_128＝Conv2(F3)，得到第三尺度上的初始去雾图像特征DI_128；根据公式得到第三尺度上的改进去雾图像特征M_128；根据公式T3＝Conv
t3
(T_128)，得到第三尺度上输出的透射图T3，其中，Conv
t3
(
·
)为第三尺度上输出透射图的卷积层；根据公式D3＝Conv
d3
(M_128)，得到第三尺度上输出的去雾图D3，其中，Conv
d3
(
·
)为第三尺度上输出去雾图的卷积层；根据公式U2＝I(F3)，得到第二尺度上有雾特征图像U2，其中，F3为F3上采样到R2对应尺寸的有雾图像；步骤106、根据公式得到第二尺度上的融合降维图像F2；根据公式T_256＝Conv1(F2)，得到...

【专利技术属性】
技术研发人员：王念，崔智高，苏延召，李爱华，兰云伟，张炜，
申请(专利权)人：中国人民解放军火箭军工程大学，
类型：发明
国别省市：