一种基于全局和局部特征融合的图像去雾方法技术

本发明专利技术公开了一种基于全局和局部特征融合的图像去雾方法，所述方法包括以下步骤：基于编码器‑解码器架构构建去雾网络，在编码器和解码器之间设置多个稠密连接单元，由稠密连接单元实现特征图的局部和全局融合；编码器‑解码器架构输出的特征图经过后续的卷积神经网络，得到去雾图；使用L1范数损失函数、感知损失函数和梯度损失函数的线性组合训练去雾网络；训练结束后，输入一张雾霾图像得到去雾图像。本方法不需要图像的先验信息，也不需要估计传输率，可以直接从一张雾霾图像得到去雾图像。

An image defogging method based on global and local feature fusion

The invention discloses an image defogging method based on global and local feature fusion, the method comprises the following steps: constructing a defogging network based on the encoder \u2011 decoder architecture, setting a plurality of dense connection units between the encoder and the decoder, and realizing the local and global fusion of the feature map by the dense connection units; after the feature map output by the encoder \u2011 decoder architecture is passed After the training, input a haze image to get the defog image. This method does not need the prior information of the image, and does not need to estimate the transmission rate. It can get the defog image directly from a haze image.

【技术实现步骤摘要】
一种基于全局和局部特征融合的图像去雾方法
本专利技术涉及图像处理技术与深度学习
，尤其涉及一种基于全局和局部特征融合的图像去雾方法。
技术介绍
在雾霾天气下，空气中存在着大量的悬浮粒子，由于受到悬浮粒子的影响，大气环境光与实际景物的反射光在传播的过程中会出现散射和衰减的现象，进而影响到图像质量，引起图像颜色失真、对比度下降等问题。去雾算法通过消除雾霾对图像的影响，不仅可以提高图像的主观视觉效果，还可以作为许多计算机视觉任务的预处理步骤，如自动驾驶、目标检测以及图像分类等，以提高计算机视觉系统的性能。因此，图像去雾算法有着广泛的应用价值。早期算法从同一场景在不同成像条件下拍摄的多张图像中获取去雾线索。例如，文献[1]分析多张在不同雾浓度下拍摄的图像亮度值变化来估计场景景深，进而得到去雾图像。文献[2]通过使用不同的偏振滤波器对同一场景进行多次拍摄，利用偏振度去除雾霾影响。单幅图像去雾算法主要是基于图像的统计先验信息设计。例如，根据有雾图像的局部对比度比无雾图的局部对比度低的特点，Tan等人使用马尔可夫随机场最大化图像的局部对比度得到去雾图像[3]。He等人通过统计有雾和无雾图像的亮度值分布特性提出了暗通道算法：在无雾图像不包括天空的区域内，至少一个颜色通道上的亮度值非常低，而在雾霾图像中，这些像素的亮度值主要受大气光影响。暗通道算法首先借助这一现象估计雾的传输率，再结合大气散射模型生成去雾图像[4]。最近，由于卷积神经网络在各种计算机视觉任务中的成功，研究人员提出了基于神经网络的去雾算法，这类算法不需要人工预先设计的先验信息。例如，Cai等人提出DehazeNet网络，利用卷积神经网络从一张雾霾图像中估计出传输率，将估计的传输率代入大气散射模型中得到去雾图像[5]。Ren等人构造了一种基于多尺度的卷积神经网络[6]，先使用大尺度的卷积粗略估计传输率，再使用小尺度的卷积对传输率做修正。文献[7]中提出的算法将大气散射模型中的大气光和传输率结合在一个系数K中，通过卷积神经网络学习系数K，进而得到去雾图像。基于多张图像的去雾算法要求对场景进行重复拍摄，需要场景在雾霾动态变化的过程中保持稳定，这一要求在实际应用中难以满足，而基于偏振特性的去雾算法则依赖于特殊的成像设备。对于单幅图像去雾算法，现有方法大多依赖于简化的大气光散射模型，而真实场景下的雾霾图像通常不严格遵循物理模型和人为设定的先验信息，这类算法在去雾过程中容易引入颜色失真等效应，例如去雾图像在天空区域会出现明显光晕现象，在浓雾情况下物体边缘会出现伪影。
技术实现思路
本专利技术提供了一种基于全局和局部特征融合的图像去雾方法，本专利技术的去雾网络整体基于编码器和解码器的架构，在编码器和解码器之间设置多个稠密连接单元实现不同层级的特征融合；网络的损失函数采用L1范数损失、感知损失函数、梯度损失函数；该方法不需要图像的先验信息，也不需要估计传输率，可以直接从一张雾霾图像得到去雾图像，详见下文描述：一种基于全局和局部特征融合的图像去雾方法，所述方法包括以下步骤：基于编码器-解码器架构构建去雾网络，在编码器和解码器之间设置多个稠密连接单元，由稠密连接单元实现特征图的局部和全局融合；编码器-解码器架构输出的特征图经过后续的卷积神经网络，得到去雾图；使用L1范数损失函数、感知损失函数和梯度损失函数的线性组合训练去雾网络；训练结束后，输入一张雾霾图像得到去雾图像。其中，所述基于编码器-解码器架构构建去雾网络具体为：编码器和解码器均由n层卷积神经网络组成；编码器和解码器之间由多个融合结构相连接，每个融合结构对稠密连接单元输出的特征图做局部融合和全局融合；去雾网络在编码器和解码器之间设置多个稠密连接单元，由稠密连接单元实现特征图的局部和全局融合，编码器和解码器之间有I个局部融合模块。进一步地，所述局部融合具体为：记第i个局部融合模块的输入特征图为局部融合模块中的第j个稠密连接单元输出的特征图记为Fij，所有稠密连接单元输出的特征图Fij在通道上做拼接操作，对拼接后的特征图再做卷积，得到的特征图记为FiLocal。其中，所述全局融合由卷积操作实现，全局融合包括I个局部融合模块，对每个局部融合模块输出的特征图在通道上做拼接操作，对拼接后的特征图再做卷积操作，得到的特征图记为FGlobal。进一步地，所述编码器-解码器架构输出的特征图经过后续的卷积神经网络，得到去雾图具体为：1)编码器的第一个卷积得到的特征图记为F1E，解码器的最后一个卷积得到的特征图记为对F1E和做如下处理；其中，B(·)表示批标准化[8]，σ(·)表示激活函数LeakyReLU[9]，FP为处理后的特征图；2)处理后的特征图FP经过稠密连接单元和卷积处理，得到取反的去雾图像，之后再做取反操作得到最终的去雾图像。本专利技术提供的技术方案的有益效果是：1、本专利技术通过训练神经网络实现端到端图像去雾，可以有效避免去雾图像出现颜色失真，光晕等现象；通过特征图之间的局部融合和全局融合的结构，可以恢复由雾霾遮挡造成的图像细节损失；2、本专利技术只需要一张有雾图即可得到对应的无雾图，不需要预先传输率和全局大气光等参数，不依赖于任何先验信息和物理模型；3、本专利技术在去雾的过程中能有效恢复图像细节信息，去雾图像没有伪影、亮度失真等效应，方法简单，易于实现，计算效率高。附图说明图1为本专利技术提供的一种基于全局和局部特征融合的图像去雾方法的流程图；图2为本专利技术提供的稠密连接单元的结构示意图；图3为本专利技术提供的第i个局部融合模块的结构示意图；图4为本专利技术提供的全局融合的结构示意图；图5为本专利技术提供的去雾网络的整体结构图；图6为本专利技术实验结果中室外场景有雾图及去雾图；图7为本专利技术实验结果中另一室外场景有雾图及去雾图；图8为本专利技术实验结果中另一室外场景有雾图及去雾图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1为了实现逼真的图像去雾效果，本专利技术实施例提出了一种基于全局和局部特征融合的图像去雾方法，参见图1，详见下文描述：101：对训练集图像做预处理；102：基于编码器-解码器架构构建去雾网络，在编码器和解码器之间设置多个稠密连接单元，由稠密连接单元实现特征图的局部和全局融合；103：编码器-解码器架构输出的特征图经过后续的卷积神经网络，得到去雾图；104：使用L1范数损失函数、感知损失函数和梯度损失函数的线性组合训练去雾网络；105：训练结束后，输入一张雾霾图像即可得到去雾图像。其中，步骤101中的对训练集图像做预处理的具体步骤为：1)训练集中的图片尺寸全部缩放到N×N，并对训练图像进行取反操作，具体为利用255减去原像素值，取反后的雾霾图像作为网本文档来自技高网...

【技术保护点】
1.一种基于全局和局部特征融合的图像去雾方法，其特征在于，所述方法包括以下步骤：/n基于编码器-解码器架构构建去雾网络，在编码器和解码器之间设置多个稠密连接单元，由稠密连接单元实现特征图的局部和全局融合；/n编码器-解码器架构输出的特征图经过后续的卷积神经网络，得到去雾图；/n使用L1范数损失函数、感知损失函数和梯度损失函数的线性组合训练去雾网络；/n训练结束后，输入一张雾霾图像得到去雾图像。/n

【技术特征摘要】
1.一种基于全局和局部特征融合的图像去雾方法，其特征在于，所述方法包括以下步骤：
基于编码器-解码器架构构建去雾网络，在编码器和解码器之间设置多个稠密连接单元，由稠密连接单元实现特征图的局部和全局融合；
编码器-解码器架构输出的特征图经过后续的卷积神经网络，得到去雾图；
使用L1范数损失函数、感知损失函数和梯度损失函数的线性组合训练去雾网络；
训练结束后，输入一张雾霾图像得到去雾图像。


2.根据权利要求1所述的一种基于全局和局部特征融合的图像去雾方法，其特征在于，所述基于编码器-解码器架构构建去雾网络具体为：
编码器和解码器均由n层卷积神经网络组成；
编码器和解码器之间由多个融合结构相连接，每个融合结构对稠密连接单元输出的特征图做局部融合和全局融合；
去雾网络在编码器和解码器之间设置多个稠密连接单元，由稠密连接单元实现特征图的局部和全局融合，编码器和解码器之间有I个局部融合模块。


3.根据权利要求2所述的一种基于全局和局部特征融合的图像去雾方法，其特征在于，所述局部融合具体为：
记第i个局部...

【专利技术属性】
技术研发人员：李岳楠，吴帅，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12