基于上下文信息聚合和融合特征注意力的图像去雾方法技术

本发明专利技术公开了一种基于上下文信息聚合和融合特征注意力的图像去雾方法，包括以下步骤：针对带雾图像，通过编码器提取图像的浅层特征；依据浅层特征，通过信息融合子网进行上下文信息聚合；通过解码器还原图像，获得去雾后的图像。本发明专利技术基于深度学习的方法，使用平滑扩张卷积替代传统的扩张卷积减小产生的网格伪影，通过融合特征注意力机制，对通道注意和像素级注意加权，能解决场景雾度不均匀、通道雾度不均造成去雾图像估计不准确的问题。此外采用一个自编码器的结构，使用上下文信息聚合网络融合不同层次的特征，形成一种独特的单幅图像去雾方法。幅图像去雾方法。幅图像去雾方法。

【技术实现步骤摘要】
基于上下文信息聚合和融合特征注意力的图像去雾方法


[0001]本专利技术属于图像处理
，特别是一种基于上下文信息聚合和融合特征注意力的图像去雾方法。

技术介绍

[0002]雾天在室外进行取景，拍摄的视频或图片往往因为薄雾的存在导致成像的能见度降低，对比度下降，表面模糊和颜色失真等问题。不仅严重影响了视觉效果，同时也在图像的信息量上造成了相当严重的损失。现阶段大多数的计算机视觉算法大都适用于没有雾霾干扰的正常辐照的场景，而可靠视觉系统往往需要考虑到不受环境约束的视觉退化。以自动驾驶为例，多雾天气将严重影响摄像头的视野，过低的能见度导致自动/辅助驾驶陷入困境，同时也存在安全上的隐患。
[0003]针对雾霾天气带来的加性噪声，非线性的数据相关的噪声使得去雾任务具有挑战性，作为一项基本的计算机底层视觉任务，图像去雾引起了越来越多的计算机视觉领域的学者和人工智能公司的关注。早期的去雾方法往往通过采集同一场景的多幅图像经过计算图像深度信息，然后还原无雾图像。相比较而言，单幅图像去雾具有更为适用的应用场景，因此后续开发了一系列针对于单幅图像去雾的算法。其中大气散射模型被广泛用于解释雾天图像的摄取过程I(x)＝J(x)t(x)+A(1
‑
t(x))，其中I(x)是带雾图像，J(x)是清晰的无雾场景下的图像，A表示的是大气光值，t(x)是透射率。大多数的去雾方法通过估计透射率t(x)和大气光值A还原无雾图像。例如，何凯明等人在2009年提出的暗通道先验(DCP,Dark Channel Prior)算法通过假设室外无雾图像在某一通道中具有低强度值的先验假设估计透射率t(x)。但是当场景中的对象与大气光相似时，采取这样的估计往往是不准确的。随着深度学习的发展，提出了一系列基于卷积神经网络(CNN,Convolutional neural network)的图像去雾算法，与传统方法对比，基于CNN的方法通过间接预测透射率t(x)或者直接回归得到无雾图像，避免了传统方法物理参数估计不精确的问题。不同层次的特征图带有不同层次的信息，对不同层次特征图进行融合可以增强特征提取的能力。扩张卷积技术具有不牺牲空间分辨率的优点被广泛用于上下文信息聚合，但是被证明在去雾网络中采用简单的扩张卷积会带来网格伪影现象。对于雾度不均匀的场景，采用平等对待通道特征和像素级特征进行无雾图像的估计也往往是不准确的。

技术实现思路

[0004]本专利技术的目的在于提供一种基于上下文信息聚合和融合特征注意力的图像去雾方法，基于深度学习的方法，使用平滑扩张卷积替代传统的扩张卷积减小产生的网格伪影，通过融合特征注意力机制加权对待通道注意和像素级注意解决场景雾度不均匀、通道雾度不均造成去雾图像估计不准确的问题，采用一个自编码器的结构，使用上下文信息聚合网络融合不同层次的特征。
[0005]实现本专利技术目的的技术解决方案为：一种基于上下文信息聚合和融合特征注意力
的图像去雾方法，所述方法包括以下步骤：
[0006]步骤1，针对带雾图像，通过编码器提取图像的浅层特征；
[0007]步骤2，依据浅层特征，通过信息融合子网进行上下文信息聚合；
[0008]步骤3，通过解码器还原图像，获得去雾后的图像。
[0009]进一步地，步骤1中编码器包括依次连接的三个单元，每个单元均包括卷积层、Instance归一化层和ReLU激活层；三个单元卷积层的输出通道数均为64，卷积核的大小均为3，前两个卷积层的步距均为1，输出的特征图的尺度与输入图像相同，第三个卷积层的步距为2，将特征图的尺度缩小为原图像的1/2。
[0010]进一步地，步骤2所述依据浅层特征，通过信息融合子网进行上下文信息聚合，具体包括：
[0011]步骤2
‑
1，构建组结构，并将N个组结构依次串联形成多层级组结构；其中最后一个组结构包括平滑扩张卷积模块、残差特征注意模块，其他组结构除了包括平滑扩张卷积、残差特征注意块，还包括Instance归一化层和ReLU激活层；
[0012]步骤2
‑
2，将经过步骤1浅层特征提取后图像输入至所述多层级组结构，之后提取M个不同层级的组结构输出的特征图输入至融合子网中，进行上下文信息聚合；所述M<N。
[0013]进一步地，步骤2
‑
1中平滑扩张卷积模块具体为：在扩张卷积前添加卷积核大小为(2r
‑
1)的分离共享卷积层，r为扩张率，r>1。
[0014]进一步地，步骤2
‑
1中残差特征注意模块包括上分支和下分支，下分支的输出与上分支的输出采用元素加的操作；
[0015]其中，上分支包括依次串联的一个局部的残差学习单元、通道注意力单元和像素级注意力单元；
[0016](1)残差学习单元包括两个卷积层：
[0017]F
c
＝Conv(δ(Conv(F
in
))+F
in
)
[0018]式中，两个卷积层均为输出通道数为64的卷积，F
in
为残差学习的输入，δ为ReLU激活函数，F
c
为残差学习的输出，也即通道注意力的输入；
[0019](4)通道注意力单元具体为：
[0020]对输入特征图F
c
使用全局平均池化将通道全局信息纳入通道描述符，通过全局平均池化函数H
p
将特征图的形状从C
×
H
×
W调整成C
×1×
1，得到特征图H
p
(F
c
)：
[0021][0022]式中，H和W分别表示特征图的宽、高，C是通道数，X
c
(i,j)为每一个通道在空间处(i,j)的像素；
[0023]之后将特征图经过两个卷积层Conv，sigmoid(σ)和ReLU(δ)激活，得到CA
c
：
[0024]CA
c
＝σ(Conv(δ(Conv(H
p
(F
c
))))
[0025]对CA
c
与输入特征图F
c
进行元素积，得到带权重的通道特征即通道注意力
[0026][0027](5)像素级注意力单元具体为：
[0028]对通道注意力进行卷积激活操作，将特征图的形状由C
×
H
×
W调整为1
×
H
×
W，
得到的结果为PA：
[0029][0030]对PA与通道注意力进行元素积操作：
[0031][0032]其中，下分支包括一个瓶颈结构，该结构包括依次设置的1
×
1，3
×
3，1
×
1三层卷积，其中3
×
3卷积层的通道数设置为25本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于上下文信息聚合和融合特征注意力的图像去雾方法，其特征在于，所述方法包括以下步骤：步骤1，针对带雾图像，通过编码器提取图像的浅层特征；步骤2，依据浅层特征，通过信息融合子网进行上下文信息聚合；步骤3，通过解码器还原图像，获得去雾后的图像。2.根据权利要求1所述的基于上下文信息聚合和融合特征注意力的图像去雾方法，其特征在于，步骤1中编码器包括依次连接的三个单元，每个单元均包括卷积层、Instance归一化层和ReLU激活层；三个单元卷积层的输出通道数均为64，卷积核的大小均为3，前两个卷积层的步距均为1，输出的特征图的尺度与输入图像相同，第三个卷积层的步距为2，将特征图的尺度缩小为原图像的1/2。3.根据权利要求1所述的基于上下文信息聚合和融合特征注意力的图像去雾方法，其特征在于，步骤2所述依据浅层特征，通过信息融合子网进行上下文信息聚合，具体包括：步骤2
‑
1，构建组结构，并将N个组结构依次串联形成多层级组结构；其中最后一个组结构包括平滑扩张卷积模块、残差特征注意模块，其他组结构除了包括平滑扩张卷积、残差特征注意块，还包括Instance归一化层和ReLU激活层；步骤2
‑
2，将经过步骤1浅层特征提取后图像输入至所述多层级组结构，之后提取M个不同层级的组结构输出的特征图输入至融合子网中，进行上下文信息聚合；所述M＜N。4.根据权利要求3所述的基于上下文信息聚合和融合特征注意力的图像去雾方法，其特征在于，步骤2
‑
1中平滑扩张卷积模块具体为：在扩张卷积前添加卷积核大小为(2r
‑
1)的分离共享卷积层，r为扩张率，r＞1。5.根据权利要求3所述的基于上下文信息聚合和融合特征注意力的图像去雾方法，其特征在于，步骤2
‑
1中残差特征注意模块包括上分支和下分支，下分支的输出与上分支的输出采用元素加的操作；其中，上分支包括依次串联的一个局部的残差学习单元、通道注意力单元和像素级注意力单元；(1)残差学习单元包括两个卷积层：F
c
＝Conv(δ(Conv(F
in
))+F
in
)式中，两个卷积层均为输出通道数为64的卷积，F
in
为残差学习的输入，δ为ReLU激活函数，F
c
为残差学习的输出，也即通道注意力的输入；(2)通道注意力单元具体为：对输入特征图F
c
使用全局平均池化将通道全局信息纳入通道描述符，通过全局平均池化函数H
p
将特征图的形状从C
×
H
×
W调整成C
×1×
1，得到特征图H
p
(F
c
)：式...

【专利技术属性】
技术研发人员：牟家正，李吟，王圣东，王成，冯晶晶，林荣飞，刘英杰，卞浩，沈达程，
申请(专利权)人：中国船舶集团有限公司第七一六研究所中船重工信息科技有限公司，
类型：发明
国别省市：