基于贝叶斯框架下深度卷积神经网络的图像去雾方法技术

本发明专利技术涉及一种基于贝叶斯框架下深度卷积神经网络的图像去雾方法，属于图像处理技术领域。所述方法包括：首先，获取合成雾天图像数据集ITS作为训练集，对训练集完成贝叶斯模型建模；其次通过公式变换得到优化网络参数的函数；最后，将合成雾天图像数据集输入到深度卷积神经网络模型（BDCNet）中，在训练的过程中，通过新的损失函数计算损失率，不断迭代更新网络参数，得到最优去雾模型，进行图像去雾操作。本发明专利技术提出的模型不再依赖大气散射模型，可以直接通过模型学习图像特征，并结合先验知识更好的恢复图像细节。本发明专利技术提出模型的去雾结果在视觉上效果较佳，适用的场景范围更广。适用的场景范围更广。适用的场景范围更广。

【技术实现步骤摘要】
基于贝叶斯框架下深度卷积神经网络的图像去雾方法


[0001]本专利技术涉及图像处理领域，特别涉及基于贝叶斯框架下深度卷积神经网络的图像去雾方法。

技术介绍

[0002]雾霾天气下，大气中漂浮着的细小灰尘和水汽不仅会危害人体健康，雾霾天气下道路能见度降低，机器拍摄的图像也产生对比度下降，细节不清，色彩昏暗等问题。这些低质量的图片、视频对高级机器视觉系统产生了恶劣影响，如交通监控系统、无人驾驶系统、目标检测系统、摇杆系统等等。因此，图像去雾在提升后续高级视觉系统的识别能力起着至关重要的作用。
[0003]目前，国内外已有不少对图像去雾算法的研究，图像去雾算法可以分为两大类：第一类，基于先验知识的图像去雾方法；第二类，基于深度学习的图像去雾方法。
[0004]基于先验知识的图像去雾方法，需要研究人员需要找到有雾图像和清晰图像之间的共同特征，即先验知识。研究人员通过将先验知识和雾霾形成的物理机制结合，从而对图像进行去雾处理。He等人[1]假设清晰图像通常在至少一个通道中具有低强度值，提出了暗通道先验去雾算法(DCP)。DCP算法结合大气散射模型，是基于先验知识的图像去雾方法中最为经典的方法之一。然而，DCP模型无法满足所有有雾图像去雾，在天空区域和其他不满足暗通道先验的区域，会发生颜色失真，过度曝光等问题。Berman等人[2]发现在RGB空间中清晰图像的颜色形成紧密的集群，想到清晰图像的某一颜色或许可以通过其他百种颜色近似。在此先验知识的基础上使用了非局部先验(NLD)的方法进行去雾处理。显然，NLD模型更加容易产生颜色失真情况。Kratz和Nishino等人[3]使用阶乘MRF模型估计反照率和深度，交替最小化的规范期望以分解单个有雾图像，但是，使用该方法受限于计算机的计算性能，并且拥有较高的时间复杂度。尽管基于先验知识的图像去雾方法在许多场景下简单有效，但是真实的自然场景复杂多变并不是所有的先验知识都对其有效，对于特定场景下基于先验知识的图像去雾方法仍然存在局限性。此外，人工提取图像特征和先验知识需要进行深入研究，存在相当的困难性。
[0005]基于深度学习的图像去雾方法不再依赖于手工提取图像特征，而是通过模型训练过程中，学习并获取图像特征。近年来，许多研究人员尝试将深度学习的方法引入图像去雾领域以解决传统方法存在的不足。Cai等人[4]提出了一种具有新的BReLU激活函数的图像去雾模型(DehazeNet)，该模型通过卷积神经网络直接预测有雾图像的透射率图，再输入到大气散射模型中计算输出清晰图像。Li等人[5]提出了深度一体化模型(AOD
‑
Net)，将透射率图和大气光值用同一个变量代替，即将大气散射模型公式变形。随后，通过卷积神经网络对新变量进行了再次估计，形成无雾图像。AOD
‑
Net模型轻便快速，却只能去除薄雾图像的雾霾，在浓雾图像上效果欠佳。Mei等人[6]提出了一种渐进特征融合网络(PFFNet)，学习输入输出图像的非线性函数。该模型对高分辨率图像效果显著，但是，模型使用了反卷积方法，去雾图像会出现网格形状的噪声。基于深度学习的图像去雾方法研究最为广泛，但其除
的高斯分布，d是训练图像的长宽乘积，表示图像大小。将雾霾信息建模为等式(1
‑
1)，等式中图像的像素是非独立且均匀分布的高斯分布，以期望更好地拟合真实场景中的复杂雾霾信息。
[0013]在训练过程中，合成雾天数据集中的清晰图像x被用来估计潜在清晰图像z，假设在z上施加以下共轭高斯先验：
[0014]其中，参数ε0表示z和x之间的差异，当ε0无线趋近于0，表示潜在清晰图像z更接近数据集中真实的清晰图像x。假设有以下共轭先验：有以下共轭先验：
[0015]这里IG(
·
|α,β)是反伽玛分布，其参数为α和β,g(
·
；p)表示窗口大小为p的高斯滤波器,是y,x∈R
d
的矩阵形式，y是有雾图像，x是清晰图像。IG分布的模为ξ
i
，ξ
i
表示p
×
p窗口的高斯滤波器对方差图为的滤波输出。
[0016]进一步地，在步骤S2中，构造概率分布q(z,σ2|y)来近似后验概率分布p(z,σ2|y)，假设潜在清晰图像z和包含雾霾信息的参数σ2之间条件独立，得到等式(2
‑
1)：q(z,σ2|y)＝q(z|y)q(σ2|y)
ꢀꢀꢀ
(2
‑
1)。
[0017]对于训练集中有雾图像y及其清晰图像x，可以将其边际似然分解为如下形式：logp(y；z,σ2)＝L(z,σ2；y)+D
KL
(q(z,σ2|y)||p(z,σ2|y))
ꢀꢀꢀꢀꢀ
(3
‑
1)其中，
[0018]这里E
p(x)
[f(x)]表示f(x)对具有概率密度函数p(x)的随机变量x的期望。D
KL
表示变分近似后验q(z,σ2|y)和具有非负值的真实后验p(z,σ2|y)的两个概率分布信息熵的差值，称为KL散度。由于KL散度具有非负性，公式(3
‑
1)中等号右边第一项L(z,σ2；y)构成logp(y|z,σ2)的下界，通常称为证据下界(ELBO)。因此，有：logp(y:z,σ2)≥L(z,σ2；y)
ꢀꢀ
(3
‑
3)联立公式(2
‑
1)和公式(3
‑
2)，下界可以重写为：现在，得到优化网络参数的期望目标函数，如下所示：
[0019]进一步地，在步骤S3中，所述深度卷积神经网络模型，称为BDCNet，包括两大模块RNet和HNet。有雾图像将同时被输入RNet和HNet；RNet采用基于U
‑
Net的结构，共有3层编码层和3层解码层，中间用18个密集块连接。每一编码层由一层卷积和一层激活函数层组成，每一解码层由一层反卷积和一层激活函数层组成，密集块有三个相同模块组成，每一模块
的高斯分布，d是训练图像的长宽乘积，表示图像大小。将雾霾信息建模为等式(1
‑
1)，等式中图像的像素是非独立且均匀分布的高斯分布，以期望更好地拟合真实场景中的复杂雾霾信息。
[0028]在训练过程中，合成雾天数据集中的清晰图像x被用来估计潜在清晰图像z，假设在z上施加以下共轭高斯先验：
[0029]其中，参数ε0表示z和x之间的差异，当ε0无线趋近于0，表示潜在清晰图像z更接近数据集中真实的清晰图像x。假设有以下共轭先验：有以下共轭先验：
[0030]这里IG(
·
|α,β)是反伽玛分布，其参数为α和β,g(
·
；p)表示窗口大小为p的高斯滤波器,是y,x∈R
d
的矩阵形式，y是有雾图像，x是清晰图像。IG分布的模为ξ
i
，ξ
i
表示p<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于贝叶斯框架下深度卷积神经网络的图像去雾方法，包括：步骤S1、获取合成雾天图像数据集ITS作为训练集，对训练集完成贝叶斯模型建模；步骤S2、通过有雾图像y推断潜在清晰图像z和包含雾霾信息的参数σ2，即求解概率分布p(z,σ2|y)，构造概率分布q(z,σ2|y)来近似后验概率分布p(z,σ2|y)，随后，通过公式变换得到优化网络参数的函数步骤S3、将合成雾天图像数据集输入到深度卷积神经网络模型BDCNet中，在训练的过程中，通过新的损失函数计算损失率，不断迭代更新网络参数，得到最优去雾模型，进行图像去雾操作。2.如权利要求1所述的基于贝叶斯框架下深度卷积神经网络的图像去雾方法，其特征在于：在步骤S1中所述贝叶斯模型建模具体为：假设合成雾天图像的训练集为y
j
有雾图像，x
j
清晰图像，自然雾天图像y
j
生成过程如下：y
i
～N(y
i
|z
i
,σ2),i＝1,2...,d
ꢀꢀꢀꢀ
(1
‑
1)这里z∈R
d
是来自有雾图像y的潜在清晰图像，N(
·
|μ,σ2)表示均值为μ和方差为σ2的高斯分布，d是训练图像的长宽乘积，表示图像大小；将雾霾信息建模为等式(1
‑
1)，等式中图像的像素是非独立且均匀分布的高斯分布，以期望更好地拟合真实场景中的复杂雾霾信息；在训练过程中，合成雾天数据集中的清晰图像x被用来估计潜在清晰图像z，假设在z上施加以下共轭高斯先验：其中，参数ε0表示z和x之间的差异，当ε0无线趋近于0，表示潜在清晰图像z更接近数据集中真实的清晰图像x；假设有以下共轭先验：有以下共轭先验：这里IG(
·
|α,β)是反伽玛分布，其参数为α和β,g(
·
；p)表示窗口大小为p的高斯滤波器,是y,x∈R
d
的矩阵形式，y是有雾图像，x是清晰图像；IG分布的模为ξ
i
，ξ
i
表示p
×
p窗口的高斯滤波器对方差图为的滤波输出。3.根据权利要求1所述的基于贝叶斯框架下深度卷积神经网络的图像去雾方法，其特征在于：在步骤S2中，构造概率分布q(z,σ2|y)来近似后验概率分布p(z,σ2|y)，假设潜在清晰图像z和包含雾霾信息的参数σ2之间条件独立，得到等式(2
‑
1)：q(z,σ2|y)＝q(z|y)q(σ2|y)
ꢀꢀꢀ
(2
‑
1)对于训练集中有雾图像y及其清晰图像x，可以将其边际似然分解为如下形式：logp(y；z,σ2)＝L(z,σ2；y)+D
KL
(q(z,σ2|y)||p(z,σ2|y))
ꢀꢀꢀ
(3
‑
1)其中，
这里E
p(x)
[f(x)]表示f(x)对具有概率密度函数p(x)的随机变量x的期望；D
KL
表示变分近似后验q(z,σ2|y)和具有非负值的真实后验p(z,σ2|y)的两个概率分布信息熵的差值，称为KL散度；由于KL散度具有非负性，公式(3
‑
1)中等号右边第一项L(z,σ2；y)构成logp(y|z,σ2)的下界，通常称为证据下界ELBO；因此，有：logp(y:z,σ2)≥L(z,σ2；y)
ꢀꢀꢀ
(3
‑
3)联立公式(2
‑
1)和公式(3
‑
2)，下界可以重写为：现在，得到优化网络参数的期望目标函数，如下所示：4.根据权利要求1所述的基于贝叶斯框架的深度卷积神经网络的图像去雾...

【专利技术属性】
技术研发人员：严家佳，
申请(专利权)人：南京特殊教育师范学院，
类型：发明
国别省市：