一种基于半监督域转换神经网络的图像去雾系统及其方法技术方案

本发明专利技术公开了一种基于半监督域转换神经网络的图像去雾系统，1)通过可微结构方法搜索神经网络获得编码单元和解码单元；2)用搜索到的编码器单元搭建合成有雾域编码器E

【技术实现步骤摘要】
一种基于半监督域转换神经网络的图像去雾系统及其方法


[0001]本专利技术涉及图像处理技术与机器学习领域，尤其涉及一种基于半监督域转换神经网络的图像去雾系统及其方法。

技术介绍

[0002]雾霾是一种常见的天气现象。在雾霾天气下，空气中悬浮着大量的由水、灰尘等物质组成的气溶胶颗粒。光线穿过这些气溶胶颗粒时会发生散射，光照强度会衰减，光路会偏折。散射造成的失焦、光照不足会引起成像降质。此外，这些气溶胶颗粒还会对环境光进行散射。由于气溶胶颗粒对不同频率的光线的散射影响不同，所以还会使景物产生一定的色偏。
[0003]研究人员提出了大气散射模型
[1]用来描述雾霾天气对成像的影响：
[0004]I(x)＝J(x)t(x)+A(1
‑
t(x))
[0005]其中I(x)代表雾天观测到的图像，J(x)代表景物无雾状态下的成像，A是全局大气光，x代表像素的坐标。t(x)是图像的传输率，与景物距离镜头的距离有关。
[0006]根据大气散射模型利用单幅有雾图像恢复无雾图像是一个病态问题。早期的去雾算法基于一些统计学线索实现求解。例如暗通道先验算法(DCP)
[2]和颜色先验算法(CAP)
[3]，通过先验知识对大气散射模型中的参数进行估计从而求解出无雾图。神经网络拥有强大的表征能力，可以挖掘到很多难以通过人工统计获得的先验知识。Cai等
[4]提出了基于卷积神经网络估计传输率的去雾算法。随后，基于神经网络的去雾算法不断发展，多尺度机制，注意力机制，特征融合等特性被应用到神经网络之中
[5]‑
[11]。因为难以获得相同场景下成对的有雾图和无雾图，上述基于神经网络的方法均使用大气散射模型生成的合成数据进行有监督训练。然而真实雾的特性远比大气散射模型要复杂，导致这些方法在合成的测试集上有很好的表现，但是在真实场景下的泛化能力偏弱，对于真实有雾图的去雾能力有限。为了提升神经网络在真实有雾图上的去雾表现，研究员们提出无监督或半监督的网络模型。Li等人
[12]提出半监督的去雾网络，可以同时使用合成的成对数据集和真实的非成对数据集进行训练。作为损失函数训练去雾网络。Park等人
[16]将CycleGAN和条件GAN结合训练去雾网络。Shao等人
[17]引入CycleGAN实现合成数据和真实数据之间的域转换，并分别训练了合成图去雾网络和真实图去雾网络。

技术实现思路

[0007]针对现有技术存在的问题，本专利技术提出一种基于半监督域转换神经网络的图像去雾系统，该系统通过域转换框架实现图像在合成有雾域，真实有雾域，清晰域之间的转换。其中，将合成有雾图像转换为真实有雾域可以生成更接近实际情况的伪真实有雾图像。利用生成的伪真实有雾图像有监督地训练去雾网络，可以提高去雾网络在真实有雾图上的去雾表现，详见下文描述：
[0008]为了解决现有技术问题，本专利技术采用如下技术方案：
[0009]一种基于半监督域转换神经网络的图像去雾系统，图像去雾系统包括如下步骤：
[0010]1)通过可微结构方法搜索神经网络获得编码单元和解码单元；
[0011]2)用搜索到编码器单元搭建合成有雾域编码器E
S
(
·
)和真实有雾域编码器E
R
(
·
)；用搜索到的解码器单元搭建清晰域解码器D
C
(
·
)和真实有雾域解码器D
R
(
·
)；同时，搭建清晰域鉴别器Dis
C
(
·
)和真实有雾域鉴别器Dis
R
(
·
)；
[0012]3)通过搜索的编码器和解码器搭建半监督域转换框架，所述半监督域转换框架包括：
[0013]合成有雾域编码器E
S
(
·
)和清晰域解码器D
C
(
·
)构成去合成雾网络S2C；
[0014]真实有雾域编码器E
R
(
·
)和真实有雾域解码器D
R
(
·
)构成重构真实雾网络R2R；
[0015]合成有雾域编码器E
S
(
·
)和真实有雾域解码器D
R
(
·
)构成数据增广网络S2R；
[0016]真实有雾域编码器E
R
(
·
)和清晰域解码器D
C
(
·
)构成去真实雾网络R2C；
[0017]4)通过预训练的数据增广网络S2R扩展合成有雾数据生成伪真实有雾域；
[0018]5)将预训练的去合成雾网络S2C和去真实雾网络R2C融合搭建通用去雾网络G(
·
)，并使用合成有雾域数据、真实有雾域数据和伪真实有雾域数据半监督地训练通用去雾网络G(
·
)。
[0019]进一步，图像去雾系统包括编码器、解码器和其中的搜索模块的结构为：
[0020]编码器的由前置卷积和3个编码单元组成，其中：前置卷积的卷积核大小为4
×
4，卷积步长为2，激活函数为ReLU函数；编码单元由3个卷积核大小为3
×
3的卷积层组成；卷积层与ReLU激活函数间加入了实例归一化；编码器的输出由3个编码单元的输出在通道维度上拼接而成；
[0021]解码器由解码单元和后置卷积组成；解码单元的输出特征经2倍上采样后送入后置卷积，后置卷积的卷积核大小为3
×
3；
[0022]编解码器中的3个卷积层之间加入了密集连接的跳线；待搜索模块位于每根跳线上,所有模块中卷积的卷积核大小均为3
×
3；其中：
[0023]在搜索过程中，每根跳线的输出是搜索空间中四种模块输出的线性组合；在搜索时每处跳线可以表示为：
[0024][0025]其中O
i
(
·
)为搜索空间中的四种模块，α
i
为每个模块的组合系数。
[0026]进一步，所述清晰域鉴别器Dis
C
(
·
)和真实有雾域鉴别器Dis
R
(
·
)鉴别器均由5层卷积核大小为4
×
4的卷积构成，前3层卷积步长为2，后两层卷积步长为1；前四层卷积的激活函数为LeakyReLU,斜率为0.2；卷积层和激活函数之间引入批归一化；最后一层卷积的激活函数为Sigmoid函数。
[0027]进一步，所述半监督域转换框架预训练过程在每次迭代中按照去合成雾网络S2C
→
重构真实雾网络R2R
→
数据增广网络S2R
→
去真实雾网络R2C的顺序交替训练，其中：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于半监督域转换神经网络的图像去雾系统，其特征在于，图像去雾系统包括如下步骤：1)通过可微结构方法搜索神经网络获得编码单元和解码单元；2)用搜索到的编码单元搭建合成有雾域编码器E
S
(
·
)和真实有雾域编码器E
R
(
·
)；用搜索到的解码器单元搭建清晰域解码器D
C
(
·
)和真实有雾域解码器D
R
(
·
)；同时，搭建清晰域鉴别器Dis
C
(
·
)和真实有雾域鉴别器Dis
R
(
·
)；3)通过搜索的编码器和解码器搭建半监督域转换框架，所述半监督域转换框架包括：合成有雾域编码器E
S
(
·
)和清晰域解码器D
C
(
·
)构成去合成雾网络S2C；真实有雾域编码器E
R
(
·
)和真实有雾域解码器D
R
(
·
)构成重构真实雾网络R2R；合成有雾域编码器E
S
(
·
)和真实有雾域解码器D
R
(
·
)构成数据增广网络S2R；真实有雾域编码器E
R
(
·
)和清晰域解码器D
C
(
·
)构成去真实雾网络R2C；4)通过预训练的数据增广网络S2R扩展合成有雾数据生成伪真实有雾图像；5)将预训练的去合成雾网络S2C和去真实雾网络R2C融合搭建通用去雾网络G(
·
)。2.根据权利要求1所述的一种基于半监督域转换神经网络的图像去雾系统，其特征在于，图像去雾系统包括编码器和解码器的结构为：编码器的由前置卷积和3个编码单元组成，其中：前置卷积的卷积核大小为4
×
4，卷积步长为2，激活函数为ReLU函数；编码单元由3个卷积核大小为3
×
3的卷积层组成；卷积层与ReLU激活函数间加入了实例归一化；编码器的输出由3个编码单元的输出在通道维度上拼接而成；解码器由解码单元和后置卷积组成；解码单元的输出特征经2倍上采样后送入后置卷积，后置卷积的卷积核大小为3
×
3；编解码器中的3个卷积层之间加入了密集连接的跳线；待搜索模块位于每根跳线上,所有模块中卷积的卷积核大小均为3
×
3；其中：在搜索过程中，每根跳线的输出是搜索空间中四种模块输出的线性组合；在搜索时每处跳线可以表示为：其中O
i
(
·
)为搜索空间中的四种模块，α
i
为每个模块的组合系数。3.根据权利要求1所述的一种基于半监督域转换神经网络的图像去雾系统，其特征在于，所述清晰域鉴别器Dis
C
(
·
)和真实有雾域鉴别器Dis
R
(
·
)鉴别器均由5层卷积核大小为4
×
4的卷积构成，前3层卷积步长为2，后两层卷积步长为1；前四层卷积的激活函数为LeakyReLU,斜率为0.2；卷积层和激活函数之间引入批归一化；最后一层卷积的激活函数为Sigmoid函数。4.根据权利要求1所述的一种基于半监督域转换神经网络的图像去雾系统，其特征在于，所述半监督域转换框架预训练过程在每次迭代中按照去合成雾网络S2C
→
重构真实雾网络R2R
→
数据增广网络S2R
→
去真实雾网络R2C的顺序交替训练，其中：使用合成有雾数据训练去合成雾网络S2C，其损失函数采用L1范数距离:
其中：I
S
表示合成有雾图，I
C
表示与I
S
匹配的清晰图；使用真实有雾数据训练重构真实雾网络R2R，其损失函数使用L1范数距离:使用合成有雾数据和真实有雾数据训练数据增广网络S2R，由于合成有雾图和真实有雾图并不匹配，引入真实有雾域鉴别器Dis
R
(
·
)进行无监督训练，其损失函数为：)进行无监督训练，其损失函数为：其中：损失函数用来训练合成有雾域编码器E
S
(
·
)和真实有雾域解码器D
R
(
·
)，损失函数用来训练真实有雾域鉴别器Dis
R
(
·
)；使用...

【专利技术属性】
技术研发人员：李岳楠，张匡世，
申请(专利权)人：天津大学，
类型：发明
国别省市：