一种生成数据集网络模型及雾图生成方法技术

本申请涉及图像处理技术领域，尤其涉及一种生成数据集网络模型及雾图生成方法包括：图像编码模块、耦合生成对抗网络模块、对抗判别模块和合成模块；图像编码模块包括干净图数据集输入端口及雾图数据集输入端口，耦合生成对抗网络模块包括第一生成单元及第二生成单元，对抗判别模块包括第一判别器及第二判别器；第一生成单元包括第一编码器、共享潜在图像域和第一解码器，第二生成单元包括第二编码器、共享潜在图像域和第二解码器。在实际应用过程中，本申请提出了基于耦合生成对抗网络的神经网络框架，通过网络迭代训练过程中采用半监督学习策略和特定的组合损失函数，使得网络生成的图像能够学习到真实图像的深度信息，使得图像更具真实性。像更具真实性。像更具真实性。

【技术实现步骤摘要】
一种生成数据集网络模型及雾图生成方法


[0001]本申请涉及图像处理
，尤其涉及一种生成数据集网络模型及雾图生成方法。

技术介绍

[0002]随着神经网络技术的发展与成熟，神经网络技术的图像应用领域越来越多，然而神经网络需要大量的图像数据进行训练才能获得良好的性能，所以收集大量的高质量图像数据集对于神经网络的深度学习是必不可缺的。
[0003]传统的雾天图像数据集的获取，通常采用人工合成的方式得到图像数据集。雾天图像数据集的生成，首先需要通过暗通道方法获取干净的图像特征，再使用大气散射模型模拟有雾图像，从而在干净图像的基础上，制作人工合成的雾天图像数据集。
[0004]但是传统人工合成图像数据集无法真实地反映实际雾天图像的分布，由于处理的叠加误差以及未考虑各种降质因素组合的随机性及其相互作用等，重建合成雾图的结果并不理想。使用人工合成雾天图像数据集训练出来的神经网络在真实雾天环境中，进行目标检测效果不佳。

技术实现思路

[0005]为了解决现有技术中传统人工合成图像数据集无法真实地反映世界图像的分布,所训练出来的神经网络在真实环境中，进行目标检测效果不佳，且，制作过程较为耗时的问题，本申请实施例提供了一种生成数据集网络模型，包括：图像编码模块、耦合生成对抗网络模块、对抗判别模块和合成模块；
[0006]所述图像编码模块包括干净图数据集输入端口及雾图数据集输入端口，所述耦合生成对抗网络模块包括第一生成单元及第二生成单元，所述对抗判别模块包括第一判别器及第二判别器；所述第一生成单元包括第一编码器、共享潜在图像域和第一解码器，所述第二生成单元包括第二编码器、所述共享潜在图像域和第二解码器；
[0007]所述干净图数据集输入端口用于读取干净图数据集，所述第一编码器用于将干净图数据集进行特征的提取，所述共享潜在图像域用于存储提取后的特征，所述第一解码器用于读取所述共享潜在图像域存储的特征并将特征输送至所述第一判别器，所述第一判别器用于将特征提取后的干净图数据集进行重建；
[0008]所述雾图数据集输入端口用于读取雾图数据集，所述第二编码器用于将雾图数据集进行特征的提取，所述共享潜在图像域用于存储提取后的特征，所述第二解码器用于读取所述共享潜在图像域存储的特征并将特征输送至所述第二判别器，所述第二判别器用于将特征提取后的雾图数据集进行重建；
[0009]所述合成模块将重建后的干净图数据集和重建后的雾图数据集结合成合成雾图。
[0010]进一步的，所述生成数据集网络模型通过以下损失函数进行优化：耦合生成对抗损失函数、重建损失函数、感知损失函数、L1损失函数和总变分损失函数。
[0011]进一步的，一种生成数据集网络模型，所述耦合生成对抗损失函数，具体为：
[0012]L
生成
＝L
GAN
(D
h
,J
h
,G
h
(I
c
))+L
GAN
(D
c
,J
c
,G
c
(I
h
))；
[0013]其中，L
生成
为耦合生成对抗损失函数，L
GAN
为经典生成对抗损失模型函数，D
h
为判别干净图像域，J
h
为网络输入的原始真实的干净图像数据集，G
h
基于潜在特征分布生成的干净图像数据集，I
c
为随机噪声分布的雾图像域，D
c
为判别雾图像域，J
c
为网络输入的原始真实的雾图像数据集，G
c
为基于潜在特征分布生成的雾图像数据集，I
h
为随机噪声分布的干净图像数据集；
[0014]所述经典生成对抗损失模型函数，具体为：
[0015]L
GAN
＝P
J
[logD(J)]+P
I
[log(1
‑
D(Gen(I))]；
[0016]其中，L
GAN
为经典生成对抗损失模型函数，P
J
为网络输入的原始真实的图像数据集的分布函数的期望值，D为判别网络，J为网络输入的原始真实的图像数据集，P
I
为随机噪声分布的分布函数的期望值，Gen(I)为基于随机噪声生成的样本；
[0017]所述重建损失函数，具体为：
[0018]L
重建
＝||G
C
(E
C
(J
C
)
‑
J
C
)||+||G
h
(E
h
(J
h
)
‑
J
h
)||；
[0019]其中，L
重建
为重建损失函数，G
C
为生成网络基于特征对雾图图像进行生成，E
C
为对雾图图像进行编码，J
C
为网络输入原始真实的雾图图像，G
h
为生成网络基于特征对干净图图像进行生成，E
h
为对干净图图像进行编码，J
h
为网络输入原始真实的干净图图像；
[0020]所述感知损失函数，具体为：
[0021][0022]其中，L
p
为感知损失函数，为卷积神经网络VGG16中提取出的网络生成图像和原始对照图像的特征，G
C
为生成网络基于特征对雾图图像进行生成，I
c
为随机噪声分布的雾图像域，J
h
为网络输入的原始真实的干净图像数据集，G
h
为生成网络基于特征对干净图图像进行生成，I
h
为随机噪声分布的干净图像数据集，J
C
为网络输入原始真实的雾图图像；
[0023]所述L1损失模型函数，具体为：
[0024]L1＝||G
c
(I
c
)
‑
J
h
||
±
||G
h
(I
h
)
‑
J
c
||；
[0025]其中，L1为L1损失模型函数，G
C
为生成网络基于特征对雾图图像进行生成，I
c
为随机噪声分布的雾图像域，J
h
为网络输入的原始真实的干净图像数据集，G
h
为生成网络基于特征对干净图图像进行生成，I
h
为随机噪声分布的干净图像数据集，J
C
为网络输入原始真实的雾图图像；
[0026]所述总变分损失函数，具体为：
[0027][0028]其中，L
变分
为总变分损失本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成数据集网络模型，其特征在于，包括：图像编码模块、耦合生成对抗网络模块、对抗判别模块和合成模块；所述图像编码模块包括干净图数据集输入端口及雾图数据集输入端口，所述耦合生成对抗网络模块包括第一生成单元及第二生成单元，所述对抗判别模块包括第一判别器及第二判别器；所述第一生成单元包括第一编码器、共享潜在图像域和第一解码器，所述第二生成单元包括第二编码器、所述共享潜在图像域和第二解码器；所述干净图数据集输入端口用于读取干净图数据集，所述第一编码器用于将干净图数据集进行特征的提取，所述共享潜在图像域用于存储提取后的特征，所述第一解码器用于读取所述共享潜在图像域存储的特征并将特征输送至所述第一判别器，所述第一判别器用于将特征提取后的干净图数据集进行重建；所述雾图数据集输入端口用于读取雾图数据集，所述第二编码器用于将雾图数据集进行特征的提取，所述共享潜在图像域用于存储提取后的特征，所述第二解码器用于读取所述共享潜在图像域存储的特征并将特征输送至所述第二判别器，所述第二判别器用于将特征提取后的雾图数据集进行重建；所述合成模块将重建后的干净图数据集和重建后的雾图数据集结合成合成雾图；所述生成数据集网络模型通过以下损失函数进行优化：耦合生成对抗损失函数、重建损失函数、感知损失函数、L1损失函数和总变分损失函数。2.根据权利要求1所述的一种生成数据集网络模型，其特征在于，所述耦合生成对抗损失函数，具体为：L
生成
＝L
GAN
(D
h
,J
h
,G
h
(I
c
))+L
GAN
(D
c
,J
c
,G
c
(I
h
))；其中，L
生成
为耦合生成对抗损失函数，L
GAN
为经典生成对抗损失模型函数，D
h
为判别干净图像域，J
h
为网络输入的原始真实的干净图像数据集，G
h
基于潜在特征分布生成的干净图像数据集，I
c
为随机噪声分布的雾图像域，D
c
为判别雾图像域，J
c
为网络输入的原始真实的雾图像数据集，G
c
为基于潜在特征分布生成的雾图像数据集，I
h
为随机噪声分布的干净图像数据集；所述经典生成对抗损失模型函数，具体为：L
GAN
＝P
J
[logD(J)]+P
I
[log(1
‑
D(Gen(I))]；其中，L
GAN
为经典生成对抗损失模型函数，P
J
为网络输入的原始真实的图像数据集的分布函数的期望值，D为判别网络，J为网络输入的原始真实的图像数据集，P
I
为随机噪声分布的分布函数的期望值，Gen(I)为基于随机噪声生成的样本；所述重建损失函数，具体为：L
重建
＝||G
C
(E
C
(J
C
)
‑
J
C
)||+||G
h
(E
h
(J
h
)
‑
J
h
)||；其中，L
重建
为重建损失函数，G
C
为生成网络基于特征对雾图图像进行生成，E
C
为对雾图图像进行编码，J
C
为网络输入原始真实的雾图图像，G
h
为生...

【专利技术属性】
技术研发人员：王中风，陈思依，王美琪，
申请(专利权)人：南京大学，
类型：发明
国别省市：