一种基于图像风格迁移的雨雾天气交通流数据集扩增方法技术

本发明专利技术提供了一种基于图像风格迁移的雨雾天气交通流数据集扩增方法，获取正常天气与雨雾天气的交通流数据集以及目标路段的交通流图像序列，构造生成式对抗网络将正常天气数据集的场景转化为雨雾天气，其中先分割数据集中背景域与目标域，再将目标域样本与整幅图像样本分别送入对抗网络中进行风格迁移学习，然后将背景域图像送入分类器获取特定场景标签，完成雨雾天气场景数据集扩增，最后将训练好的网络模型带入目标路段图像序列中，获取目标路段场景雨雾天气扩增后的数据集。本发明专利技术提升了现有风格迁移图像的成像质量，增加迁移图像中目标的清晰度与可辨识度，算法训练过程稳定，可移植性强，适用于各种不同交通场景的雨雾天气数据及扩增。气数据及扩增。气数据及扩增。

【技术实现步骤摘要】
一种基于图像风格迁移的雨雾天气交通流数据集扩增方法


[0001]本专利技术涉及迁移学习与对抗网络技术，具体涉及一种基于图像风格迁移的雨雾天气交通流数据集扩增方法。

技术介绍

[0002]数量充足、标注完善的数据集是推进计算机视觉研究的基础，但是，创建这种数据集需要耗费大量人力物力。在交通领域，NGSIM(Next Generation Simulation)是应用最为广泛的基于图像的车辆数据集，然而许多研究表明NGSIM数据存在无法修补的错误，与之体量相当的真实数据集近年来并未推出；因此，合成数据集成为图像领域关注的焦点；然而，例如3D渲染、三维建模等单纯基于合成数据的数据集通常不适用于真实图像，这种情况的解决方法是使用风格迁移将真实数据集中的某种场景的目标与特征迁移到另一个场景中，即将已标记数据的源域学习到的知识转移到未标记数据的目标域；
[0003]雨雾天气影响可见光图像的成像质量，并进一步影响到图像中目标的清晰度与可辨识度。用于正常天气条件下的交通目标检测识别算法在雨雾天气下往往效果较差，因此有必要制作雨雾天气下交通流数据集，用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像风格迁移的雨雾天气交通流数据集扩增方法，其特征在于，包括：S1：获取正常天气条件下的交通流图片数据集D
n
与标签L
n
，获取雨雾天气条件下的交通流图片数据集D
a
与标签L
a
，获取一段目标路段的交通流视频图像序列D
t
；S2：根据正常天气条件下的交通流图片的标签L
n
从正常天气条件下的交通流图片数据集D
n
中分割目标域图像样本和背景域图像样本，根据雨雾天气条件下的交通流图片的标签L
a
从雨雾天气条件下的交通流图片数据集D
a
中分割目标域图像样本和背景域图像样本，所述背景域图像样本为交通流图片数据集中剥离目标域图像样本的图像样本；S3：构造无监督生成式对抗网络，将目标域图像样本与完整图像样本分别送入无监督生成式对抗网络中进行风格迁移学习，获取迁移后的目标域D
t,f
与迁移后的完整图像D
t,p
；S4：将正常天气条件下的交通流图片数据集D
n
与雨雾天气条件下的交通流图片数据集D
a
的背景域图像样本送入无监督生成式对抗网络中的分类器T
bg
，获取特定场景标签基于迁移后的目标域D
t,f
、迁移后的完整图像D
t,p
和特定场景标签形成交通流图片数据集从正常天气条件至雨雾天气条件的风格迁移模型；S5：将目标路段的交通流视频图像序列D
t
输入风格迁移模型中的分类器T
bg
，获取目标路段的交通流背景标签并生成对应的背景，将随机的迁移后的目标域D
t,f
映射至前述背景中，得到目标路段在雨雾天气条件下的交通流数据集D
ft
与标签L
ft
。2.根据权利要求1所述的基于图像风格迁移的雨雾天气交通流数据集扩增方法，其特征在于，所述步骤S1中正常天气条件下的交通流图片数据集D
n
中含标签图片的采集视角与目标路段的交通流视频图像序列D
t
的采集视角相同或相近，雨雾天气条件下的交通流图片数据集D
a
中含标签图片包括目标路段的交通流视频图像序列D
t
的采集视角的场景。3.根据权利要求1所述的基于图像风格迁移的雨雾天气交通流数据集扩增方法，其特征在于，所述步骤S1中正常天气条件下的交通流图片的标签L
n
、雨雾天气条件下的交通流图片的标签标签L
a
、目标路段在雨雾天气条件下的交通流标签L
ft
的类型为外接框或目标掩模，且三者类型一致。4.根据权利要求1所述的基于图像风格迁移的雨雾天气交通流数据集扩增方法，其特征在于，所述步骤S1中正常天气条件下的交通流图片数据集D
n
中含标签L
n
的图片总量大于5000张，雨雾天气条件下的交通流图片数据集D
a
中含标签图片总量大于100张。5.根据权利要求1所述的基于图像风格迁移的雨雾天气交通流数据集扩增方法，其特征在于，所述步骤S3中进行风格迁移学习的生成式对抗网络结构包括生成器G、判别器D、分类器T
bg
与稳定器St，其中：生成器G的输入包括正常天气条件下的交通流图片数据集D
n
与随机噪声，生成器G的输出为雨雾迁移图像D
t
；判别器D的输入为雨雾迁移图像D...

【专利技术属性】
技术研发人员：李志斌，
申请(专利权)人：东南大学，
类型：发明
国别省市：