一种基于双层交替深度网络的雾霾图像目标检测方法技术

本发明专利技术属于计算机视觉技术领域，公开了一种基于双层交替深度网络的雾霾图像目标检测方法，包括以下步骤：步骤1，基于大气散射模型构造网络训练数据集，并对其进行预处理操作；步骤2，将经过预处理的雾霾图像传递给浅层去雾网络，生成浅层去雾图像，浅层去雾网络由透射图生成网络和大气光图生成网络双分支网络构成；步骤3，将浅层去雾图像传递给

【技术实现步骤摘要】
一种基于双层交替深度网络的雾霾图像目标检测方法


[0001]本专利技术涉及计算机视觉
，具体的涉及一种基于双层交替深度网络的雾霾图像目标检测方法
。

技术介绍

[0002]雾霾图像目标检测是指在雾霾等低能见度或恶劣天气条件下，利用计算机视觉技术和图像处理方法，自动识别和定位图像中的目标物体
。
这项技术旨在通过分析图像中的特征和模式，准确地检测出雾霾天气下的各种目标，如车辆
、
行人
、
建筑物等，并将其位置信息以及其他相关属性提取出来，以支持各种应用领域，如交通安全
、
城市监控
、
灾害救援等
。
为了应对雾霾天气带来的挑战，雾霾图像目标检测任务在众多领域具有实际应用价值
。
[0003]雾霾图像目标检测方法可以划分为三类：
1)
采用目标检测方法直接预测雾霾图像
、2)
先采用去雾方法实现图像的雾霾去除，再采用目标检测方法预测去雾后的图像的方法
、3)
去雾与目标检测联合模型的方法实现雾霾图像目标检测
。
采用目标检测方法直接预测雾霾图像由于雾霾图像常常呈现出色调偏灰
、
能见度低
、
对比度降低等特点，给人朦胧
、
模糊的感觉，很难准确地从雾霾图像中检测目标
。
先采用去雾方法实现图像的雾霾去除，再采用目标检测的方法预测去雾后图像的方法使用两步完成目标检测任务，但目标检测的结果受去雾网络的影响，且网络复杂不易训练，网络鲁棒性和泛化性较低
。
尽管现有雾霾图像目标检测方法取得了一定进展，但是仍然存在一些缺陷，其中主要问题是很难满足通用性和鲁棒性的要求
。

技术实现思路

[0004]为了解决上述技术问题，本专利技术采用一种基于双层交替深度网络的雾霾图像目标检测网络框架，本专利技术设计了一个双层网络结构，在深层去雾阶段融合目标检测特征，使去雾网络关注检测的区域，提升检测性能
。
[0005]为了达到上述目的，本专利技术是通过以下技术方案实现的：一种基于双层交替深度网络的雾霾图像目标检测方法，所述方法包括以下步骤：
[0006]步骤
1、
基于大气散射模型构造网络训练数据集，并对其进行预处理操作；
[0007]步骤
2、
将经过预处理的雾霾图像传递给浅层去雾网络，生成浅层去雾图像；浅层去雾网络由透射图生成网络和大气光图生成网络双分支网络构成；
[0008]步骤
3、
将浅层去雾图像传递给
YOLOv3
检测网络与多尺度空间注意力模块
MSSAM
；
[0009]步骤
4、
将步骤2与步骤3的输出输入到融合模块进行特征融合，然后传递给深层去雾网络，生成深层去雾图像；
[0010]步骤
5、
将深层去雾图像输入
YOLOv3
检测网络，得出目标检测结果
。
[0011]进一步地，步骤1所述的基于大气散射模型构造网络训练数据集，并对其进行预处理操作，具体步骤如下：
[0012]步骤
1.1
，选取
VOC2007
训练与预测数据集和
VOC2012
训练与预测数据集中包含人
等物种目标
8111
张图像，构造
VOC_Norm
训练数据集；选取
VOC2007
测试数据集中包含人等物种目标的
2734
张图像，构造
VOC_Norm_test
测试数据集；
[0013]步骤
1.2
，将
VOC_Norm
训练数据集基于大气散射模型公式随机加雾，有雾图像与干净图像数量比为
2:1
，一共
24333
张图像，构造混合训练数据集；将
VOC_Norm_test
测试数据集基于大气散射模型公式随机加雾，生成
2734
张雾霾图像，构造
VOC_fog_test
测试数据集；
[0014]步骤
1.3
，选取包含
4322
张雾霾图像
RTTS
数据集构造
RTTS
测试数据集；最后将所有数据集中的
VOC
标注数据的图像标签转为
YOLO
标注数据；
[0015][0016]其中，
x
为图像像素点位置，
d(x)
为景深图，
ρ
为像素点到中心点的欧拉距离，
row
与
col
分别为图像的高与宽，根据图像尺寸生成对应图像大小的景深图
d(x)
；
i
为0‑9的随机整数，
β
为散射因子，每张图像随机初始化两个
i
值，生成随机的散射因子
β
；
t(x)
为透射图，由景深图
d(x)
与散射因子
β
生成对应的透射图
t(x)
；
I(x)
为雾霾图像，
GT(x)
为干净图像，
A(x)
为大气光图；
[0017]步骤
1.4、
将训练数据集中的图像尺寸调整为
512
×
512
，训练采用多尺度训练方式，再将图像按照
70
％
‑
150
％随机缩放或放大，并对随机缩放或放大后的图像进行数据增强操作进行归一化处理，输入图像的数据0‑
255
，归一化成0‑
1。
[0018]进一步地，透射图生成网络与大气光图生成网络，每个分支网络包括批量标准化
BN、
两个3×3卷积
、Relu
激活层和
Sigmoid
激活层，步骤2所述的将经过预处理的雾霾图像传递给浅层去雾网络，生成浅层去雾图像，具体操作如下：
[0019]输入一张雾霾图像
I(x)
，经过双分支网络分别输出与通过大气散射模型变换公式生成浅层去雾图像特征
J(x)
：
[0020][0021]步骤2生成与中间变量的网络构成具体操作如下：
[0022][0023][0024][0025]其中，
I(x)
为浅层去雾网络的输入图像，输入图像尺寸为3×
512
×
512
；首先，经过批量标准化
BN
将输入图像
I(x)
标准化，为
BN
标准化后的图像特征；然后，经过两本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于双层交替深度网络的雾霾图像目标检测方法，其特征在于，所述方法包括以下步骤：步骤
1、
基于大气散射模型构造网络训练数据集，并对其进行预处理操作；步骤
2、
将经过预处理的雾霾图像传递给浅层去雾网络，生成浅层去雾图像；浅层去雾网络由透射图生成网络和大气光图生成网络双分支网络构成；步骤
3、
将浅层去雾图像传递给
YOLOv3
检测网络与多尺度空间注意力模块
MSSAM
；步骤
4、
将步骤2与步骤3的输出输入到融合模块进行特征融合，然后传递给深层去雾网络，生成深层去雾图像；步骤
5、
将深层去雾图像输入
YOLOv3
检测网络，得出目标检测结果
。2.
根据权利要求1所述的基于双层交替深度网络的雾霾图像目标检测方法，其特征在于，步骤1所述的基于大气散射模型构造网络训练数据集，并对其进行预处理操作，具体步骤如下：基于大气散射模型构造网络训练数据集：其中，
x
为图像像素点位置，
d(x)
为景深图，
ρ
为像素点到中心点的欧拉距离，
row
与
col
分别为图像的高与宽，根据图像尺寸生成对应图像大小的景深图
d(x)
；
i
为0‑9的随机整数，
β
为散射因子，每张图像随机初始化两个
i
值，生成随机的散射因子
β
；
t(x)
为透射图，由景深图
d(x)
与散射因子
β
生成对应的透射图
t(x)
；
I(x)
为雾霾图像，
GT(x)
为干净图像，
A(x)
为大气光图；将训练数据集中的图像尺寸调整为
512
×
512
，训练采用多尺度训练方式，再将图像按照
70
％
‑
150
％随机缩放或放大，并对随机缩放或放大后的图像进行数据增强操作进行归一化处理
。3.
根据权利要求2所述的基于双层交替深度网络的雾霾图像目标检测方法，其特征在于：步骤
1.1
所述的基于大气散射模型构造网络训练数据集，具体为：选取
VOC2007
训练与预测数据集和
VOC2012
训练与预测数据集中包含人等物种目标
8111
张图像，构造
VOC_Norm
训练数据集；选取
VOC2007
测试数据集中包含人等物种目标的
2734
张图像，构造
VOC_Norm_test
测试数据集；将
VOC_Norm
训练数据集基于大气散射模型公式随机加雾，有雾图像与干净图像数量比为
2:1
，一共
24333
张图像，构造混合训练数据集；将
VOC_Norm_test
测试数据集基于大气散射模型公式随机加雾，生成
2734
张雾霾图像，构造
VOC_fog_test
测试数据集；选取包含
4322
张雾霾图像
RTTS
数据集构造
RTTS
测试数据集；最后将所有数据集中的
VOC
标注数据的图像标签转为
YOLO
标注数据
。4.
根据权利要求1所述的基于双层交替深度网络的雾霾图像目标检测方法，其特征在于：透射图生成网络与大气光图生成网络，每个分支网络包括批量标准化
BN、
两个3×3卷积
、Relu
激活层和
Sigmoid
激活层，步骤2所述的将经过预处理的雾霾图像传递给浅层去雾
网络，生成浅层去雾图像，具体操作如下：输入一张雾霾图像
I(x)
，经过双分支网络分别输出与通过大气散射模型变换公式生成浅层去雾图像特征
J(x)
：
5.
根据权利要求4所述的基于双层交替深度网络的雾霾图像目标检测方法，其特征在于：步骤2生成与中间变量的网络构成具体操作如下：中间变量的网络构成具体操作如下：中间变量的网络构成具体操作如下：其中，
I(x)
为浅层去雾网络的输入图像，输入图像尺寸为3×
512
×
512
；首先，经过批量标准化
BN
将输入图像
I(x)
标准化，为
BN
标准化后的图像特征；然后，经过两分支网络分别输出与与与为浅层去雾网络输出的等效大气光图与透射图，在每一个分支网络中，第一个卷积层输出特征维度为
12
×
512
×
512
，经过第二个卷积层输出特征维度为3×
512
×
512
；
Conv3×3为3×3卷积操作，表示级联操作
。6.
根据权利要求1所述的基于双层交替深度网络的雾霾图像目标检测方法，其特征在于：步骤3所述的将浅层去雾图像特征传递给
YOLOv3
检测网络与多尺度空间注意力模块
MSSAM
，具体步骤如下：步骤
3.1
，目标检测特征提取部分，将浅层去雾图像输入
YOLOv3
检测网络输出目标检测，提取目标检测的三种尺寸特征；步骤
...

【专利技术属性】
技术研发人员：尹海涛，杨鹏程，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：