基于退化一致性的恶劣天气场景下目标检测方法技术

本发明专利技术公开了一种基于退化一致性的恶劣天气场景下目标检测方法，涉及图像处理技术领域。使用合成数据集作为完全标注的数据集，并辅以少量真实场景的恶劣天气图像，通过GCN网络将合成数据集转换为恶劣天气场景下的图像数据集；联合训练BDN和LCN网络，分别将真实恶劣天气场景下的图像与仿真合成的图像输入至网络，从而训练网络。其中，GCN网络使用图像

【技术实现步骤摘要】
基于退化一致性的恶劣天气场景下目标检测方法


[0001]本专利技术涉及图像处理
，具体为一种基于退化一致性的恶劣天气场景下目标检测方法，可用于恶劣天气场景下的目标检测、目标跟踪、自动驾驶等任务。

技术介绍

[0002]目标检测算法可以识别和定位所捕获图像的有价值的前景信息，被广泛用于自动驾驶、视频监控和增强现实中。然而在实际应用过程中，在图像质量良好的数据集上训练的目标检测器在恶劣天气场景图像中的检测性能会大幅度降低。通过收集大规模的恶劣天气场景的图像数据并标注目标可以缓解上述问题，然而该工作量需要耗费大量的人力、物力与财力。常见的恶劣天气有雨、雾、雪和霾，而现有的数据集如Foggy Cityscape、RTTS和UFDD，通常比大规模图像质量良好的下的数据集小，无法充分地训练检测器，而且经常出现过度拟合。
[0003]域适配技术或域迁移技术是缓解目标检测数据集不足的有效方法。源域由大量的带标注的图像质量良好的图像组成，而目标域由恶劣天气场景的小规模图像组成。然后在域适配技术中，往往存在目标特征缺失或者受损等问题。为了纠正受损的特征，提出了预对抗损失(Prior
‑
Adversarial Loss，PAL)和残差特征恢复模块(Residual Feature Recovery Block，RFRB)。然而，预损失采用两阶段的Faster R
‑
CNN作为基线检测器。Faster R
‑
CNN通过区域提议网络提取提议。恶劣的天气会导致Faster R<br/>‑
CNN的区域提议丢失，从而降低了最终的检测性能。先验损失的另一个不足之处是，特征增强只针对骨干网络的全局特征。但目标检测对局部特征更敏感，这也反映在恶劣的天气中。即使区域建议过程能够定位物体，恶劣的天气也会对物体的外观产生影响。在ROI集合特征被送入分类器后，这种影响可能导致类别被错误分类。
[0004]通过以上分析，目前在恶劣天气下的目标检测主要面临三个问题：缺乏注释的图像、两阶段检测器丢失目标和目标局部特征受损。为了解决上述问题，需要改进现有的恶劣天气场景下的目标检测识别方法。

技术实现思路

[0005]本专利技术为了解决恶劣天气场景下的目标检测中，存在缺乏注释的图像、两阶段检测器丢失目标和目标局部特征受损，使得目标检测准确率低的问题，提供了一种基于退化一致性的恶劣天气场景下目标检测方法。
[0006]本专利技术是通过如下技术方案来实现的：一种基于退化一致性的恶劣天气场景下目标检测方法，所述目标检测方法在目标检测网络中实现，所述目标检测网络DCN包括全局一致性网络GCN、基础检测网络BDN与局部一致性网络LCN，具体包括如下步骤：
[0007]1)良好的天气场景的图像用I
n
表示，包含真实场景下的天气良好图像与基于计算机图形合成的天气良好图像，真实恶劣天气场景的图像用I
i
表示；由于图像I
n
和图像I
i
在视觉上有明显的差异，因此将I
n
送入目标检测网络DCN之前，采用全局一致性网络GCN(即风格
迁移网络)将I
n
的风格翻译成I
i
，风格转移生成的图像由I
ns
表示，I
ns
为合成的恶劣天气图像；
[0008]2)联合训练基础检测网络BDN与局部一致性网络LCN：I
ns
和I
i
分别是合成后的恶劣天气图像和真实的恶劣天气场景的图像；图像I
ns
被输入到目标检测网络DCN，生成检测器的分数图，进行优化检测器；同时，由检测器产生的特征被输入到被输入到DCN网络的鉴别器，以产生鉴别器的预测值；
[0009]3)图像I
i
被输入到目标检测网络DCN，生成的目标特征被直接输入到鉴别器产生预测值；鉴别器用于区分特征来源于图像I
ns
还是I
i
；
[0010]4)重复步骤2)与3)，将I
ns
和I
i
被交替送入目标检测网络DCN；当性能验证指标开始下降或者训练轮数达到1000次，停止训练；
[0011]5)网络训练结束后，在测试阶段，将恶劣天气场景下的图像输入到目标检测器，得到目标的检测类别与位置，统计实验结果并计算包括目标识别的评价精度AP在内的指标分数。
[0012]本专利技术提出了基于退化一致性的恶劣天气场景下的目标检测方法(DCN)。DCN由三部分组成：全局一致性网络(Global Consistency Network，GCN)、基础检测网络(Base Detection Network，BDN)和局部一致性网络(Local Consistency Network，LCN)组成。使用合成数据作为完全注释的数据集，并辅以少量真实场景的恶劣天气图像，以缓解注释数据的稀缺性。GCN是一种图像到图像的风格转换技术，其有效性已经在目标检测的域适配方面得到了彻底的测试。DBN是一种单阶段检测器，用于消除RPN的不利影响。LCN是一个源于非配对除雾或除雨算法的网络。但是，LCN与传统的图像增强算法具有差异：传统的图像增强算法在提高图像可见度的方向上增强图像，而LCN在降低图像可见度的方向上增强图像。在实验中，DCN优于最先进的检测算法以及BDN和最先进的增强算法的组合。
[0013]与现有技术相比本专利技术具有以下有益效果：本专利技术所提供的一种基于退化一致性的恶劣天气场景下目标检测方法，GCN网络使用图像
‑
图像风格转换算法将大量合成数据集转换为了恶劣天气场景下的图像，有效缓解了恶劣天气场景下图像标注不足的问题。BDN网络使用无锚目标检测器作为基础检测器，从而避免区域机制在恶劣天气场景图像中导致目标丢失的问题。LCN用于微调合成图像产生的特征，使其在细节上更接近于原始恶劣天气场景下的低质量图像，三种网络的计算解决了实际恶劣天气场景下目标检测准确率低的问题。
附图说明
[0014]图1为本专利技术的网络框架图。
[0015]图2为本专利技术在恶劣天气场景下的目标检测结果图。
具体实施方式
[0016]以下结合具体实施例对本专利技术作进一步说明。
[0017]一种基于退化一致性的恶劣天气场景下目标检测方法，如图1所示：所述目标检测方法在目标检测网络中实现，所述目标检测网络DCN包括全局一致性网络GCN、基础检测网络BDN与局部一致性网络LCN，具体包括如下步骤：
[0018]1)良好的天气场景的图像用I
n
表示，包含真实场景下的天气良好图像与基于计算机图形合成的天气良好图像，真实恶劣天气场景的图像用I
i
表示；由于图像I
n
和图像I
i
在视觉上有明显的差异，因此将I
n
送入目标检测网络DCN之前，采用全局一致性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于退化一致性的恶劣天气场景下目标检测方法，其特征在于：所述目标检测方法在目标检测网络中实现，所述目标检测网络DCN包括全局一致性网络GCN、基础检测网络BDN与局部一致性网络LCN，具体包括如下步骤：1)良好的天气场景的图像用I
n
表示，包含真实场景下的天气良好图像与基于计算机图形合成的天气良好图像，真实恶劣天气场景的图像用I
i
表示；由于图像I
n
和图像I
i
在视觉上有明显的差异，因此将I
n
送入目标检测网络DCN之前，采用全局一致性网络GCN将I
n
的风格翻译成I
i
，风格转移生成的图像由I
ns
表示，I
ns
为合成的恶劣天气图像；2)联合训练基础检测网络BDN与局部一致性网络LCN：I
ns
和I
i
分别是合成后的恶劣天气图像和真实的恶劣天气场景的图像；图像I
ns
被输入到目标检测网络DCN，生成检测器的分数图，进行优化检测器；同时，由检测器产生的特征被输入到被输入到DCN网络的鉴别器，以产生鉴别器的预测值；3)图像I
i
被输入到目标检测网络DCN，生成的目标特征被直接输入到鉴别器产生预测值；鉴别器用于区分特征来源于图像I
ns
还是I
i
；4)重复步骤2)与3)，将I
ns
和I
i
被交替送入目标检测网络DCN；当性能验证指标开始下降或者训练轮数达到1000次，停止训练；5)网络训练结束后，测试网络；在测试阶段，将恶...

【专利技术属性】
技术研发人员：侯艳杰，吴思远，于建新，何华，于国涛，王竞克，谷鹏冲，陈军，王丽莉，李沛锦，闫河，
申请(专利权)人：中国人民解放军六三七二九部队，
类型：发明
国别省市：