一种基于改进YOLOv5的雾霾天气下车辆检测方法技术

本发明专利技术提供一种基于改进YOLOv5的雾霾天气下车辆检测方法，该方法包括：通过大气散射模型生成两种不同浓度的数据集，制作针对雾霾天气的特有数据集；使用改进Mosaic增强方法进行数据预处理；构建基于YOLOv5的目标检测模型，在YOLOV5网络中添加具有更强的特征提取能力的Swin Transformer block提取特征，增添CBAM注意力机制；对目标检测模型进行迭代训练，获得改进YOLOv5的目标检测模型；将待检测的图像或视频流数据输入训练好的目标检测模型中，通过基于改进YOLOv5的车辆检测模型来进行雾霾天气场景下的车辆检测。本发明专利技术可以解决雾霾天气下数据采集到的图像灰度分布集中、图像信息差、色彩失真、车辆遮挡导致的错检、检测精度低且漏检率较高等问题。精度低且漏检率较高等问题。精度低且漏检率较高等问题。

【技术实现步骤摘要】
一种基于改进YOLOv5的雾霾天气下车辆检测方法


[0001]本专利技术属于计算机视觉目标检测
，尤其是设计一种基于改进YOLOv5的雾霾天气下车辆检测方法。

技术介绍

[0002]我国的汽车保有量已达到了4.08亿辆。随着汽车数量的不断增长和交通管理系统的不及时更新是城市道路交通拥堵的重要原因，构建出了全新的智能交通系统来替代传统交通系统，是未来发展的必然趋势，也是目前的研究热点。
[0003]在现实中，常常遇见雨雪、雾霾、沙尘等情况，在这些恶劣天气下，城市安防、高速监控、侦查监视的传感器性能会急剧下降甚至失效，导致计算机系统所采集到的图像出现细节丢失、噪声增加、对比度下降等退化问题，对图像特征提取、检测分割、目标识别等后期处理造成巨大影响。例如雾霾是最常见的影响视觉效果的极端天气，而此类恶劣天气条件造成的图像视觉扭曲会影响许多户外视觉系统的性能，从而对目标识别的准确率产生负面影响。
[0004]YOLOv5(具体为YOLOv5s)是YOLO家族中最新的检测模型，具有较快的推断(检测)速度。此外，YOLOv5s是一种轻量级模型，模型参数更少，约为通用YOLOv4的10%，这表明该模型可能更适合部署在嵌入式设备上进行实时对象检测。兼具检测速度快、准确率高的良好性能，结合以上优点，本研究尝试使用改进的YOLOv5对雾霾天气下车辆进行检测。以提高车辆在雾霾天气中车辆检测的准确率，同时降低误检和漏检率。

技术实现思路

[0005]针对现有技术存在的问题，本专利技术提供一种基于改进YOLOv5的雾霾天气下车辆检测方法，结合Swin Transformer block结构，以解决雾霾天气下数据采集到的图像灰度分布集中、图像信息差、色彩失真、车辆遮挡导致的错检、检测精度低且漏检率较高等问题。
[0006]本专利技术采用以下技术方案实现。
[0007]一种基于改进YOLOv5的车辆检测方法，其特征在于，所述方法包括如下步骤：步骤一：数据集的制作：制作雾霾天气的车辆目标检测数据集；步骤二：数据预处理：对S1中的数据进行图像预处理：采用改进Mosaic数据增强方法对车辆数据信息进行处理；步骤三：将S2预处理后的图像送入基于改进YOLOv5的车辆检测模型：在模型中结合先进的YOLOv5s和Swin
‑
transformer结构，同时加入CMBA自注意力机制；步骤四：将待检测的图像或视频流数据输入训练好的目标检测模型中，通过基于改进YOLOv5的车辆检测模型来进行雾霾天气场景下的车辆检测。
[0008]所述步骤一中雾霾天气的车辆目标检测数据集的构建具体过程如下：（1）采用BDD100K数据集为原始数据集，从中选取部分白天场景的图像数据；（2）通过大气散射模型生成轻微、中等和严重三种不同浓度的数据集进行扩充，扩
充到10000张，数据集包括训练集和测试集，比例为4：1；具体利用大气散射模型进行仿真，大气散射模型的数学表达式：，式中:为有雾图像；为无雾图像； 为透射率；为大气光值，取最大灰度图的像素点值作为大气光值；其中大气透射率预估值计算式为：，式中：表示散射系数，轻微设置为1.0，中等设置为1.5，严重设为2.0；为成像物体到成像设备之间的距离。
[0009]所述步骤二中对雾霾场景中图像进行预处理的具体过程如下：（1）利用改进的Mosaic数据增强方法是将八张图片进行随机裁剪、翻转、缩放和色域变换，根据拼接图片的矩形面积对灰色背景进行裁剪。将其按照预设顺序拼接在一张图片上，将图片缩放传入模型。
[0010]所述步骤三中的主干网络的具体过程如下：（1）使用比传统ResNet的网络具有更强的特征提取能力的Swin Transformer block作为主干网络提取特征，替换掉YOLOv5原始的最后C3层(即CSP瓶颈和三个CONVs)。Swin
‑
transformer是一种新型的分层视觉转换器骨干网络，它使用了一种多头自注意力机制，可以专注于一系列图像补丁，以编码全局、局部和上下文线索，具有一定的灵活性，特别是，它对来自前景对象、随机斑块位置和非显著背景区域的严重遮挡表现出较强的鲁棒性，适合于在雾霾天气下的车辆检测，两者的结合可以继承它们的优点，同时保留全局和局部特征，所以在架构上结合先进的YOLOv5s和Swin
‑
transformer结构；(2)结合YOLOv5s和Swin
‑
transformer结构可以提高雾霾天气下车辆检测的准确性，但是会导致检测到的边界框数量的检测误差，为了解决这个问题，通过在yolo.py中引入相应的attention模块的方式插入CBAM注意力机制，同时改变主干网络和输出端网络的C3结构实现，通过融合通道信息和空间信息来提取信息特征，可以从两个维度上加强低能见度目标的表征信息；(3)将经过步骤一、步骤二加雾和数据增强等预处理后，将608*608*3的图像输入Focus结构对图像进行切片和拼接，然后使用卷积层(CONV)生成输出304
×
304
×
12特征图，再经过一次32个卷积核的卷积操作，最终变成304
×
304
×
32的特征图。Focus模块可以减少模型的计算负荷，加快训练过程；(4)将步骤一中得到的304
×
304
×
32的特征图送入到改进后的YOLOv5主干网络的进行特征提取，由于骨干网末端特征映射的分辨率为20
×
20，在低分辨率特征映射上应用Swin
‑
transformer可以减少计算量，节省内存空间。这种集成可以弥补YOLOv5由于接受域有限而无法捕获全局和上下文信息的缺点，而Swin
‑
transformer可以捕获长距离依赖关系并保留不同的局部信息，提高了在雾霾条件下网络对车辆的特征信息能力；(5)将步骤二中得到的多尺度特征图送入网络的Neck模块，采用了FPN+PAN的结构，经过一个C3的卷积模块，再将特征层串行通过多个池化核大小为5
×
5的最大池化层，然后在通道方向进行concat拼接再做进一步融合，得到进行预测的特征图。通过 FPN 和 PAN 对图像进行多尺度特征融合，其中FPN 结构通过自顶向下进行上采样,上层特征图因为网络层数更深，包含的车辆语义信息也就更强，PAN 结构自底向上进行下采样,下层特征因为
经过的卷积层数较少，车辆的位置信息损失就更少，两个特征最后进行融合，使不同尺寸的特征图都包含图像语义信息和图像特征信息，保证了对不同尺寸的图片的准确预测。丰富了在雾霾条件下对车辆的图像语义信息和图像特征信息。
[0011]所述步骤四中车辆检测结果具体过程如下:（1）通过头部检测网络得到表示边界框偏移量、置信度、类别和先验框，且每个尺度输出都有三个不同尺寸的先验框。通过非极大值抑制输出的候选框映射成原图大小，框选出图像中的目标物体，最终得出检测结果。
[0012]本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进YOLOv5的雾霾天气下车辆检测方法，其特征在于，包括如下步骤：Step1：制作数据集：制作雾霾天气的车辆目标检测数据集；Step2：数据预处理：对Step1中的数据进行图像预处理：采用改进Mosaic数据增强方法对车辆数据信息进行处理；Step3：将Step2预处理后的图像送入基于改进YOLOv5的车辆检测模型：在模型中结合先进的YOLOv5s和Swin
‑
transformer结构，同时加入CMBA自注意力机制；Step4：将待检测的图像或视频流数据输入训练好的目标检测模型中，通过基于改进YOLOv5的车辆检测模型来进行雾霾天气场景下的车辆检测。2.根据权利要求1所述的一种基于改进YOLOv5的雾霾天气下车辆检测方法，其特征在于，在步骤Step1中的具体过程如下：Step1.1采用BDD100K数据集为原始数据集，从中选取部分白天场景的图像数据；Step1.2通过大气散射模型生成轻微、中等和严重三种不同浓度的数据集进行扩充，扩充到10000张，数据集包括训练集和测试集，比例为4：1；具体利用大气散射模型进行仿真，大气散射模型的数学表达式：式中:为有雾图像；为无雾图像； 为透射率；为大气光值，取最大灰度图的像素点值作为大气光值；其中大气透射率预估值计算式为：式中：表示散射系数，轻微设置为1.0，中等设置为1.5，严重设为2.0；为成像物体到成像设备之间的距离。3.根据权利要求2所述的一种基于改进YOLOv5的雾霾天气下车辆检测方法，其特征在于，所述步骤Step2中的具体过程如下：Step2.1 利用改进的Mosaic数据增强方法是将八张图片进行随机裁剪、翻转、缩放和色域变换，根据拼接图片的矩形面积对灰色背景进行裁剪。将其按照预设顺序拼接在一张图片上，将图片缩放传入模型。4.根据权利要求1所述的一种基于改进YOLOv5的雾霾天气下车辆检测方法，其特征在于，在步骤Step3中的具体过程如下：Step3.1使用比传统ResNet的网络具有更强的特征提取能力的Swin Transformer block作为主干网络提取特征，替换掉YOLOv5原始的最后C3层(即CSP瓶颈和三个CONVs)。Swin
‑
transformer是一种新型的分层视觉转换器骨干网络，它使用了一种多头自注意力机制，可以专注于一系列图像补丁，以编码全局、局部和上下文线索，具有一定的灵活性，特别是，它对来自前景对象、随机斑块位置和非显著背景区域的严重遮挡表现出较强的鲁棒性，适合于在雾霾天气下的车辆检测，两者的结合可以继承它们的优点，同时保留全局和局部特征，所以在架构上结合先进的YOLOv5s和Swin
‑
transformer结构；Step3.2具体结构流程如下：Step3.3结合YOLOv5s和Swin
‑
transformer结构可以提高雾霾天气下车辆检测的准确性，但是会导致检测到的边界框数量的检测误差，为...

【专利技术属性】
技术研发人员：翟双，李余光，李春涛，
申请(专利权)人：长春工业大学，
类型：发明
国别省市：