一种基于YOLOv5的交通标志检测方法和系统技术方案

本发明专利技术公开了一种基于YOLOv5的交通标志检测方法和系统，通过使用在线离线混合数据增强方法实现数据集扩增，设计C2fGhost模块并基于该模块重构CSPDarkNet特征提取网络，能够在实现轻量化的同时获得更加丰富的梯度流信息；使用浅层特征P2取代深层特征P5进行预测，提高模型小目标检测能力；引入Efficient

【技术实现步骤摘要】
一种基于YOLOv5的交通标志检测方法和系统


[0001]本专利技术涉及计算机视觉技术和智能交通
，尤其涉及一种交通标志图像识别方法,具体来说是一种基于YOLOv5的交通标志检测方法，可应用于高级辅助驾驶技术和自动驾驶技术中的交通标志检测。

技术介绍

[0002]随着深度学习技术的发展，交通标志检测等计算机视觉技术的加入为高级驾驶辅助系统和自动驾驶系统带来革命性的突破。交通标志检测使用深度学习方法，从数字图像或视频帧中获取交通标志的位置和类别信息。通过检测限速、转向等交通标志，驾驶辅助系统可进行车速调整和车辆行驶路线规划，提高驾驶辅助系统的智能性和安全性，减少由于人为失误或不遵守交通规则造成的交通事故。
[0003]现有交通标志检测方法，至少存在如下技术问题：
[0004]首先，现有交通标志检测方法实时性差。许多模型通过增大的参数和FLOPs以实现更好的检测性能。然而，在实际的应用场景中，仅使用准确度作为模型评价指标已不够全面和客观，需要考虑速度、效率等多方面指标。受限于功耗和成本等因素，车辆平台上的计算资源往往有限，难以支持交通标志检测这种实时性要求极高的任务。
[0005]其次，现有交通标志检测方法对小尺寸目标检测的漏检率高。在交通标志检测任务中，不可避免地需要进行小目标检测。随着车辆前进，最初作为小目标出现的交通标志会随着距离的缩小而逐渐增大。小目标由于像素面积较小，其包含的颜色和特征信息较少，因此很难进行区分和定位。若车辆无法检测到小型交通标志，将会降低车辆反应时间并极大影响自动驾驶车辆的安全性能。因此，小目标检测精度的提高可以有效提升自动驾驶的安全性能。

技术实现思路

[0006]本专利技术提供一种基于YOLOv5的交通标志检测方法，用以解决或者至少部分解决现有交通标志检测方法检测实时性差和小尺寸目标检测的漏检率高的问题。
[0007]本专利技术的技术方案为一种基于YOLOv5的交通标志检测方法，包括以下几个步骤：
[0008]S1，准备数据集，使用在线离线混合数据增强方法对交通标志检测数据集进行预处理，以扩充数据集并减少Mosaic数据增强对小目标图像的损伤；
[0009]S2，构建基于YOLOv5的交通标志检测网络作为目标检测网络，并改进网络中的定位损失函数；
[0010]S3，对目标检测网络进行训练，采用目标检测损失函数，并使用混合精度训练、预热学习、余弦退火学习率和早停训练策略；
[0011]S4，采用置信度缩放蒸馏损失对训练后的目标检测网络模型进行知识蒸馏，最后利用加权的方式将目标检测损失函数和蒸馏损失函数结合，构成最终损失函数；
[0012]S5，使用OpenVINO训练后优化工具对知识蒸馏后的模型进行INT8量化。
[0013]进一步的，步骤S1的在线离线混合数据增强方法包括以下步骤：
[0014]S1.1，首先采用复制
‑
粘贴离线数据增强算法，基于图像上下文、比例信息进行粘贴，实现数据集扩增；
[0015]S1.2，然后采用概率Mosaic在线数据增强算法，根据图像中小尺度标注数量比重，决定使用Mosaic数据增强的概率；此处小尺度定义使用MS COCO数据集标准：将分辨率小于32像素
×
32像素的目标定义为小尺度标注，Mosaic使用概率计算方法为：
[0016][0017]其中n
S
为处理图片小尺度标注数量，n
all
为处理图片全部标注数量。
[0018]进一步的，步骤S2中所述基于YOLOv5的交通标志检测网络包括CSPDarkNet特征提取网络、特征融合网络和检测头三部分，具体实现方式如下：
[0019]所述CSPDarkNet特征提取网络的结构为：首先，使用CBS模块处理输入图片，得到浅层特征P1，然后，通过4组步长2的CBS模块和C2fGhost模块构成4级特征提取模块，进一步对浅层特征P1进行处理，依次得到P2
‑
P5，其中，P3和P4使用CBS连接，实现跨尺度特征融合和信息传递，作为特征融合模块的输入，同时将深层特征P5输入至SPPF结构得到融合输入特征，也作为特征融合模块的输入；
[0020]引入Efficient
‑
RepGFPN作为特征融合网络，其处理过程为：首先融合输入特征通过CBS和上采样操作得到第一融合特征，将低层特征映射到与高层特征相同的尺度，然后与原始特征P4经过CBS处理之后的特征进行连接，以保留原始特征的信息；接着通过Queen
‑
Fusion与CBS对特征进行处理得到第二融合特征，增强特征的表达能力，随后通过上采样操作恢复细节信息，将经过上采样的特征与特征P3进行连接，实现特征之间的信息传递和交互，再将输出信息经过第一Queen
‑
Fusion模块提升分辨率，并将此作为第一层输出F1，描述大尺度语义信息，同时将第一Queen
‑
Fusion模块的输出输入CBS模块进行处理，并与第二融合特征进行融合，保留原始信息，再通过第二Queen
‑
Fusion模块，将此时的特征作为第二层输出F2，描述中尺度语义信息；最后，将第二Queen
‑
Fusion模块的输出输入CBS模块进行处理，并与第一融合特征进行融合，再通过第三Queen
‑
Fusion模块，得到第三层输出F3，描述小尺度语义信息。
[0021]将F1、F2和F3分别输入到检测头，得到检测结果。
[0022]进一步的，步骤S2中，采用Wise
‑
IoU V3损失函数替代原有的CIoU损失函数作为定位损失函数，Wise
‑
IoU V3损失计算方法为：
[0023][0024][0025][0026][0027][0028]其中IoU为交并比，为IoU损失，(x，y)为预测框中心点坐标，(x
gt
，y
gt
)为标注框中心点坐标；W
g
和H
g
是最小封闭框的宽和高，β为离群度定义，为当前图片IoU损失，为当前批次图片IoU损失均值；α，β为超参，用于控制离群度和梯度收益，是Wise
‑
IoU惩罚项，用于显著放大普通质量锚框的IoU损失，是Wise
‑
IoU v1损失。
[0029]进一步的，步骤S3中，目标检测损失L
Detection
的计算公式如下；
[0030][0031][0032]其中，f
obj
为置信度损失，f
cl
为分类损失，f
bb
为定位损失，是真实边界框的置信度、类别概率和坐标信息，分别为目标检测网络预测边界框的置信度、类别概率和坐标信息，为使用sigmoid函数处理后的置信度值，该值作为定位损失和分类损失的权重；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于YOLOv5的交通标志检测方法，其特征在于，包括如下步骤：S1，准备数据集，使用在线离线混合数据增强方法对交通标志检测数据集进行预处理，以扩充数据集并减少Mosaic数据增强对小目标图像的损伤；S2，构建基于YOLOv5的交通标志检测网络作为目标检测网络，并改进网络中的定位损失函数；S3，对目标检测网络进行训练，采用目标检测损失函数，并使用混合精度训练、预热学习、余弦退火学习率和早停训练策略；S4，采用置信度缩放蒸馏损失对训练后的目标检测网络模型进行知识蒸馏，最后利用加权的方式将目标检测损失函数和蒸馏损失函数结合，构成最终损失函数；S5，使用OpenVINO训练后优化工具对知识蒸馏后的模型进行INT8量化。2.如权利要求1所述的一种基于YOLOv5的交通标志检测方法，其特征在于：步骤S1的在线离线混合数据增强方法包括以下步骤：S1.1，首先采用复制
‑
粘贴离线数据增强算法，基于图像上下文、比例信息进行粘贴，实现数据集扩增；S1.2，然后采用概率Mosaic在线数据增强算法，根据图像中小尺度标注数量比重，决定使用Mosaic数据增强的概率；此处小尺度定义使用MS COCO数据集标准：将分辨率小于32像素
×
32像素的目标定义为小尺度标注，Mosaic使用概率计算方法为：其中n
S
为处理图片小尺度标注数量，n
all
为处理图片全部标注数量。3.如权利要求1所述的一种基于YOLOv5的交通标志检测方法，其特征在于：步骤S2中所述基于YOLOv5的交通标志检测网络包括CSPDarkNet特征提取网络、特征融合网络和检测头三部分，具体实现方式如下：所述CSPDarkNet特征提取网络的结构为：首先，使用CBS模块处理输入图片，得到浅层特征P1，然后，通过4组步长2的CBS模块和C2fGhost模块构成4级特征提取模块，进一步对浅层特征P1进行处理，依次得到P2
‑
P5，其中，P3和P4使用CBS连接，实现跨尺度特征融合和信息传递，作为特征融合模块的输入，同时将深层特征P5输入至SPPF结构得到融合输入特征，也作为特征融合模块的输入；引入Efficient
‑
RepGFPN作为特征融合网络，其处理过程为：首先融合输入特征通过CBS和上采样操作得到第一融合特征，将低层特征映射到与高层特征相同的尺度，然后与原始特征P4经过CBS处理之后的特征进行连接，以保留原始特征的信息；接着通过Queen
‑
Fusion与CBS对特征进行处理得到第二融合特征，增强特征的表达能力，随后通过上采样操作恢复细节信息，将经过上采样的特征与特征P3进行连接，实现特征之间的信息传递和交互，再将输出信息经过第一Queen
‑
Fusion模块提升分辨率，并将此作为第一层输出F1，描述大尺度语义信息，同时将第一Queen
‑
Fusion模块的输出输入CBS模块进行处理，并与第二融合特征进行融合，保留原始信息，再通过第二Queen
‑
Fusion模块，将此时的特征作为第二层输出F2，描述中尺度语义信息；最后，将第二Queen
‑
Fusion模块的输出输入CBS模块进行处理，并与第一融合特征进行融合，再通过第三Queen
‑
Fusion模块，得到第三层输出F3，描述小尺度语义信息。
将F1、F2和F3分别输入到检测头，得到检测结果。4.如权利要求1所述的一种基于YOLOv5的交通标志检测方法，其特征在于：步骤S2中，采用Wise
‑
IoU V3损失函数替代原有的CIoU损失函数作为定位损失函数，Wise
‑
IoU V3损失计算方法为：计算方法为：计算方法为：计算方法为：计算方法为：其中IoU为交并比，为IoU损失，(x,y)为预测框中心点坐标，(x
gt
,y
gt
)为标注框中心点坐标；W
g
和H

【专利技术属性】
技术研发人员：曹越，宋建用，李子璇，
申请(专利权)人：武汉大学，
类型：发明
国别省市：