一种基于特征多尺度融合的交通标志检测算法制造技术

本发明专利技术公开一种基于特征多尺度融合的交通标志检测算法，基于YOLOv5神经网络，对其中的颈部特征层和输出端进行改进，并将颈部特征层的深层特征与主干特征层的浅层特征进行多尺度融合；以交通标志样本图像、样本图像对应各环境因素为输入、交通标志样本图像所对应位置框位置信息标签和分类信息标签为输出，构建改进YOLOv5网络的待训练交通标志检测模型，通过包括用于衡量位置框信息划分准确度的损失函数，以及用于衡量分类信息识别精度的模型评价，待损失函数和模型评价均达到预定目标值后，获得交通标志检测模型。本发明专利技术提出了新的多尺度融合方式改进，并用在YOLOv5检测算法中，较原算法，交通标志检测性能有所提升。交通标志检测性能有所提升。交通标志检测性能有所提升。

【技术实现步骤摘要】
一种基于特征多尺度融合的交通标志检测算法


[0001]本专利技术属于目标检测和计算机视觉领域，特别涉及一种基于特征多尺度融合的交通标志检测算法。

技术介绍

[0002]交通标志检测的任务是在图像或视频中显示出交通标志的类别及位置。交通标志检测是自动驾驶和辅助驾驶的重要组成部分，交通标志中含有速度限制、路面状况等信息，是安全驾驶的重要一步，因此，对交通标志进行研究具有重要的理论和现实意义。
[0003]交通标志检测研究可划分为传统方法和基于深度学习的方法。其中，传统的方法利用外观、颜色特征进行检测交通标志，但是特征提取依赖手工，存在很多局限，不满足交通标志检测实时性、精确性的要求。2014年，R
‑
CNN(GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2014:580
‑
587)首次将卷积网络用于目标检测，自此以后，基于深度学习方法开始广泛应用于交通标志检测。基于深度学习的目标检测算法主要分为两个方向：基于一阶段检测与双阶段检测算法。一阶段检测算法主要有：YOLO(you only look once)系列、SSD(single shot multibox detector)系列等。双阶段检测算法主要有R
‑
CNN系列等。
[0004]由于交通标志目标较小、分辨率低，Li等人(Li J,Liang X,Wei Y,etal.Perceptual Generative Adversarial Networks for Small Object Detection[C]//2017IEEE Conference on Computer Vision and Pattern Recognition.Honolulu,USA:IEEE Press,2017:1951
‑
1959.)介绍了新的感知对抗网络，将小的交通标志分辨率增加，从而提高检测精度。Liu等人(Liu Z,Li D,Ge S S,et al.Small traffic sign detection from large image[J].Applied Intelligence,2019,50(1):1
‑
13.)提出将深层特征与浅层特征连接，利用浅层特征解决由于交通标志尺寸小带来的检测困难问题。Wan等人(Wan J,Ding W,Zhu H,et al.An efficient small traffic sign detection method based on yolov3[J].Journal of Signal Processing Systems,2021,93(8):899
‑
911.)在YOLOv3基础上进行各种优化策略，包括网络剪枝、四尺度预测分支和损失函数改进，以此来解决小交通标志检测的带来挑战。虽然现有的检测算法在交通标志检测方面取得了较好的成绩，但是由于交通标志中小目标占比大，且小目标分辨率低，在实际检测中存在很多困难，比如：检测精度低、漏检等问题。针对以上分析，交通标志检测还待进一步研究。
[0005]由于在交通标志检测中小目标占比大，所以提高小目标检测精度这一短板，整体检测精度就能提升。本研究旨在提高交通标志中小目标检测的精度和召回率，从而提升整体的检测性能，更好地将交通标志检测用于实际生活中。本专利技术算法以YOLOv5框架为基础进行改进，引入新的特征多尺度融合方式，使得更多浅层位置信息被神经网络利用，从而在
多尺度预测输出端结合了浅层的位置信息以及深层的语义信息，能够使得小目标的检测性能进一步提升。

技术实现思路

[0006]由于现有的YOLOv5网络算法在交通标志小目标中检测精度仍不够好，很容易导致漏检和误检。为了提高交通标志中小目标的检测精度及召回率，本专利技术主要使用了YOLOv5检测算法，利用了新的特征多尺度融合方式，提出了一种基于特征多尺度融合的交通标志检测算法。
[0007]为实现上述目的，本专利技术提供如下技术方案：一种基于特征多尺度融合的交通标志检测算法,其特征在于,包括以下步骤:
[0008]S1、获取交通标志数据样本集，交通标志数据样本集包括不同各环境因素下预设数量的交通标志样本图像、以及各交通标志样本图像分别包括真实的位置框信息标签和真实的分类信息标签，并对交通标志数据样本集中的交通标志样本图像进行图像预处理；位置框信息标签用于标记交通标志在交通标志样本图像中所处位置框，分类信息标签用于标记交通标志类型。
[0009]S2、基于顺序连接输入端、主干特征层、颈部特征层、输出端构成的YOLOv5网络，结合对YOLOv5网络中的颈部特征层和输出端进行改进，并将颈部特征层的深层特征与主干特征层的浅层特征进行多尺度融合；以交通标志样本图像、样本图像对应各环境因素为输入、交通标志样本图像所对应位置框位置信息标签和分类信息标签为输出，构建改进YOLOv5的待训练交通标志检测模型；
[0010]S3、基于交通标志数据样本集，以交通标志样本图像、样本图像对应各环境因素为输入、各个目标交通样本图像所包括的位置框信息标签和分类信息标签为输出，针对待训练交通标志检测模型进行训练，交通标志检测模型的训练包括用于衡量位置框信息划分准确度的损失函数，以及用于衡量分类信息识别精度的模型评价，待损失函数和模型评价均达到预定目标值后，获得交通标志检测模型。
[0011]进一步地，S1所述交通标志数据样本集进行图像预处理包括将交通标志数据样本集按照1:9的比例划分为测试集与训练集，并将训练集和测试集中所有交通标志图片进行统一为预设尺寸；对训练集图片进行Mosic数据增强。
[0012]进一步地，交通标志数据样本集为交通标志数据样本集TT100K。
[0013]进一步地，S2中对YOLOv5网络中的颈部特征层改进为：基于现有YOLOv5网络中的颈部特征层包括PAN结构和FPN结构,颈部特征层FPN结构将特征图从下往上2倍上采样得到的特征图M3、M4、M5，分别代表输出为80
×
80、40
×
40、20
×
20的特征图；颈部特征层PAN结构从上往下2倍下采样得到的特征图P3、P4、P5，分别代表输出为80
×
80、40
×
40、20
×
20的特征图；通过将颈部特征层向上采样，在PAN结构和FPN结构中分别增加4倍下采样的输出大小为160
×
160的特征图P2和M本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征多尺度融合的交通标志检测算法,其特征在于,包括以下步骤:S1、获取交通标志数据样本集，交通标志数据样本集包括不同各环境因素下预设数量的交通标志样本图像、以及各交通标志样本图像分别包括真实的位置框信息标签和真实的分类信息标签，并对交通标志数据样本集中的交通标志样本图像进行图像预处理；位置框信息标签用于标记交通标志在交通标志样本图像中所处位置框，分类信息标签用于标记交通标志类型；S2、基于顺序连接输入端、主干特征层、颈部特征层、输出端构成的YOLOv5网络，结合对YOLOv5网络中的颈部特征层和输出端进行改进，并将颈部特征层的深层特征与主干特征层的浅层特征进行多尺度融合；以交通标志样本图像、样本图像对应各环境因素为输入、交通标志样本图像所对应位置框位置信息标签和分类信息标签为输出，构建改进YOLOv5的待训练交通标志检测模型；S3、基于交通标志数据样本集，以交通标志样本图像、样本图像对应各环境因素为输入、各个目标交通样本图像所包括的位置框信息标签和分类信息标签为输出，针对待训练交通标志检测模型进行训练，交通标志检测模型的训练包括用于衡量位置框信息划分准确度的损失函数，以及用于衡量分类信息识别精度的模型评价，待损失函数和模型评价均达到预定目标值后，获得交通标志检测模型。2.根据权利要求1所述的基于特征多尺度融合的交通标志检测算法,其特征在于,所述S2中对YOLOv5网络中的颈部特征层改进为：基于YOLOv5网络中的颈部特征层包括PAN结构和FPN结构,颈部特征层FPN结构将特征图从下往上2倍上采样得到的特征图M3、M4、M5，分别代表输出为80
×
80、40
×
40、20
×
20的特征图；颈部特征层PAN结构从上往下2倍下采样得到的特征图P3、P4、P5，分别代表输出为80
×
80、40
×
40、20
×
20的特征图；通过将颈部特征层向上采样，在PAN结构和FPN结构中分别增加4倍下采样的输出大小为160
×
160的特征图P2和M2；S3中对YOLOv5网络中的输出端的改进为基于YOLOv5网络中输出端中包括多个输出预测层,通过输出端中增加一个输出预测层，由现有的三个输出预测层变为四个输出预测层；输出端输出的特征图经过4倍下采样、8倍下采样、16倍下采样、32倍下采样，通过四个输出预测层输出大小分别为160
×
160、80
×
80、40
×
40、20
×
20的特征图。3.根据权利要求2所述的基于特征多尺度融合的交通标志检测算法,其特征在于,所述多尺度融合方式为将主干特征层中输出大小为160
×
160、80
×
80、40
×
40、20
×
20特征图的浅层特征层C
i
分别与颈部特征层中深层特征层PAN结构的输出层大小为160
×
160、80
×
80、40
×
40、20
×
20特征图P

【专利技术属性】
技术研发人员：胡昭华，王莹，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：