一种改进的非极大值抑制YOLOv4交通标志识别定位方法技术

本发明专利技术提出了一种改进的非极大值抑制YOLOv4交通标志识别定位方法，解决标准YOLOv4算法非极大值抑制(NMS)人为设定阈值和遇到被检测物体在同一区域内高度重叠时无法区分的问题；首先下载通用数据集tt100k数据集与LISA数据集，并进行数据增强；其次使用标准YOLOv4网络对两个增强后的数据集进行训练，检测其性能；然后针对现有标准YOLOv4算法中NMS的缺点提出改进版NMS算法，并将其嵌入YOLOv4模型进行训练；最后对比标准YOLOv4算法，分析测试结果；本发明专利技术提出的基于NMS改进的YOLOv4算法，引入分数重置的思想，综合考虑重叠度与置信度得分后，得到了合适的函数作为NMS改进的核心；改进后的NMS算法更适合于检测区域中有多个检测目标重叠的情况，且鲁棒性较好，可用于多个数据集的性能提升。据集的性能提升。据集的性能提升。

【技术实现步骤摘要】
一种改进的非极大值抑制YOLOv4交通标志识别定位方法


[0001]该专利技术属于图像识别领域，尤其涉及一种改进的非极大值抑制YOLOv4交通标志识别定位方法，该方法在通用标准数据集上表现出很好的检测性能。

技术介绍

[0002]随着我国汽车保有量的上升，交通事故发生的频率也在不断攀升。研究表明，超过90％的事故由驾驶员操作不当产生，而这之中由于交通标志识别错误导致的事故占到40％以上，对交通标志的决策错误占33％左右。通过车载摄像头快速准确检测前方的交通标识，正确反馈给驾驶员，可避免意外发生，保障驾驶员与车辆安全。目标检测技术包括传统目标检测技术及基于深度学习的目标检测技术，而后者由于在性能与复杂度方面优于前者，已成为当前目标检测领域的主流算法。
[0003]基于深度学习的目标检测技术主要分为一阶段与二阶段两种方法，二阶段方法分为两个阶段，第一阶段对输入图像划定候选区域，第二阶段使用卷积神经网络对候选区域进行分类，典型算法有R
‑
CNN、Fast
‑
R
‑
CNN，这种算法准确度较高，但由于使用了两个子网络完成单个目标检测任务，训练成本与检测成本较高，速度较慢；一阶段方法只有一个阶段，即将输入的图片分为固定数量的 patch，在每个patch中又有固定数量的Anchor box，同时输出Anchor box的位置与分类标签，典型的算法有SSD512、YOLOv4，一阶段方法虽然准确度略逊于二阶段方法，但其只使用一个网络完成检测工作，训练成本与检测成本较低，速度较快，适用于需要快速响应的场景。
[0004]非极大值抑制(Non Maximum Suppression，NMS)是基于深度学习的目标检测技术的重要组成部分，其作用是抑制非极大值，这种算法可以搜索一定范围内的局部最大值，可用于目标检测生成候选框后筛选剔除多余候选框。包括YOLOv4在内的目标检测过程中都会生成很多个物体候选框，若对全部候选框进行分类，会使检测效率低下，且因为候选框内该类目标概率较高，导致检测结果冗余。所以需要使用NMS将指向同一目标的多余候选框去除，以保证最佳检测效果。
[0005]NMS算法的思想是在模型检测的后处理阶段，对于某一目标物体选取该目标所有预测框中置信度得分最大的为基准预测框，设定一个阈值，对于与基准预测框有重叠的预测框，其重叠度大于阈值的删除，小于阈值的保留，对于无重叠的预测框全部保留。但NMS算法缺点明显，首先需要人为设定一个阈值，该阈值由经验而定，难以平衡；其次，当同类目标比较密集，被检测物体高度重叠时，预测框之间的重叠度较高，NMS算法容易将属于另一目标的预测框删除，导致漏检。针对NMS算法存在的问题，本专利技术提出了基于Soft
‑
NMS的改进算法用于完成YOLOv4预测框的筛选任务。引入分数重置的思想，降低重叠度较大的预测框的置信度得分，达到抑制重复预测框输出的目的。基于此方法，当待处理预测框与基准预测框有大部分重叠时，该框将有很低的置信度得分；相反，若仅有小部分重叠，则它原有置信度得分不会受到太大影响。将本专利技术设计的NMS算法嵌入到YOLOv4模型中，表现出优异的性能，也可将此改进的NMS算法嵌入到其他模型中，具有较好的泛化性。

技术实现思路

[0006]本专利技术提出了一种改进的非极大值抑制YOLOv4交通标志识别定位方法，通过嵌入改进的NMS算法筛选预测框，提升了YOLOv4算法的检测性能。
[0007]为了实现上述目的，本专利技术采取如下的技术解决方案：
[0008]步骤一、下载当前目标检测领域通用数据集tt100k数据集与LISA数据集，使用这两个数据集可保证算法检测效果与该领域公开的通用数据集保持一致，验证算法实际效果；对下载的数据进行增强，包括翻转、裁剪、加噪、旋转操作；增强后生成的数据不仅可以增加数据集包含的图片数量，且因为增强后的图像与数据集中的原始图像相比更复杂，在保留原始图像特征点的情况下对图片风格、大小进行了改变，增加图像的模糊程度，使增强后的图像更具多样性，与实际情况更接近，可以提升训练后网络的鲁棒性；tt100k数据集的下载地址是： http：//cg.cs.tsinghua.edu.cn/traffic
‑
sign/；LISA数据集的下载地址是： http：//cvrr.ucsd.edu/LISA/lisa
‑
traffic
‑
sign
‑
dataset.html；
[0009]tt100k的全称是Tsinghua
‑
Tencent 100K，是清华
‑
腾讯互联网创新技术联合实验室提供的一个可用来识别的道路交通标志通用数据集；TT100K数据集中图像的分辨率为2048
×
2048，共有221种标志类别，大体分为三类：警告标志、禁令标志和指示标志；该数据集覆盖了不同天气条件和不同光照下的交通标志图像，其中训练集包含6105张图像，测试集包含3071张图像；由于原始图像分辨率较大，因此在本文实验中对原图像进行了裁剪处理，裁剪后的图像尺度为 608
×
608；由于数据集中各个类别之间的数据量存在严重不平衡的问题，因此本专利技术实验只选择了标注数据量较多的45类交通标志进行识别，并将测试集、验证集与训练集按照6∶2∶2的比例划分，对每张图像进行翻转、裁剪、加噪、旋转操作；
[0010]LISA的全称是Laboratory for Intelligent&Safe Automobiles，是由美国LISA 实验室提供的一个可用来识别的道路交通标志通用数据集；通过驾驶车辆拍摄视频，从视频中提取带有交通标志的某一片段，再依据此片段最多提取30帧，对每一帧的视频图片进行标注；每一个交通标志的标注包含Tag、Position、 Occluded、On side rode四部分信息；采集图片的过程是在视频中提取的，车辆行驶过程有一定速度而非静止，因此出现模糊，也使得基于该数据集的交通标志识别算法对真实场景的适用性更强；美国LISA数据集中包含了47个类别，但各类别之间标注数量严重失衡，因此为保证数据可用性，本专利技术实验将选取其中四类标注数量较多的类别进行训练测试；将测试集、验证集与训练集按照6∶2∶2 的比例划分，并对每张图像进行翻转、裁剪、加噪、旋转操作；
[0011]步骤二、使用标准YOLOv4网络训练与检测交通标志；使用标准YOLOv4网络对基于步骤一的两个数据集分别进行训练，下载标准YOLOv4网络并进行编译，标准YOLOv4网络下载地址：https：//github.com/AlexeyAB/darknet，为两个交通标志数据集tt100k与LISA分别更改cfg文件夹中tt100k.data与LISA.data文件中的训练集、验证集、测试集目录为下载数据集的地址，并指定类别数量与类别名称；根据精度要求设定epoch＝20000，根据本次实验数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种改进的非极大值抑制YOLOv4交通标志识别定位方法，其特征如下：步骤一、下载当前目标检测领域通用数据集tt100k数据集与LISA数据集，使用这两个数据集可保证算法检测效果与该领域公开的通用数据集保持一致，验证算法实际效果；对下载的数据进行增强，包括翻转、裁剪、加噪、旋转操作；增强后生成的数据不仅可以增加数据集包含的图片数量，且因为增强后的图像与数据集中的原始图像相比更复杂，在保留原始图像特征点的情况下对图片风格、大小进行了改变，图像的模糊程度增加，使增强后的图像更具多样性，与实际情况更接近，可以提升训练后网络的鲁棒性；tt100k数据集的下载地址是：http：//cg.cs.tsinghua.edu.cn/traffic
‑
sign/；LISA数据集的下载地址是：http：//cvrr.ucsd.edu/LISA/lisa
‑
traffic
‑
sign
‑
dataset.html；步骤二、使用标准YOLOv4网络训练与检测交通标志；使用标准YOLOv4网络对基于步骤一的两个数据集分别进行训练，下载标准YOLOv4网络并进行编译，标准YOLOv4网络下载地址：https：//github.com/AlexeyAB/darknet，为两个交通标志数据集tt100k与LISA分别更改cfg文件夹中tt100k.data与LISA.data文件中的训练集、验证集、测试集目录为下载数据集的地址，并指定类别数量与类别名称；根据精度要求设定epoch＝20000，根据本次实验数据集加载tt100k.data或LISA.data，同时加载yolov4.cfg，程序即可开始训练，训练过程中使用标准YOLOv4网络的非极大值抑制(Non Maximum Suppression，NMS)；保存训练过程中各层的权重文件Q1，作为训练结束后检测的权值输入文件；利用权重文件Q1进行测试，得到mAP与Recall；对得到的mAP、Recall与检测结果进行分析，发现原版NMS在没有进行设置的情况下检测高度重叠的物体容易将属于另一目标的预测框删除，导致漏检错检的情况；步骤三、针对当前NMS算法需要人为设定阈值，难以平衡、检测物体高度重叠时易将属于另一目标的预测框删除导致漏检的问题，提出基于Soft
‑
NMS的改进算法用于完成YOLOv4预测框的筛选任务；引入分数重置的思想，降低重叠度较大的预测框的置信度得分，达到抑制重复预测框输出的目的；基于此方法，当待处理预测框与基准预测框有大部分重叠时，该框将有很低的置信度得分；相反，若仅有小部分重叠，则它原有置信度得分不会受到太大影响；将替换非极大值抑制改进算法的YOLOv4网络使用步骤一中的两个数据集进行训练，得到权重文件Q2；利用权重文件Q2进行测试，得到mAP与Recall；步骤四、将步骤三与步骤二得到的mAP与Recall进行对比，同时查看替换改进NMS算法的YOLOv4对数据集中图片的检测结果，与标准NMS检测的同一张图片进行对比，分析测试结果。2.根据权利要求书1所述的一种基于NMS改进的YOLOv4算法，步骤一：下载当前目标检测领域通用数据集tt100k数据集与LISA数据集，使用这两个数据集可保证算法检测效果与该领域公开的通用数据集保持一致，验证算法实际效果；对下载的数据进行增强，包括翻转、裁剪、加噪、旋转操作；增强后生成的数据不仅可以增加数据集包含的图片数量，且因为增强后的图像与数据集中的原始图像相比更复杂，在保留原始图像特征点的情况下对图片风格、大小进行了改变、图像的模糊程度增加，使增强后的图像更具多样性，与实际情况更接近，可以提升训练后网络的鲁棒性；tt100k数据集的下载地址是：http：//cg.cs.tsinghua.edu.cn/traffic
‑
sign/；LISA数据集的下载地址是：http：//cvrr.ucsd.edu/LISA/lisa
‑
traffic
‑
sign
‑
dataset.html；tt100k的全称是Tsinghua
‑
Tencent 100K，是清华
‑
腾讯互联网创新技术联合实验室提
供的一个可用来识别的道路交通标志通用数据集；TT100K数据集中图像的分辨率为2048
×
2048，共有221种标志类别，大体分为三类：警告标志、禁令标志和指示标志；该数据集覆盖了不同天气条件和不同光照下的交通标志图像，其中训练集包含6105张图像，测试集包含3071张图像；由于原始图像分辨率较大，因此在本文实验中对原图像进行了裁剪处理，裁剪后的图像尺度为608
×
608；由于数据集中各个类别之间的数据量存在严重不平衡的问题，因此本文实验只选择了标注数据量较多的45类交通标志进行识别，并将测试集、验证集与训练集按照6∶2∶2的比例划分，对每张图像进行翻转、裁剪、加噪、旋转操作；LISA的全称是Laboratory for Intelligent&Safe Automobiles，是由美国LISA实验室提供的一个可用来识别的道路交通标志通用数据集；通过驾驶车辆拍摄视频，从视频中提取带有交通标志的某一片段，再依据此片段最多提取30帧，对每一帧的视频图片进行标注；每一个交通标志的标注包含Tag、Position、Occluded、On side rode四部分信息；采集图片的过程是在视频中提取的，车辆行驶过程有一定速度而非静止，因此出现模糊，也使得基于该数据集的交通标志识别算法对真实场景的适用性更强；美国LISA数据集中包含了47个类别，但各类别之间标注数量严重失衡，因此为保证数据可用性，本文实验将选取其中四类标注数量较多的类别进行训练测试；将测试集、验证集与训练集按照6∶2∶2的比例划分，并对每张图像进行翻转、裁剪、加噪、旋转操作。3.根据权利要求书1所述的一种基于NMS改进的YOLOv4算法，步骤二、使用标准YOLOv4网络训练与检测交通标志；使用标准YOLOv4网络对基于步骤一的两个数据集分别进行训练，下载标准YOLOv4网络并进行编译，标准YOLOv4网络下载地址：https：//github.com/AlexeyAB/darknet，为两个交通标志数据集tt100k与LISA分别更改cfg文件夹中tt100k.data与LISA.data文件中的训练集、验证集、测试集目录为下载数据集的地址，并指定类别数量与类别名称；根据精度要求设定epoch＝20000，根据本次实验数据集加载tt100k.data或LISA.data，同时加载yolov4.cfg，程序即可开始训练，训练过程中使用标准YOLOv4网络的非极大值抑制；保存训练过程中各层的权重文件Q1，作为训练结束后检测的权值输入文件；利用权重文件Q1进行测试，得到mAP与Recall；对得到的mAP、Recall与检测结果进行分析，发现原版NMS在没有进行设置的情况下检测高度重叠的物体容易将属于另一目标的预测框删除，导致漏检错检的情况；1)构建YOLOv4网络模型，使用Initialization函数进行神经网络各层权值参数的初始化；YOLOv4由四个...

【专利技术属性】
技术研发人员：王立哲，王兰美，周琨，王桂宝，廖桂生，孙长征，
申请(专利权)人：陕西理工大学，
类型：发明
国别省市：