一种基于yolov3的路面撒漏病害自动检测方法技术

本发明专利技术公开了一种基于yolov3的路面撒漏病害自动检测方法，涉及图像处理技术领域，包括收集路面撒漏病害图像，组成源样本集，并对所述源样本集进行预处理得到训练样本集；利用所述训练样本集对yolov3目标检测网络进行训练，得到初始路面撒漏病害检测器；在目标路段部署所述初始路面撒漏病害检测器进行路面撒漏病害的检测，并记录检测结果；对所述检测结果进行聚类和人工干预再标注得到目标样本集，利用所述目标样本集对所述初始路面撒漏病害检测器进行在线微调，提高在所述目标路段的准确率，得到目标路面撒漏病害检测器；本发明专利技术采用的迭代训练方法具有良好的泛化能力，能提高对未见路面场景和未见路面撒漏病害的识别精度。

【技术实现步骤摘要】
一种基于yolov3的路面撒漏病害自动检测方法
本专利技术涉及图像处理
，具体涉及一种基于yolov3的路面撒漏病害自动检测方法。
技术介绍
路容路貌建设正在我国大地如火如荼的开展，通过道路撒漏病害智能化检测促进道路清洁质量监督，对推进智慧养护、保洁智能化具有重要意义。当前，我国生活垃圾的处理市场能达到1100亿/年，道路清扫每年市场就能够达到550亿左右。路面撒漏病害的智能识别，可以辅助道路管理部门合理规划设计道路清洁管理模式，提升环卫清洁作业质量，有效降低道路清洁管理成本。目前，基于计算机视觉的垃圾智能识别算法主要有两类：第一种是文献《改进CaffeNet模型在水面垃圾识别中的应用》中为提高水面垃圾识别的准确率，提出的一种改进CaffeNet的卷积神经网络模型。模型改进了卷积核的大小、卷积核的数量以及增加了一层稀疏结构，进而增强了网络模型特征提取的能力，降低了网络复杂度。该方法能减少水面波纹、物体倒影和桥梁等对水面垃圾识别的影响，具有较好的水面垃圾识别效果。但该方法鲁棒性欠佳，难以直接应用到路面等更加复杂的环境中；第二种文献《基于SSD算法的垃圾识别分类研究》中提出的基于SSD的垃圾识别检测算法，利用数据增强，提高模型的鲁棒性，可以达到对不同种类的垃圾进行快速和准确的识别，该方法的实时性较好，但对小目标的识别能力不足。可以看到，针对小目标的检测，目前国内外常用的方法是，使用多尺度图像金字塔或将小目标上采样成大目标再进行检测。但这两种处理方法将严重影响算法的时间效率，从而使模型难以在算力较低的边缘计算设备上部署运行。另一个问题是，待识别的目标通常须具有较统一且不变的视觉特征。路面上的环境复杂，而路面撒漏病害是一个较模糊的且难以尽举的定义。它们往往具有类间差距小(如木屑和树叶的视觉特征接近)和类内差异大(不同大小和不同颜色的塑料袋差异大)的视觉特征。因此，现有的目标检测算法及其部署使用方式，将会带来漏检和误检的问题。因此，本领域的技术人员致力于开发一种基于yolov3的路面撒漏病害自动检测方法，克服现有技术的泛化能力不足的问题，针对不同的路面场景和新出现的路面撒漏病害能自适应地调整并完成训练，逐步提高撒漏病害识别的精确度。
技术实现思路
为了克服现有技术中的不足，本专利技术提出一种基于yolov3的路面撒漏病害自动检测方法，其能够解决路面撒漏病害较多且多为小目标时，无法同时兼顾识别准确率和时间效率的问题，以及算法面对新的道路环境和未在训练数据中出现的撒漏病害时的误检和漏检的问题。为了实现上述目的，本专利技术的一种基于yolov3的路面撒漏病害自动检测方法，方法包括以下步骤：S1、收集路面撒漏病害图像，组成源样本集，并对源样本集进行预处理得到训练样本集；S2、利用训练样本集对yolov3目标检测网络进行训练，得到初始路面撒漏病害检测器；S3、在目标路段部署初始路面撒漏病害检测器进行路面撒漏病害的检测，并记录检测结果；S4、对检测结果进行聚类和人工干预再标注得到目标样本集，利用目标样本集对初始路面撒漏病害检测器进行在线微调，提高在目标路段的准确率，得到目标路面撒漏病害检测器。优选的，S1还包括：统计源样本集中各种撒漏病害出现的频次并排序，选取出现频次最高的前N个类别作为要检测的N种撒漏病害；对训练样本集中每一个样本进行标注，获得训练样本集对应的样本标签。优选的，预处理包括：将图像进行水平翻转，得到待进一步处理图像；将待进一步处理图像随机地进行平移变换、旋转变换和颜色变换，得到待归一化处理图像；将待归一化处理图像进行归一化处理。优选的，S2还包括：S201、采用随机梯度下降算法训练yolov3目标检测网络，设定最大迭代次数，每次迭代采用最小批的方式(mini-batch)计算网络误差，用网络误差更新yolov3目标检测网络中的参数；S202、当达到预设的最大迭代次数时或在验证集上错误率不再下降时终止训练，获得初始路面撒漏病害检测器。优选的，网络误差是yolov3目标检测网络输出的分类标签与样本标签的误差。优选的，S3包括：S301、重新收集路面撒漏病害图像，作为原始检测图像；S302、对原始检测图像进行预处理后得到检测图像，组成检测样本集；S303、利用初始撒漏病害检测器中的骨干网络提取检测图像的特征，并抽取网络的各级特征组成特征金字塔；S304、特征分类；S305、在检测图像中画出撒漏病害检测结果，并将结果输出，完成当前画面的撒漏病害检测；S306、保存原始检测图像和检测结果。优选的，特征分类是利用初始撒漏病害检测器中的分类网络对特征进行特征分类，设定阈值，如果输出值大于阈值，则判定该图像包含待检测的撒漏病害，否则判定为背景。优选的，检测结果是初始路面撒漏病害检测器所输出的目标的坐标和置信度。优选的，S4包括：S401、设置置信度阈值，遍历置信度，置信度大于置信度阈值的样本直接加入训练样本集中，置信度小于置信度阈值的样本，则加入后处理样本集；S402、对后处理样本集中的目标进行再标注，并加入到训练样本集中，得到目标样本集；S403、使用目标样本集对初始路面撒漏病害检测器重复S201和S202进行微调,在完成了预设的迭代次数后，得到目标路面撒漏病害检测器。优选的，收集路面撒漏病害图像是从各路段的清扫车所拍摄的视频中截取N张包含路面撒漏病害样本的图像，图像模式为RGB。本专利技术具有以下有益效果：1、利用yolov3算法对路面撒漏病害识别的准确率和效率都比较高，利用特定的低功耗边缘GPU计算设备可实现对垃圾清扫车拍摄视频或图像的实时目标检测和识别。算法所提供的识别结果，可为后期的路面智能评价和打分奠定良好的基础。2、本专利技术采用的迭代训练方法具有良好的泛化能力，能提高对未见路面场景和未见路面撒漏病害的识别精度。附图说明下面结合附图对本专利技术作进一步描写和阐述。图1是本专利技术提出的一种基于yolov3的路面撒漏病害自动检测方法流程图。具体实施方式下面将结合附图、通过对本专利技术的优选实施方式的描述，更加清楚、完整地阐述本专利技术的技术方案。实施例如图1所示，本专利技术提出的一种基于yolov3的路面撒漏病害自动检测方法，方法包括如下步骤：S1、收集路面撒漏病害图像，组成源样本集，并对源样本集进行预处理得到训练样本集；在本步骤中，路面撒漏病害图像为RGB模式。在本步骤中，预处理包括对源样本集的图像进行水平翻转；图像随机地进行平移变换、旋转变换和颜色变换；图像归一化处理。在本步骤中，还包括统计源样本集中各种撒漏病害出现的频次并排序，选取出现频次最高的前N个类别作为要检测的N种撒漏病害；对所述训练样本集中每一个样本进行标注，获得所述训练样本集对应的样本标签。在本实本文档来自技高网...

【技术保护点】
1.一种基于yolov3的路面撒漏病害自动检测方法，其特征在于，所述方法包括以下步骤：/nS1、收集路面撒漏病害图像，组成源样本集，并对所述源样本集进行预处理得到训练样本集；/nS2、利用所述训练样本集对yolov3目标检测网络进行训练，得到初始路面撒漏病害检测器；/nS3、在目标路段部署所述初始路面撒漏病害检测器进行路面撒漏病害的检测，并记录检测结果；/nS4、对所述检测结果进行聚类和人工干预再标注得到目标样本集，利用所述目标样本集对所述初始路面撒漏病害检测器进行在线微调，提高在所述目标路段的准确率，得到目标路面撒漏病害检测器。/n

【技术特征摘要】
1.一种基于yolov3的路面撒漏病害自动检测方法，其特征在于，所述方法包括以下步骤：
S1、收集路面撒漏病害图像，组成源样本集，并对所述源样本集进行预处理得到训练样本集；
S2、利用所述训练样本集对yolov3目标检测网络进行训练，得到初始路面撒漏病害检测器；
S3、在目标路段部署所述初始路面撒漏病害检测器进行路面撒漏病害的检测，并记录检测结果；
S4、对所述检测结果进行聚类和人工干预再标注得到目标样本集，利用所述目标样本集对所述初始路面撒漏病害检测器进行在线微调，提高在所述目标路段的准确率，得到目标路面撒漏病害检测器。


2.根据权利要求1所述的基于yolov3的路面撒漏病害自动检测方法，其特征在于，所述S1还包括：
统计所述源样本集中各种撒漏病害出现的频次并排序，选取出现频次最高的前N个类别作为要检测的N种撒漏病害；
对所述训练样本集中每一个样本进行标注，获得所述训练样本集对应的样本标签。


3.根据权利要求1所述的基于yolov3的路面撒漏病害自动检测方法，其特征在于，所述预处理包括：
将图像进行水平翻转，得到待进一步处理图像；
将所述待进一步处理图像随机地进行平移变换、旋转变换和颜色变换，得到待归一化处理图像；
将待归一化处理图像进行归一化处理。


4.根据权利要求2所述的基于yolov3的路面撒漏病害自动检测方法，其特征在于，所述S2还包括：
S201、采用随机梯度下降算法训练所述yolov3目标检测网络，设定最大迭代次数，每次迭代采用最小批的方式(mini-batch)计算网络误差，用所述网络误差更新所述yolov3目标检测网络中的参数；
S202、当达到预设的所述最大迭代次数时或在验证集上错误率不再下降时终止训练，获得所述初始路面撒漏病害检测器。


5.如权利要求4所述的基于yolov3的路面撒漏病害自动检测方法，其特征在于，所述网络误差是所述yolov3目标检测网络输出的分类...

【专利技术属性】
技术研发人员：达尼埃尔·谢赫特曼，雅龙，巴尔，沈晓勤，姜汉青，朱春辉，
申请(专利权)人：中犹南京智慧城市创新研究院有限公司，
类型：发明
国别省市：江苏;32