一种基于DL的车底异物自动识别方法技术

本发明专利技术公开了一种基于DL的车底异物自动识别方法，包括图片输入、数据增强、对基于Yolov5建立的模型进行模型训练、进行图片检测、结果输出步骤。本发明专利技术检测效率高，对于一般物体的检测，已经能够达到人的准确度。已经能够达到人的准确度。已经能够达到人的准确度。

【技术实现步骤摘要】
一种基于DL的车底异物自动识别方法


[0001]本专利技术涉及异物检测
，特别涉及一种基于DL的车底异物自动识别方法。

技术介绍

[0002]车底检测目前主要是分人工检测和算法检测两种方案。
[0003]人工检测由于效率低下以及人力成本较高，故不再继续深入讨论。
[0004]算法检测，传统的图像处理方法有HOG，DPM等，是计算机视觉领域的基本任务之一，以HOG为例（方向梯度直方图）其通过色彩和伽马归一化、计算图形梯度、构建方向的直方图、将细胞单元组合成大的区间、手机HOG特征来将图像的特征提取出来，再结合SVM分类器。这种组合已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。但是应对一些特定场景，这种传统的图像处理方式还是远远不够。
[0005]近几年深度学习的崛起使得目标检测算法大放异彩，无论是在精确度还是在检测效率上，相比于传统的图像处理算法，目标检测算法都有了巨大的提升。这些检测方法大概分为区域选择（滑窗）、特征提取（SIFT、HOG等）、分类器（SVM、Adaboost等）三个部分，其存在滑窗选择策略没有针对性、时间复杂度高，窗口冗余；手工设计的特征鲁棒性较差等问题。
[0006]本项目所用到的技术方案即为基于one
‑
stage的目标检测算法。其仅仅使用一个CNN网络直接预测不同目标的类别与位置。该算法的特点是速度块，在视频的目标检测中能达到140FPS的检测速度。并且能达到对于车底检测项目中占用尽量少的资源并且能够达到较快的检测速度的要求。

技术实现思路

[0007]本专利技术为了弥补现有技术的不足，提供了一种基于DL的车底异物自动识别方法。
[0008]本专利技术是通过如下技术方案实现的：一种基于DL的车底异物自动识别方法，包括以下步骤：步骤1图片输入，输入预先采集的图片，包括车底图片和带有异物的车底图片；步骤2数据增强，先输入预先采集的图片，然后对输入的图片进行数据增强，生成用于训练的图片数据集，同时也生成图片的标签文件；步骤3对基于Yolov5建立的模型进行模型训练，训练结束后，使用这个模型来预测其他图片中的异物，再进行人工结果检验以判断其训练效果；步骤4进行图片检测，得到（x,y,w,h）形式的唯一的预测框，然后再通过计算得预测框的中心点坐标和矩形框长宽，之后将矩形框画在原图上并保存，得到最终的预测结果；步骤5结果输出：预测异物之后会先得到一组坐标数字，接下来再通过坐标点数字在对应的原图上画上预测框，并将图片进行保存。
[0009]所述步骤2数据增强采用Mosaic数据增强的方式，并在Mosaic的基础上，还进行了额外的数据增强，从预先输入的含异物的图片中生成异物图片，然后将生成的异物图片进行加工后和车底图片结合。
[0010]所述步骤3包括步骤3.1在模型开始训练之前通过k
‑
means对数据集的标签文件进行聚类得到anchors，并设置成目标为1类；步骤3.2模型训练。
[0011]所述步骤3.1具体包括步骤3.1.1用标注工具LabelImg对车底图像中的异物进行标记，并储存标记框的包围坐标得到PASCAL VOC格式的存储文件，即得到真实框groundtruth；步骤3.1.2转换标注得到的标签文件，将VOC格式文件转换成Yolov5所规定的txt文件；步骤3.13过k
‑
means对txt文件聚类得到anchors。
[0012]所述步骤3.2模型训练具体包括步骤3.2.1自适应车底图像的缩放对车底的原始图像自适应的添加最少的黑边，得到一个标准图片；步骤3.2.2在anchors的基础上输出对异物的预测框，之后和真实框groundtruth进行比对，然后用损失函数计算得到预测值与真实值的损失值，再进行反向传播，更新网络中节点的权重，其中损失值由Yolov5输出端得到的xywh属性误差、信度误差、类别误差加和得到。
[0013]所述Yolov5中，网络主要由主干网络，Neck结构，以及输出端三部分组成；所述主干网络所包含Focus结构、CSP结构、SPP结构；所述Focus结构，对feature map进行切片操作，用于降低FLOPS和提高速度；所述CSP结构用于增强CNN的学习能力，提高推理速度和准确性；所述Neck结构：Neck结构主要的目的是对车底图像的特征进行混合和组合，生成特征金字塔采用FPN+PAN的结构基于 Mask R
‑
CNN 和 FPN 框架。
[0014]所述输出端用于对车底图像的特征进行预测，生成带有边界框、置信度、异物类别属性的一组数据，将这一组数据与groundtruth做差值的计算，得到由边界框的xywh属性误差、信度误差，类别误差。
[0015]所述步骤4进行图片检测具体包括步骤4.1特征识别，对获取的图片进行特征提取；步骤4.2图像检测，根据图像中的像素进行预测，生成若干个目标框，然后采用的是加权nms的方式根据网络预测的置信度进行加权，得到唯一的预测框。
[0016]本专利技术具有以下技术优势：现有技术中，传统的目标检测方法大概分为区域选择（滑窗）、特征提取（SIFT、HOG等）、分类器（SVM、Adaboost等）三个部分。DPM算法是该领域非常成功的算法，可以看做是HOG的扩展，大体思路与HOG一致。先计算梯度方向直方图，然后用SVM训练得到物体的梯度模型。存在的缺点是特征相对复杂，计算速度慢，对于旋转、拉伸的物体检测效果不好。因为相机普遍分辨率比较大，所以如果将DPM直接用来解决车底检测问题，很可能无法保证实时性和模型的泛化性能。
[0017]本技术是基于深度学习的目标检测技术，最大的特点是检测效率高，对于一般物体的检测，已经能够达到人的准确度。在视频检测的效率上，能够达到140FPS。在使用纯CPU（至强 E5 2630）的平台上检测一张车底图片只需0.2秒左右。因为其轻量的权重文件，使得其可以更轻松地部署到嵌入式设备。
附图说明
[0018]下面结合附图对本专利技术作进一步的说明。
[0019]附图1为本专利技术的方法步骤示意图。
[0020]附图2为Yolov5的结构示意图。
具体实施方式
[0021]本专利技术提供的基于DL的车底异物自动识别方法主要包括以下步骤：要构建一个模型，然后利用这个模型进行训练，再利用训练好的模型对待检图片进行加测，最后输出结果。
[0022]步骤1，图片输入，输入预先采集的图片这些图片包括车底图片和带有异物的车底图片。
[0023]步骤2，数据增强，构建数据集用于模型进行训练，由于原始数据集图片数量较少，且异物种类也较少，使得模型对于未知异物的检测效果较差，目前来说最可行的方案是数据增强，也就是增加训练的数据集，用尽可能多不同种类的异物图片去训练模型。对输入的图片进行数据增强，主要流程就是将自己生成异物的图片和车底图片结合。具体为，输入端采用了Mosaic数据增强的方式。随机缩放、随机裁剪、随本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DL的车底异物自动识别方法，其特征在于，包括以下步骤：步骤1图片输入，输入预先采集的图片，包括车底图片和带有异物的车底图片；步骤2数据增强，先输入预先采集的图片，然后对输入的图片进行数据增强，生成用于图片数据集，同时也生成图片的标签文件；步骤3对基于Yolov5建立的模型进行模型训练，训练结束后，使用这个模型来预测其他图片中的异物，再进行人工结果检验以判断其训练效果；步骤4进行图片检测，得到（x,y,w,h）形式的唯一的预测框，然后再通过计算得预测框的中心点坐标和矩形框长宽，之后将矩形框画在原图上并保存，得到最终的预测结果；步骤5结果输出：预测异物之后会先得到一组坐标数字，接下来再通过坐标点数字在对应的原图上画上预测框，并将图片进行保存。2.根据权利要求1所述的基于DL的车底异物自动识别方法，其特征在于：所述步骤2数据增强采用Mosaic数据增强的方式，并在Mosaic的基础上，还进行了额外的数据增强，从预先输入的包含异物的图片中生成异物图片，然后将生成的异物图片进行加工后和车底图片结合。3.根据权利要求1所述的基于DL的车底异物自动识别方法，其特征在于：所述步骤步骤3包括步骤3.1在模型开始训练之前通过k
‑
means对数据集的标签文件进行聚类得到anchors，并设置成目标为1类；步骤3.2模型训练。4.根据权利要求3所述的基于DL的车底异物自动识别方法，其特征在于：所述步骤3.1具体包括步骤3.1.1用标注工具LabelImg对车底图像中的异物进行标记，并储存标记框的包围坐标得到PASCAL VOC格式的存储文件，即得到真实框groundtruth；步骤3.1.2转换标注得到的标签文件，将VOC格式文件转换成Yolov5所规定的txt文件；步骤3.13过k
‑
means对txt文件聚类得到anchors。5.根据权利要求3...

【专利技术属性】
技术研发人员：蒋龙泉，张文宇，
申请(专利权)人：济南神博信息技术有限公司，
类型：发明
国别省市：