基于改进YOLOv3的自然场景下路面裂缝检测和分类方法技术

本发明专利技术公开了一种基于改进YOLOv3的自然场景下路面裂缝检测和分类方法。该方法采用聚类算法对实例进行分析获取新的最佳先验尺寸，并在YOLOv3特征提取网络后加入SPP模块，融合局部和全局特征，更好地捕获低层细粒度特征的信息，提高了小目标检测能力，有效减少裂缝目标过小造成的漏检问题；选取CIoU作为改进的边界框损失函数，在考虑预测框与真实框重叠面积的同时，还考虑到锚框的中心点距离和长宽比，对裂缝的定位准确度有所提升；对于正负样本不均衡问题，以Focal Loss取代交叉熵作为改进的置信度损失函数，进一步提高裂缝检测和分类的性能，达到了最优的检测效果。与原YOLOv3方法对比，本方法的检测精度和速度更高。本方法的检测精度和速度更高。本方法的检测精度和速度更高。

【技术实现步骤摘要】
基于改进YOLOv3的自然场景下路面裂缝检测和分类方法


[0001]本专利技术属于目标识别领域，特别涉及一种基于改进YOLOv3的自然场景下路面裂缝检测和分类方法。

技术介绍

[0002]路面裂缝检测一直是视觉研究的一个活跃领域。因气候、年久老化等因素，道路常常会产生裂缝，这不仅会降低路面性能，还会威胁到路面安全，政府每年都需要在道路维修上投入大量资金。因此，高效准确地检测路面裂缝具有重要的现实意义。
[0003]然而，在实际生活中，当道路管理人员需要修复某类裂缝时，要先清楚地了解裂缝的类型才能采取有效的行动。因此，裂缝检测任务在两个方面具有挑战性：首先，需要一种鲁棒的裂缝检测算法来定位不同天气或光照条件下的特定裂缝；其次，该算法能够区分不同类型的重叠的裂缝。
[0004]早期，研究人员通常采用传统的裂缝检测方法，如阈值法、边缘检测法、形态学方法等，其主要问题是容易受到噪声等因素的干扰，不能满足不同条件下的检测需要，鲁棒性较差。近年来，基于机器学习的裂缝检测方法越来越受到重视，包括支持向量机、随机森林等，而随着深度卷积神经网络(Convolutional Neural Network,CNN)的出现，许多基于CNN的目标检测算法开始发展，可根据其设计原理分为两种类型：一是以区域卷积网络(Region Convolutional Neural Network,R
‑
CNN)系列为代表的两阶段目标检测模型，但由于CNN的重复评估，速度缓慢，不适合实时应用；另一种是以YOLO系列和SSD(Single Shot multibox Detector)为代表的单阶段检测模型。利用YOLO算法来检测路面裂缝，打破了R
‑
CNN的限制，直接将整张图片作为输入，从而极大地加快了网络的训练速度，但也损失了一定的准确性。YOLOv2算法进行路面裂缝检测，通过去掉随机失活层而采用批归一化层提高了目标识别的准确率。YOLOv3则在YOLOv2的基础上进行了改进，采用残差模型和特征金字塔网络架构，极大地提升了网络性能，在VOC、COCO等数据集上取得了巨大的进展，其检测速度和准确率都更高。VOC、COCO这类数据集中不同的实例易于区分，例如椅子，汽车，人等。然而，不同于VOC、COCO这类数据集，大多数路面裂缝为细长线型，定位较为困难，当目标过小时还会出现漏检，且不同类型的裂缝容易混淆，存在大量的裂缝重叠，因此在路面裂缝检测和分类的应用中，YOLOv3算法仍需进一步优化。

技术实现思路

[0005]本专利技术的目的在于针对上述现有技术存在的问题，提供一种基于改进YOLOv3的自然场景下路面裂缝检测和分类方法。
[0006]实现本专利技术目的的技术解决方案为：一种基于改进YOLOv3的自然场景下路面裂缝检测和分类方法，所述方法包括以下步骤：
[0007]步骤1，对自然场景下的路面裂缝数据集进行处理，划分训练集和测试集，并对训练集进行数据增强；
[0008]步骤2，构建改进的YOLOv3网络模型；
[0009]步骤3，训练改进的YOLOv3网络模型；
[0010]步骤4，利用训练好的改进的YOLOv3网络模型，对测试集进行路面裂缝检测和分类。
[0011]进一步地，步骤1所述对自然场景下的路面裂缝数据集进行处理，划分训练集和测试集，并对训练集进行数据增强，具体包括：
[0012]步骤1
‑
1，针对路面裂缝数据集的所有样本，将80％的样本作为训练集，其余20％的样本作为测试集；数据集中样本的标注信息包括裂缝区域的坐标以及裂缝类型；
[0013]步骤1
‑
2，统计训练集中各裂缝类型的样本实例数，按照实例数的比例进行图像增强以实现裂缝类型数量均衡。
[0014]进一步地，步骤2所述构建改进的YOLOv3网络模型，具体包括：
[0015]步骤2
‑
1，对训练集进行k
‑
means聚类，获取锚框的几何先验知识，以候选框与真实框的交并比IoU作为评价标准，对IoU大于预设阈值的候选框进行降序排列，之后从中选取前9个先验框；
[0016]步骤2
‑
2，采用Darknet
‑
53网络的前52层作为改进的YOLOv3网络中的特征提取网络；
[0017]步骤2
‑
3，在特征提取网络之后引入空间金字塔池化模块即SPP模块，该模块包括四个并行分支，分别为卷积核为5
×
5,9
×
9,13
×
13的最大池化层和一个跳跃连接，该跳跃连接为SPP模块的输入直接与3个池化层的输出连接。
[0018]进一步地，步骤3所述训练改进的YOLOv3网络模型，具体包括：
[0019]步骤3
‑
1，初始化改进的YOLOv3网络参数及迭代次数；
[0020]步骤3
‑
2，确定损失函数；
[0021]步骤3
‑
3，将训练集中的图像压缩至改进的YOLOv3网络所要求的输入图像尺寸，之后输入至改进的YOLOv3网络模型的特征提取网络；
[0022]步骤3
‑
4，采用上采样和融合方式，将步骤3
‑
3输入的图像按所述特征提取网络输出的特征图尺度大小划分为S
×
S个网格；
[0023]步骤3
‑
5，对每个网格使用3个先验框进行裂缝边界预测，具体为：对每个网格中的边界框进行预测：
[0024]b
x
＝σ(t
x
)+c
x
，b
y
＝σ(t
y
)+c
y
[0025][0026]式中，(b
x
,b
y
)表示预测边界框的中心坐标；b
w
、b
h
分别为预测边界框的宽度和高度；(t
x
,t
y
)、t
w
、t
h
为改进的YOLOv3网络直接预测处的边界框的中心坐标、宽度以及高度，(c
x
,c
y
)为目标的中心位置相对于网格左上角的偏移量，p
h
、p
w
分别为先验框的高度和宽度，σ为sigmoid激活函数；
[0027]步骤3
‑
6，通过逻辑回归预测每个边界框的目标置信度Confidence：
[0028]Confidence＝Pr(object)
×
IoU(b,object)
[0029]其中，Pr(object)表示预测的边界框包含目标即裂缝的概率，IoU(b,object)表示预测的边界框与实际的边界框值重合部分；若预测的边界框与实际的边界框值重合部分IoU大于预设阈本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进YOLOv3的自然场景下路面裂缝检测和分类方法，其特征在于，所述方法包括以下步骤：步骤1，对自然场景下的路面裂缝数据集进行处理，划分训练集和测试集，并对训练集进行数据增强；步骤2，构建改进的YOLOv3网络模型；步骤3，训练改进的YOLOv3网络模型；步骤4，利用训练好的改进的YOLOv3网络模型，对测试集进行路面裂缝检测和分类。2.根据权利要求1所述的基于改进YOLOv3的自然场景下路面裂缝检测和分类方法，其特征在于，步骤1所述对自然场景下的路面裂缝数据集进行处理，划分训练集和测试集，并对训练集进行数据增强，具体包括：步骤1
‑
1，针对路面裂缝数据集的所有样本，将80％的样本作为训练集，其余20％的样本作为测试集；数据集中样本的标注信息包括裂缝区域的坐标以及裂缝类型；步骤1
‑
2，统计训练集中各裂缝类型的样本实例数，按照实例数的比例进行图像增强以实现裂缝类型数量均衡。3.根据权利要求2所述的基于改进YOLOv3的自然场景下路面裂缝检测和分类方法，其特征在于，步骤1
‑
2中所述图像增强的方法采用对比度调整和或亮度调整和或高斯模糊。4.根据权利要求3所述的基于改进YOLOv3的自然场景下路面裂缝检测和分类方法，其特征在于，步骤2所述构建改进的YOLOv3网络模型，具体包括：步骤2
‑
1，对训练集进行k
‑
means聚类，获取锚框的几何先验知识，以候选框与真实框的交并比IoU作为评价标准，对IoU大于预设阈值的候选框进行降序排列，之后从中选取前9个先验框；步骤2
‑
2，采用Darknet
‑
53网络的前52层作为改进的YOLOv3网络中的特征提取网络；步骤2
‑
3，在特征提取网络之后引入空间金字塔池化模块即SPP模块，该模块包括四个并行分支，分别为卷积核为5
×
5,9
×
9,13
×
13的最大池化层和一个跳跃连接，该跳跃连接为SPP模块的输入直接与3个池化层的输出连接。5.根据权利要求4所述的基于改进YOLOv3的自然场景下路面裂缝检测和分类方法，其特征在于，步骤3所述训练改进的YOLOv3网络模型，具体包括：步骤3
‑
1，初始化改进的YOLOv3网络参数及迭代次数；步骤3
‑
2，确定损失函数；步骤3
‑
3，将训练集中的图像压缩至改进的YOLOv3网络所要求的输入图像尺寸，之后输入至改进的YOLOv3网络模型的特征提取网络；步骤3
‑
4，采用上采样和融合方式，将步骤3
‑
3输入的图像按所述特征提取网络输出的特征图尺度大小划分为S
×
S个网格；步骤3
‑
5，对每个网格使用3个先验框进行裂缝边界预测，具体为：对每个网格中的边界框进行预测：b
x
＝σ(t
x
)+c
x
，b
y
＝σ(t
y
)+c
y
式中，(b
x
,b
y
)表示预测边界框的中心坐标；b
w
、b
...

【专利技术属性】
技术研发人员：朱纤纤，王琴，丁军娣，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：