道路路面病害智能识别方法技术

发明专利技术涉及路面识别方法领域，尤其是道路路面病害智能识别方法。该方法的步骤为：a)使用摄像头采集道路的视频数据；b)对视频数据进行抽帧，挑选出清晰易辨的路面图片；c)将路面图片中显示存在的路面病害标记其位置和类别，构成数据集；d)将数据集以随机抽取的方式按照一定比例划分为训练集、验证集、测试集；e)对训练集使用复制黏贴数据增强策略，并对路面病害识别模型训练；f)对路面病害进行识别。本发明专利技术通过运载摄像头拍摄采集道路路面图像，采用深度学习技术，对道路病害进行识别。针对道路病害类别不均衡和遮挡严重的现象，提出了改进型的RetinaNet来进行模型训练，从而提高了道路病害的识别效率。害的识别效率。害的识别效率。

【技术实现步骤摘要】
道路路面病害智能识别方法


[0001]专利技术涉及路面识别方法领域，尤其是道路路面病害智能识别方法。

技术介绍

[0002]城市道路系统是城市功能正常运转的重要保障，路政管理、道路养护等相关部门和单位，投入了大量人力、物力对城市道路系统进行日常巡检与养护。目前，城市道路日常巡检主要靠巡查员在路上巡视，针对发现的道路病害，通过填报纸质表格、PDA、智能手机APP等方式进行上报。该方式存在较强的主观性，不同巡检员对同一病害的类型、危害程度的认知难以保持一致。此外，巡检员每天巡查的道路长度一般在30
‑
40km之间，效率较低。因此，使用技术手段对道路路面病害进行智能识别，具有重要的现实意义。

技术实现思路

[0003]为了解决
技术介绍
中描述的技术问题，专利技术提供了一种道路路面病害智能识别方法。通过运载摄像头拍摄采集道路路面图像，采用深度学习技术，对道路病害进行识别。针对道路病害类别不均衡和遮挡严重的现象，提出了改进型的RetinaNet来进行模型训练，从而提高了道路病害的识别效率。
[0004]本专利技术解决其技术问题所采用的技术方案是：
[0005]一种道路路面病害智能识别方法，该方法的步骤为：
[0006]a)使用摄像头采集道路的视频数据；
[0007]b)对视频数据进行抽帧，挑选出清晰易辨的路面图片；
[0008]c)将路面图片中显示存在的路面病害标记其位置和类别，构成数据集；
[0009]d)将数据集以随机抽取的方式按照一定比例划分为训练集、验证集、测试集；
[0010]e)对训练集使用复制黏贴数据增强策略，并对路面病害识别模型训练；
[0011]f)对路面病害进行识别，并输出路面图片中路面病害的类别和位置。
[0012]具体地，所述摄像头安装在道路巡检车辆上。
[0013]具体地，所述路面图片分为裂缝、井框差、网裂、坑槽、修补裂缝、修补网裂、修补坑槽、其他，共八类。
[0014]具体地，步骤c)中，所述路面病害标记方式为人工标注。
[0015]具体地，步骤d)中，所述训练集、验证集、测试集的比例为训练集9：验证集0.5：测试集0.5。
[0016]具体地，所述复制黏贴数据增强策略为，将所需增强的路面病害类别从路面图片中裁剪下来，然后以一定比例随机粘贴到数据集中的其他路面图片中，从而缓解数据集中的类别不均衡现象。
[0017]具体地，在模型训练之前，将路面图片随机裁剪到长宽均为224的图像，再以50％的概率对图像进行水平方向随机翻转，然后以50％的概率对图像进行
‑
15
°
～+15
°
的随机旋转，最后对图像进行标准化处理，获得增强后训练集。
[0018]具体地，步骤e)中，所述路面病害识别模型训练用RetinaNet进行，RetinaNet的主干网络为ResNet50_vd模型，ResNet50_vd模型在下采样阶段的ResBlock中使用了AvgPool；
[0019]RetinaNet的分类分支中使用了Focal Loss损失函数，公式为：
[0020]式中，y为真实类别，y
′
为预测类别，α为平衡因子，γ为调制因子；
[0021]RetinaNet的回归分支使用了Repulsion Loss，公式为：
[0022]RepulsionLoss＝L
attr
+αL
RepoGT
+βL
RepBox
，式中，L
attr
为当前样本预测框与真值的吸引回归损失，L
RepoGT
为当前预测框与周围真实物体的排斥损失，L
RepBox
为当前预测框与周围其他预测框之间的排斥损失，α和β为调节因子；
[0023]RetinaNet的后处理阶段使用了Soft NMS，公式为：
[0024]式中，S
i
为每个边框的得分，M为当前得分最高的框，b
i
为剩余框的某一个，N
t
为设定的阈值；
[0025]模型训练240轮，在第120、第180、第200轮，学习率衰减到之前的三分之一；整个训练阶段划分为两个阶段，第一阶段为在前180轮使用Adam优化器训练，第二阶段为180轮之后使用Momentum优化器训练。
[0026]具体地，步骤f)中，所述路面病害进行识别，是将原始路面图片尺寸转换为480*480，然后进行标准化预处理操作，并输入到训练好的RetinaNet中，获得路面图片中对应的路面病害的类型和位置。
[0027]本专利技术的有益效果是：本专利技术提供了一种道路路面病害智能识别方法。通过运载摄像头拍摄采集道路路面图像，采用深度学习技术，对道路病害进行识别。针对道路病害类别不均衡和遮挡严重的现象，提出了改进型的RetinaNet来进行模型训练，从而提高了道路病害的识别效率。
附图说明
[0028]下面结合附图和实施例对专利技术进一步说明。
[0029]图1是本专利技术的RetinaNet网络结构示意图；
[0030]图2是本专利技术的ResNet50_vd下采样阶段的ResBlock_vd结构图；
具体实施方式
[0031]现在结合附图对专利技术作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明专利技术的基本结构，因此其仅显示与专利技术有关的构成。
[0032]图1是本专利技术的RetinaNet网络结构示意图；图2是本专利技术的ResNet50_vd下采样阶段的ResBlock_vd结构图。
[0033]首先摄像头安装在道路巡检车辆上，道路巡检车辆行驶的时候使用摄像头采集道路的视频数据。
[0034]然后对视频数据进行抽帧，挑选出清晰易辨的路面图片。
[0035]接着将路面图片分为裂缝、Crack(裂缝)、Manhole(井框差)、Net(网裂)、Pothole(坑槽)、Patch
‑
Crack(修补裂缝)、Patch
‑
Net(修补网裂)、Patch
‑
Pothole(修补坑槽)、other(其他)，共八类。并使用人工标注的方法将路面图片中显示存在的路面病害标记其位置和类别，构成数据集；
[0036]d)将数据集以随机抽取的方式按照一定比例划分为训练集、验证集、测试集；比例为训练集9：验证集0.5：测试集0.5。
[0037]对训练集使用复制黏贴(Copy
‑
Paste)数据增强策略，并对路面病害识别模型训练；在数据集中存在着较为严重的类别不均衡现象，Manhole(井框差)、Crack(裂缝)、Patch
‑
Crack(修补裂缝)、Patch
‑
Net(修补网裂)所占比例达到了85％。复制黏贴(Copy
‑
Paste)数据增强本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种道路路面病害智能识别方法，其特征在于：该方法的步骤为：a)使用摄像头采集道路的视频数据；b)对视频数据进行抽帧，挑选出清晰易辨的路面图片；c)将路面图片中显示存在的路面病害标记其位置和类别，构成数据集；d)将数据集以随机抽取的方式按照一定比例划分为训练集、验证集、测试集；e)对训练集使用复制黏贴数据增强策略，并对路面病害识别模型训练；f)对路面病害进行识别，并输出路面图片中路面病害的类别和位置。2.根据权利要求1所述的道路路面病害智能识别方法，其特征在于：所述摄像头安装在道路巡检车辆上。3.根据权利要求1所述的道路路面病害智能识别方法，其特征在于：所述路面图片分为裂缝、井框差、网裂、坑槽、修补裂缝、修补网裂、修补坑槽、其他，共八类。4.根据权利要求1所述的道路路面病害智能识别方法，其特征在于：步骤c)中，所述路面病害标记方式为人工标注。5.根据权利要求1所述的道路路面病害智能识别方法，其特征在于：步骤d)中，所述训练集、验证集、测试集的比例为训练集9：验证集0.5：测试集0.5。6.根据权利要求1所述的道路路面病害智能识别方法，其特征在于：所述复制黏贴数据增强策略为，将所需增强的路面病害类别从路面图片中裁剪下来，然后以一定比例随机粘贴到数据集中的其他路面图片中，从而缓解数据集中的类别不均衡现象。7.根据权利要求1所述的道路路面病害智能识别方法，其特征在于：在模型训练之前，将路面图片随机裁剪到长宽均为224的图像，再以50％的概率对图像进行水平方向随机翻转，然后以50％的概率对图像进行
‑
15
°
～+15
°
的随机旋转，最后对图像进行标准化处理，获得增强后训练集。8.根据权利要求1所述的道路路面病害智能识别方法，其特征在于：步骤e)中，所述路面病害...

【专利技术属性】
技术研发人员：赵泽园，高于超，张星，刘树青，邓立鹏，吕晓鹏，晏小云，惠峰涛，张睿，
申请(专利权)人：无锡数据湖信息技术有限公司，
类型：发明
国别省市：