一种道路表观病害智能识别方法和系统技术方案

本发明专利技术公开了一种道路表观病害智能识别方法和系统，基于目标检测模型对输入的道路表观图像进行病害检测，返回道路病害的病害区域位置坐标信息，病害类型以及病害的置信度；利用固定大小的小框格精确定位病害区域，便于对特定病害进行长度或面积的计算；对精确定位的结果进行后处理，包括移除孤立框和移除相同项，得到最终的识别结果。本发明专利技术能够自动化病害识别，降低了检测误报率，提高了检测效率。提高了检测效率。提高了检测效率。

【技术实现步骤摘要】
一种道路表观病害智能识别方法和系统


[0001]本专利技术属于深度学习和智能检测领域，特别涉及了道路表观病害智能识别技术。

技术介绍

[0002]沥青路面是中国目前公路建设中使用最多的一种，随着公路里程的增加和使用时间的延长，公路的检查和养护工作愈加繁重，而道路表观病害检测时道路检查的养护的重要环节。
[0003]原始的道路表观病害检测以人工目测为主，速度慢、危险、影响交通且不精确，尤其是在高速道路上，危险系数更高，这种方式逐渐被淘汰。随着科技的不断进步，目前具有高速度高精度的车载采集设备得到广泛应用，利用该设备巡视道路，并采集道路表观数据，由专业人员对图像数据逐张筛查，同时标注病害区域，再统一计算病害长度或面积，从而计算破损率。道路巡检车的存在虽然避免了人工检测时速度慢、危险等问题，但通过人工对庞大的图像数据库进行筛选和标注，依然存在着费时费力且准确率低的缺点。因此，基于视觉的病害检测技术应运而生。然而，路面图像的复杂性、多样性以及病害信息的弱信号性，使得基于视觉的道路识别病害算法并不容易，且需要对弱信号的病害区域进行定量计算，这始终是一个难点。

技术实现思路

[0004]为了解决上述
技术介绍
提到的技术问题，本专利技术提出了一种道路表观病害智能识别方法和系统，自动化病害识别，降低检测误报率，提高检测效率。
[0005]为了实现上述技术目的，本专利技术的技术方案为：
[0006]一种道路表观病害智能识别方法，包括以下步骤：
[0007](1)道路表观病害的粗定位：基于目标检测模型对输入的道路表观图像进行病害检测，返回道路病害的病害区域位置坐标信息，病害类型以及病害的置信度；
[0008](2)道路表观病害的精确定位：利用固定大小的小框格精确定位病害区域，便于对特定病害进行长度或面积的计算；
[0009](3)定位结果的后处理：对精确定位的结果进行后处理，包括移除孤立框和移除相同项，得到最终的识别结果。
[0010]进一步地，步骤(1)的具体过程如下：
[0011](1a)获取多功能路况检测车采集的图像，对数据进行筛选并按照所属病害类别对图像进行标注，构建道路表观病害标注数据集，并扩充部分无病害图像作为背景图，共同作为总数据集，将总数据集划分成训练集和验证集；
[0012](1b)基于目标检测方法构建道路表观病害检测模型，利用训练集对道路表观病害检测模型进行训练，将验证集用于训练后的道路表观病害检测模型，保存在验证集上表现最好的道路表观病害检测模型作为病害粗定位模型；
[0013](1c)将待检测的道路表观图像传入到病害粗定位模型中，得到病害的检测框
detected_Box：
[0014]detected_Box＝[Box,confidence,class][0015]其中，Box＝[x1,y1,x2,y2],(x1,y1),(x2,y2)分别表示病害检测框的左上顶点坐标和右下顶点坐标，confidence表示存在病害的概率值，class表示具体的病害类别。
[0016]进一步地，在步骤(1a)中，所述病害类别包括但不限于裂缝、龟裂、坑槽和修补；在步骤(1b)中，所述道路表观病害检测模型采用YOLO系列模型架构。
[0017]进一步地，步骤(2)的具体过程如下：
[0018](2a)小框格划分：
[0019]将Box区域划分为一系列小框格图像，记为R_Images：
[0020]RW＝T
W
·
W
[0021]RH＝T
H
·
H
[0022]其中，RW和RH为小框格的长和宽，W和H为道路检测图像的长和宽，
[0023](2b)通过精准定位算法，将R_Images中不包含病害区域的框格剔除，得到有效小框格集合R_Boxes，其中每个小框格R_Box包含如下信息：
[0024]R_Box＝[u1,v1,u2,v2,class][0025]其中，(u1,v1)，(u2,v2)为小框格的左上顶点坐标和右下顶点坐标。
[0026]进一步地，在步骤(2b)中，所述精准定位算法包括采用Feature
‑
map计算策略，具体过程如下：
[0027](2b101)基于detected_Box的坐标信息和类别信息，从原图上将特定区域裁剪下来，作为构建bBox分类模型的数据集，并将数据集划分为训练集和验证集；
[0028](2b102)基于卷积神经网络构建bBox分类模型，利用训练集对bBox分类模型进行训练，选择在验证集上准确率最高时的模型参数为最终的bBox分类模型参数；
[0029](2b103)基于detected_Box的坐标信息将特定区域从原图上剪切下来，送入bBox分类模型，计算得到该区域的热力图Feature
‑
map；
[0030](2b104)对于道路上的横向病害和纵向病害，在其垂直方向寻找热力图最高的区域所处的框格作为有效框格，反之为无效框格，保留有效框格，对无效框格进行过滤，得到R_Boxes。
[0031]进一步地，在步骤(2b102)中，所述卷积神经网络采用Resnet系列模型；在步骤(2b103)中，采用CAM方法或者Grad
‑
CAM方法计算热力图Feature
‑
map。
[0032]进一步地，步骤(2b104)的具体过程如下：
[0033]①
根据detected_Box中的Box判断病害的形态：横向或者纵向；
[0034]②
对R_Images进行病害形态的垂直方向的分组，对于横向的病害，对其中所有的Box进行竖向的分布，即处于同一竖直方向的R_Box为一组；对于纵向的病害，处于同一水平方向的R_Box为一组；
[0035]③
依据bBox分类模型得到的Feature
‑
map，对同一组中的R_Box进行热力值统计，取该组中最大的热力值框格作为有效框格，取该detected_Box的类别作为有效框格的病害类别，保留有效框格的坐标数据及病害类别，其他的作为无效框格；
[0036]④
重复步骤
③
，直至对所有组计算完毕，即得到R_Boxes。
[0037]进一步地，在步骤(2b)中，所述精准定位算法包括采用小框格分类策略，具体过程如下：
[0038](2b201)基于R_Images，利用其坐标信息从原图上进行切割，得到对应区域的小框图像，按照对应的类别进行分类，作为构建小框格分类模型的数据集，并划分为训练集和验证集；
[0039](2b202)基于卷积神经网络构建小框格分类模型，利用训练集对小框格分类模型进行训练，采用在验证集上准确率最高的权重模型，作为最终的小框格分类模型RC_model；
[0040](2b203)对于R_Images，依据其坐标信息将对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种道路表观病害智能识别方法，其特征在于，包括以下步骤：(1)道路表观病害的粗定位：基于目标检测模型对输入的道路表观图像进行病害检测，返回道路病害的病害区域位置坐标信息，病害类型以及病害的置信度；(2)道路表观病害的精确定位：利用固定大小的小框格精确定位病害区域，便于对特定病害进行长度或面积的计算；(3)定位结果的后处理：对精确定位的结果进行后处理，包括移除孤立框和移除相同项，得到最终的识别结果。2.根据权利要求1所述道路表观病害智能识别方法，其特征在于，步骤(1)的具体过程如下：(1a)获取多功能路况检测车采集的图像，对数据进行筛选并按照所属病害类别对图像进行标注，构建道路表观病害标注数据集，并扩充部分无病害图像作为背景图，共同作为总数据集，将总数据集划分成训练集和验证集；(1b)基于目标检测方法构建道路表观病害检测模型，利用训练集对道路表观病害检测模型进行训练，将验证集用于训练后的道路表观病害检测模型，保存在验证集上表现最好的道路表观病害检测模型作为病害粗定位模型；(1c)将待检测的道路表观图像传入到病害粗定位模型中，得到病害的检测框detected_Box：detected_Box＝[Box,confidence,class]其中，Box＝[x1,y1,x2,y2],(x1,y1),(x2,y2)分别表示病害检测框的左上顶点坐标和右下顶点坐标，confidence表示存在病害的概率值，class表示具体的病害类别。3.根据权利要求2所述道路表观病害智能识别方法，其特征在于，在步骤(1a)中，所述病害类别包括但不限于裂缝、龟裂、坑槽和修补；在步骤(1b)中，所述道路表观病害检测模型采用YOLO系列模型架构。4.根据权利要求2所述道路表观病害智能识别方法，其特征在于，步骤(2)的具体过程如下：(2a)小框格划分：将Box区域划分为一系列小框格图像，记为R_Images：RW＝T
W
·
WRH＝T
H
·
H其中，RW和RH为小框格的长和宽，W和H为道路检测图像的长和宽，(2b)通过精准定位算法，将R_Images中不包含病害区域的框格剔除，得到有效小框格集合R_Boxes，其中每个小框格R_Box包含如下信息：R_Box＝[u1,v1,u2,v2,class]其中，(u1,v1)，(u2,v2)为小框格的左上顶点坐标和右下顶点坐标。5.根据权利要求4所述道路表观病害智能识别方法，其特征在于，在步骤(2b)中，所述精准定位算法包括采用Feature
‑
map计算策略，具体过程如下：(2b101)基于detected_Box的坐标信息和类别信息，从原图上将特定区域裁剪下来，作
为构建bBox分类模型的数据集，并将数据集划分为训练集和验证集；(2b102)基于卷积神经网络构建bBox分类模型，利用训练集对bBox分类模型进行训练，选择在验证集上准确率最高时的模型参数为最终的bBox分类模型参数；(2b103)基于detected_Box的坐标信息将特定区域从原图上剪切下来，送入bBox分类模型，计算得到该区域的热力图Feature
‑
map；(2b10...

【专利技术属性】
技术研发人员：吴刚，戴姣，刘慧，侯士通，陈金桥，费东炜，王浩琛，
申请(专利权)人：江苏东印智慧工程技术研究院有限公司，
类型：发明
国别省市：