一种道路病害识别追踪方法技术

本发明专利技术涉及图像处理技术领域，尤其涉及一种道路病害识别追踪方法，包括采集路面视频数据，并提取存在病害的图像；标记病害和对应病害路面；构建病害数据集和病害路面实例分割数据集；构建yolov5网络模型，对病害数据集进行数据增强，并对病害进行目标检测训练；利用blendmask模型对病害路面进行实例分割，识别出路面区域；并判断病害是否在路面上；利用resnet模型对不同的帧图像进行特征提取；并根据车辆方向、车辆静止和运动状态对连续帧中检测到的病害匹配相同追踪id；给病害图像赋予GPS坐标位置。本发明专利技术解决道路病害识别率不高；识别道路病害时未考虑周围环境对道路识别影响问题。响问题。响问题。

【技术实现步骤摘要】
一种道路病害识别追踪方法


[0001]本专利技术涉及图像处理
，尤其涉及一种道路病害识别追踪方法。

技术介绍

[0002]随着经济的发展，省国道公路网络发展迅速，但公路管养需求日益增加。小病害不被及时发现、修复，就会快速恶化，降低道路的使用寿命，严重威胁道路交通安全。而目前道路巡检和技术状况评定，有依靠人工巡查、拍照纪录的方式来完成，漏检率高、效率低，而且巡检员在车流中拍照存在较大的安全隐患。
[0003]另外，现有基于人工神经网络算法对道路病害进行识别，但存在如下问题：
[0004]1、道路病害识别率不高；
[0005]2、识别道路病害时未考虑周围环境对道路识别影响，例如道路周边有房屋等会影响识别准确性。

技术实现思路

[0006]针对现有方法的不足，本专利技术所采用的技术方案是：一种道路病害识别追踪方法包括以下步骤：
[0007]步骤一、采集路面视频数据，从中提取存在病害的图像，使用矩形框标记病害，使用多边形标记病害对应路面，构建病害数据集和路面实例分割数据集；
[0008]步骤二、构建yolov5网络模型，对训练集进行数据增强，利用病害数据集对病害的目标检测模型进行训练；
[0009]进一步的，yolov5网络模型采用anchor
‑
based和one
‑
stage结构，输出端使用PAN
‑
FPN的方式输出40x40，80x80，160x160三种特征图，利用聚类的方式生成九个尺寸的anchor，将anchor升序后分为三组，并分别分配给三种特征图；
[0010]yolov5网络模型训练时取图像ground truth框中心点坐标的像素点和与ground truth框中心点坐标距离最小的两个像素点坐标得到bounding box，作为训练的正样本；计算每个特征图anchor与bounding box的最大长宽比，并根据最大长宽比将bounding box分配到对应的特征图上。
[0011]进一步的，使用CIOU作为yolov5网络模型的边框回归损失，使用二分类交叉熵作为分类损失，同时使用FocalLoss解决正负样本不平衡。
[0012]进一步的，将目标置信度重置为目标置信度和分类置信度的乘积，利用重置的目标置信度进行目标框的筛选；对筛选后的目标框进行降序并保留若干个；并对若干个目标框进行nms处理。
[0013]步骤三、利用blendmask模型对病害路面进行实例分割，识别出路面区域；并判断病害是否在路面上；
[0014]进一步的，blendmask模型的backbone使用Fcos模型，Fcos模型在输出端使用fpn的方式得到三个尺寸不同的特征图，对三个尺寸特征图中最小的特征图进行下采样，得到
两个新的特征图；将五个特征图分别通过Bottom module和top layers两个模块分别生成Base score map和top
‑
level attentions两部分；通过blender模块对top
‑
level attentions和Base进行融合，输出代表路面区域的多边形框。
[0015]进一步的，利用shapely工具计算目标检测到的病害矩形框和实例分割的路面区域的多边形框相交的比例，并与阈值进行比较，实现病害和路面的匹配。
[0016]步骤四、利用resnet模型对不同的帧图像进行特征提取；并根据车辆方向、车辆静止和运动状态对连续帧中检测到的病害匹配相同追踪id；
[0017]进一步的，通过resnet模块抽取检测框范围某帧图像特征，并与检测框范围的下一帧图像特征计算余弦距离，当余弦距离小于设定阈值时将两帧图像标注为相同追踪id。
[0018]进一步的，车辆方向的判断规则为：
[0019]设定病害的检测框中心点的坐标，计算两帧图像中病害的检测框DIOU大小和图像特征的余弦距离，并与预设阈值进行比较；满足阈值条件后通过两个检测框的位置坐标确定车辆移动方向。
[0020]进一步的，车辆静止和运动状态的判断规则为：
[0021]同一病害在画面中的位置和图像特征变化小于设定阈值，判断病害处于静止状态，否则为运动状态。
[0022]步骤五、给病害图像赋予GPS坐标位置；
[0023]进一步的，具体包括：
[0024]读取GPS文件中视频某一时间的车辆GPS坐标，选择与待检测图像时间点最近的两个GPS坐标，通过两个GPS坐标直线距离上的插值计算待检测图像的GPS坐标。
[0025]本专利技术的有益效果：
[0026]1、通过实例分割模型检测到图像中的路面区域，过滤路面的周围环境等影响因素，能有效区分与病害相似的类别，提高路害识别准确率；
[0027]2、对于汽车运动和静止这两种相反情况下设计的目标追踪判断方式，能准确追踪多个连续帧的同一目标；
[0028]3、通过计算机视觉模型进行动态轮巡，与传统轮巡方式相比拥有更高的效率，节省大量人力。
附图说明
[0029]图1是本专利技术的道路病害识别追踪方法流程图。
具体实施方式
[0030]下面结合附图和实施例对本专利技术作进一步说明，此图为简化的示意图，仅以示意方式说明本专利技术的基本结构，因此其仅显示与本专利技术有关的构成。
[0031]如图1所示，一种道路病害识别追踪方法包括以下步骤：
[0032]步骤一、通过巡查前置摄像设备，实时获取路面视频数据，通过opencv对视频逐帧读取；
[0033]巡查前置摄像设备的视频xxx.mp4上传到服务器；其中，xxx.mp4的视频名称中包括：经过模型处理后的视频存储路径以及视频的开始时间以及结束时间，通过特定形式拼
接在一起；视频上传完成后需要继续上传与视频对应的GPS文件xxx.txt，这个文件中保存的是GPS坐标点以及坐标对应的时间，在这两个文件上传完成后，再上传一个大小为0kb的xxx.lock文件，当程序检测到xxx.lock文件时会启动模型。
[0034]对图像中存在的病害类型通过Labview工具进行标注；病害类型包括：横向裂缝、纵向裂缝、龟裂，坑槽；并将采集的数据分为训练集和测试集。
[0035]前置摄像头可以为专用车载设备，也可以是公共交通工具的视频采集识别，例如公交车前置摄像头。
[0036]步骤二、利用yolov5网络模型对训练集图像中进行病害目标检测，输出病害的位置和类型特征；
[0037]具体包括：
[0038]yolov5网络模型采用anchor
‑
based和one
‑
stage结构，将输入图像设置为1280x1280像素分辨率，不同于一般以640X640的图像输入，更大的分辨率可以更好的提取图像特征。
[0039]数据增强方面包括：水平偏转、随机裁剪、图像亮度和对比度随机增减、图像腐蚀和图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种道路病害识别追踪方法，其特征在于，包括以下步骤：步骤一、采集路面视频数据，并提取存在病害的图像；标记病害和对应病害路面；构建病害数据集和病害路面实例分割数据集；步骤二、构建yolov5网络模型，对病害数据集进行数据增强，并对病害进行目标检测训练；步骤三、利用blendmask模型对病害路面进行实例分割，识别出路面区域；并判断病害是否在路面上；步骤四、利用resnet模型对不同的帧图像进行特征提取；并根据车辆方向、车辆静止和运动状态对连续帧中检测到的病害匹配相同追踪id；步骤五、给病害图像赋予GPS坐标位置。2.根据权利要求1所述的道路病害识别追踪方法，其特征在于，yolov5网络模型采用anchor
‑
based和one
‑
stage结构，输出端使用PAN
‑
FPN的方式输出40x40，80x80，160x160三种特征图，利用聚类的方式生成九个尺寸的anchor，将anchor升序后分为三组，并分别分配给三种特征图；训练时取图像ground truth框中心点坐标的像素点和与ground truth框中心点坐标距离最小的两个像素点坐标得到bounding box，作为训练的正样本；计算每个特征图anchor与bounding box的最大长宽比，并根据最大长宽比将bounding box分配到对应的特征图上。3.根据权利要求2所述的道路病害识别追踪方法，其特征在于，使用CIOU作为yolov5网络模型的边框回归损失，使用二分类交叉熵作为分类损失，同时使用FocalLoss解决正负样本不平衡。4.根据权利要求2所述的道路病害识别追踪方法，其特征在于，yolov5网络模型的推理是将目标置信度重置为目标置信度和分类置信度的乘积，利用重置的目标置信度进行目标框的筛选；对筛选后的目标框进行降序并保留若干个；并对若干个目标框进行nms处理。...

【专利技术属性】
技术研发人员：周潼，丁新勇，史建波，洪鹤松，陈昊，
申请(专利权)人：江苏全栈智能科技有限公司，
类型：发明
国别省市：