一种基于无人机航拍路面裂缝图像的识别方法技术

本发明专利技术公开了一种基于无人机航拍路面裂缝图像的识别方法，首先根据无人机航拍图像的质量要求，计算所需的飞行参数，然后完成飞行路径规划，完成基于无人机的路面裂缝图像收集，对收集到的图像进行预处理，对航拍的小尺度裂缝进行针对性的增强，最后根据FasterRCNN网络模型，完成路面裂缝的识别与定位，并以文档形式输出病害的类别及位置，为养护管理工作提供依据。本发明专利技术提高了识别精度。

【技术实现步骤摘要】
一种基于无人机航拍路面裂缝图像的识别方法
本专利技术涉及道路工程检测养护领域。
技术介绍
随着我国经济的发展，我国的道路里程在不断增加，截止到2019年末，全国公路总里程501.25万公里，公路密度52.21公里/百平方公里。道路建设规模越来越大，随着道路使用年限的增加，公路路面也不断出现各种路面病害，路面的检测养护工作日益繁重。路面出现的病害不但影响道路的使用性能，还会产生交通安全事故。路面的裂缝、坑槽、车辙等病害的日益发展，会不断地缩短道路的使用年限，增加养护维修费用。因此，及时检测修护病害十分重要。如何实时动态地进行路面病害的检测至关重要，只有在充分掌握了路面病害的具体信息之后，才能针对特定的病害进行专门的维修养护工作，以保证道路在设计使用年限内完成预定的功能。目前的路面病害检测方法主要为人工目视结合多功能道路检测车综合评定路面的病害类型以及相应的破坏程度。人工目视的检测方法是最传统的检测方法，该方法检测效率较低，给出的路面病害评价具有主观性。并且人工检测需要封闭交通，不仅影响道路的正常使用，还会给道路检测人员带来安全隐患。道路检测车的出现提高了路面检测的效率，能够以一定的速度采集路面状况数据，但是完成全幅路段的检测还需要多车道采集数据，才能完成路段的检测任务。并且受到交通流的限制不能按照固定的速度在固定车道上进行检测任务，检测频率较低，不能实时定点多次巡检。因此目前我国急需一种灵活的、高频率的道路状况采集设备来完成路面检测养护工作。随着无人机图像采集技术的不断进步，无人机被逐渐运用于桥梁、路基边坡检测、交通流数据统计等方面，能够快速高效地完成相应的功能。因此利用无人机航拍采集路面病害的图像完成路面检测成为可能。无人机不仅能够完成全幅路面的图像拍摄，还能进行定点巡查和补检，完全不受路面交通状况的限制。
技术实现思路
专利技术目的：为了解决上述现有技术存在的问题，本专利技术提供了一种基于无人机航拍路面裂缝图像的识别方法。技术方案：本专利技术提供了一种基于无人机航拍路面裂缝图像的识别方法，具体包括如下步骤：步骤1：确定无人机的飞行高度，无人机按照该飞行高度获取道路的路面裂缝图像；步骤2：对图像数据集中的图像进行预处理，保留原始的图像和预处理后图像，从而实现对图像数据集的扩充；步骤3：对扩充后的图像数据集中每个图像的裂缝进行标注，具体为：采用矩形框对图像中的裂缝进行定位，根据裂缝的种类为裂缝设置类别标签，并保存矩形框的坐标；步骤4：将相对尺度小于预设阈值的裂缝认定为小目标裂缝，在标注后的图像数据集中选择若干个小目标裂缝进行增强；步骤5：采用FasterRCNN模型对步骤4得到的图像数据集中的图像进行训练，得到训练好的FasterRCNN模型。步骤6：采用训练好的FasterRCNN模型对图像中的裂缝进行分类和定位。进一步的，所述步骤1中确定无人机的飞行高度H为：H＝f*GSD/a其中，GSD为图像的地面分辨率，f为镜头焦距，a为像元尺寸。进一步的，所述步骤2中采用如下任意一种或几种方法的结合对图像进行预处理：方法一：使用几何变换对图像进行数据增强；方法二：使用随机调整亮度对图像进行增强；方法三：使用随机调整对比度对图像进行增强；方法四：对图像添加高斯噪声和椒盐噪声；方法五：对图像进行仿射变换。进一步的，所述步骤4中的相对尺度relativescale为：其中，widthgt为裂缝对应的矩形框的宽，heightgt为裂缝对应的矩形框的高，widthimage为裂缝对应的图像的宽，heightimage为裂缝对应的图像的宽。进一步的，所述步骤4中对小目标裂缝进行增强具体为：针对选择的小目标裂缝在该小目标裂缝所属图像的范围内对该小目标裂缝进行复制粘贴，且复制粘贴后的小目标裂缝不覆盖图像中已经有的小目标裂缝。进一步的，在FasterRCNN模型训练时，根据交并比IOU值调整FasterRCNN模型中预测框B，使得预测框B与图像中裂缝对应的矩形框A之间的距离小于预设的值，从而得到最优的预测框，所述IOU为：有益效果：本专利技术能够利用无人机拍摄的路面图像检测多车道路面裂缝病害，有效提高了病害检测效率，减少路面检测对道路交通的影响。本专利技术采用小目标裂缝增强之后，提高了对模型loss值的贡献率，显著提高了路面裂缝的识别准确率，降低了裂缝的误检和漏检概率。在识别出裂缝后，能给出裂缝的类别和具体位置信息，为道路精准养护提供依据。附图说明图1是本专利技术的流程图。图2是本专利技术提供的无人机飞行路径规划图，其中(a)为东南大学图书馆前的路径规划，(b)为绕城高速G2501的一段路径规划。图3是本专利技术提供的路面裂缝数据增强图。图4是本专利技术提供的人工使用labelImg标注路面病害实例图。图5是本专利技术提供的小尺度裂缝增强图。其中(a)为航拍路面裂缝的原图，(b)为小尺度裂缝增强后的图。图6是本专利技术提供的FasterRCNN网络结构示意图，其中(a)为FasterRCNN结构示意图，(b)为骨干网络Resnet50结构示意图。图7是本专利技术提供的路面裂缝标定框IOU计算示例图。图8是本专利技术提供的FasterRCNN模型预测结果图。具体实施方式构成本专利技术的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。如图1所示，本实施例提供了一种基于无人机航拍路面裂缝图像的识别方法；具体步骤为：步骤1：构建无人机路面图像采集平台，获取路面图像；步骤2：图像数据集扩充；步骤3：对图像中的裂缝进行手工标注，小目标裂缝增强；步骤4：进行FasterRCNN模型的搭建和训练；步骤5：路面裂缝分类及定位。首先通过试验确定无人机的飞行状态、飞行参数以及相机参数等。具体包括相机的焦距，画幅；无人机的飞行高度，飞行角度以及飞行速度。为获取良好质量的无人机病害图像做准备。无人机的飞行高度H为：H＝f*GSD/a其中，GSD为图像的地面样本距离，f为镜头焦距，a为像元尺寸。本实施例直接选取地面分辨率GSD为4mm/pixel。挂载相机的像素为2000W(5472*3648)，焦距为28mm，传感器的尺寸为一英寸(12.8mm*9.6mm)。计算出来的无人机飞行高度为50m。飞行速度为4m/s。拍摄的路幅宽度为：0.004*5472＝21.888m，0.004*3648＝14.592m。在多云的天气下进行路面裂缝拍摄，以获得良好的光照条件，进一步提高图像数据集的质量。一些具体的飞行参数如表1所示。表1无人机具体飞行参数GSD飞行高度飞行角度飞行速度4mm/pixel50本文档来自技高网...

【技术保护点】
1.一种基于无人机航拍路面裂缝图像的识别方法，其特征在于：具体包括如下步骤：/n步骤1：确定无人机的飞行高度，无人机按照该飞行高度飞行，并获取道路的路面裂缝图像；/n步骤2：对图像数据集中的图像进行预处理，保留原始的图像和预处理后图像，从而实现对图像数据集的扩充；/n步骤3：对扩充后的图像数据集中每个图像的裂缝进行标注，具体为：采用矩形框对图像中的裂缝进行定位，根据裂缝的种类为裂缝设置类别标签，并保存矩形框的坐标；/n步骤4：将相对尺度小于预设阈值的裂缝认定为小目标裂缝，在标注后的图像数据集中选择若干个小目标裂缝进行增强；/n步骤5：采用Faster RCNN模型对步骤4得到的图像数据集中的图像进行训练，得到训练好的Faster RCNN模型；/n步骤6：采用训练好的Faster RCNN模型对图像中的裂缝进行分类和定位。/n

【技术特征摘要】
1.一种基于无人机航拍路面裂缝图像的识别方法，其特征在于：具体包括如下步骤：
步骤1：确定无人机的飞行高度，无人机按照该飞行高度飞行，并获取道路的路面裂缝图像；
步骤2：对图像数据集中的图像进行预处理，保留原始的图像和预处理后图像，从而实现对图像数据集的扩充；
步骤3：对扩充后的图像数据集中每个图像的裂缝进行标注，具体为：采用矩形框对图像中的裂缝进行定位，根据裂缝的种类为裂缝设置类别标签，并保存矩形框的坐标；
步骤4：将相对尺度小于预设阈值的裂缝认定为小目标裂缝，在标注后的图像数据集中选择若干个小目标裂缝进行增强；
步骤5：采用FasterRCNN模型对步骤4得到的图像数据集中的图像进行训练，得到训练好的FasterRCNN模型；
步骤6：采用训练好的FasterRCNN模型对图像中的裂缝进行分类和定位。


2.根据权利要求1所述的一种基于无人机航拍路面裂缝图像的识别方法，其特征在于：所述步骤1中确定无人机的飞行高度H为：
H＝f*GSD/a
其中，GSD为图像的地面分辨率，f为镜头焦距，a为像元尺寸。


3.根据权利要求1所述的一种基于无人机航拍路面裂缝图像的识别方法，其特征在于：所述步骤2中采用如下任意一种或几种方法的结合对图像进行预处理：<...

【专利技术属性】
技术研发人员：马涛，钟靖涛，朱俊清，韩诚嘉，张伟光，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32