【技术实现步骤摘要】
本专利技术涉及道路工程领域，具体涉及基于无人机的道路表面病害实时巡检装置、方法及系统。
技术介绍
1、目前路面病害检测方法主要为人工目视检测结合多功能道路检测车自动检测，综合评定路面的病害类型以及相应的破损程度。传统的人工检测方式具有效率低、速度慢、精度低、可重复性差、数据处理时间长等缺点，且需要封闭交通，不仅影响道路的正常使用，还会给道路检测人员带来安全隐患，同时该方法也无法实现大规模的路面病害检测。道路检测车虽然能以一定的速度采集路面数据，提高了路面检测效率，但需要进行多车道数据采集完成全幅路段的检测任务，且目前检测方式多为先采集数据再进行分析，无法实现“随采随检”不能快速实现对路面状况进行评价。
技术实现思路
1、本专利技术所要解决的技术问题：提供基于无人机的道路表面病害实时巡检装置、方法及系统，能够对道路表面病害实现实时检测并能得出不同类型路面病害的数目和位置，并适用于不同的路面场景。
2、本专利技术为解决以上技术问题而采用以下技术方案：
3、本专利技术提出的基于无人机的道路表面病害实时巡检装置，包括无人机、单目相机、gps信息传输装置、4g图传装置、移动网络设备、遥控器、地面工作站。
4、无人机作为机载平台，用于搭载单目相机、gps信息传输装置、4g图传装置，并均采用usb接口连接。
5、单目相机，用于采集路表病害图像信息。
6、gps信息传输装置，用于获取无人机实时位置，并将无人机实时位置传输到地面工作站，提供
7、4g图传装置，分别装置于无人机和地面工作站上，用于将无人机实时视频流信息传输给地面工作站。
8、移动网络设备，通过数据线与遥控器连接，用于给遥控器发布路径规划信息。
9、遥控器，用于控制无人机起落、飞行，并对无人机发布指令。
10、地面工作站，通过usb接口与gps信息传输装置连接，并通过hdmi线与4g图传装置连接，用于获取无人机的gps信息和实时视频流信息并完成路表病害的识别、跟踪、分类统计、定位。
11、进一步的，gps信息传输装置和4g图传装置位于无人机上部，且应与无人机叶片保持安全距离，间距大于5cm。
12、进一步的，单目相机位于无人机下部，方向垂直向下，根据不同单目相机成像能力的不同，设定合适的焦距，宜在8-35mm范围内。
13、进一步的，gps信息传输装置的传输频率与采集的视频流帧率相同。
14、进一步的，本专利技术还提出了基于无人机的道路表面病害实时巡检方法，包括：
15、s1、构建无人机搭载单目相机及gps信息传输装置的巡检平台，通过计算单目相机的成像范围和目标巡检道路的实际情况设定准确的无人机飞行高度。
16、s2、根据步骤s1中无人机的飞行高度确定无人机路径规划方案，进行实时巡检路径规划。
17、s3、地面工作站实时接收无人机上4g图传装置的道路影像数据，且实时接收无人机上gps信息传输装置的信息，获取无人机精确位置。
18、s4、构建无人机道路病害数据集。
19、s5、由于路面病害种类不平衡，路面常见的病害主要为横向及纵向裂缝，且路面病害种类较少，采用小目标增强方式对无人机道路病害数据集进行扩充。
20、s6、采用labelimg完成沥青路面表面病害的区域级标注，标注格式为xml文件，将路面病害分类。
21、s7、采用一阶段目标识别网络yolov7作为神经网络模型，利用cuda11.2 teslav100 gpu pytorch 1.2.0进行模型训练。共训练x个epoch(x取值宜大于100)，前50个epoch采用冻结训练，batchsize为8，学习率为0.001。后x-50个epoch采用解冻训练，batchsize为4，学习率为0.0001。均采用adam作为优化器调节超参数，权值衰减为0.000001并对比不同anchor对试验结果的影响，最终获得道路表面病害识别的权重文件。
22、s8、通过获得的路面病害识别权重文件，对4g图传装置传输的道路实时视频流进行病害识别。
23、s9、在目标识别基础上部署目标跟踪算法deepsort，利用卡尔曼滤波器预测轨迹，使用匈牙利算法将预测得到的轨迹和当前帧中的目标框进行级联匹配和交叉匹配，最终更新卡尔曼滤波器。通过整合物体的运动信息和外观信息，增强了模型的鲁棒性，减少目标idswitch的个数，提高跟踪精度，实现道路表面病害实时跟踪。
24、s10、根据视频流的大小以及目标巡检区域地理环境布设检测器，宜为视频流中央区域并保证检测器宽度大于视频流中道路区域宽度，当目标检测框通过检测器时，即可实现对路表病害的统计。
25、s11、根据路表病害通过检测器时地面工作站的系统时间以及地面工作站接收到gps信息传输装置的系统时间，实现对路表病害的定位。
26、进一步的，步骤s1中，设定准确的无人机飞行高度包括以下子步骤：
27、s101、单目相机成像范围的计算公式为：
28、
29、
30、其中，d表示相机传感器宽度，l表示相机传感器长度，f表示相机焦距，w表示成像范围宽度，l表示成像范围长度，h表示无人机高度。
31、s102、使用无人机飞行软件dji go，自定义飞行任务，针对待巡检道路，每隔100米设置一个控制点，保证无人机沿着控制点飞行。
32、进一步的，步骤s4中，构建无人机道路病害数据集包括以下子步骤：
33、s401、获取单目相机拍摄的无人机影像数据，按照无人机影像数据的帧数，提取每一帧道路图片信息。
34、s402、对道路图片进行预处理，包括边缘填充、裁剪，512×512大小的图像既能满足病害识别分辨率要求，又能满足地面工作站的算力要求，因此需将获取的大尺寸图像裁剪为该尺度大小，当原图像大小不能被512整除时，需对原图像加上黑边进行padding填充调整。
35、进一步的，步骤s6中，将路面病害分为裂缝类和坑槽及修补类，其中裂缝类包括横向裂缝、纵向裂缝、龟裂和斜向裂缝，坑槽及修补类包括封缝和修补块。
36、进一步的，本专利技术还提出了基于无人机的道路表面病害实时巡检系统，包括：
37、路面信息采集模块，用于目标检测区域的道路表面病害信息进行采集，单目相机镜头垂直向下，设定焦距保证无人机采集信息的质量。
38、无人机路径规划模块，用于对无人机飞行速度，飞行高度以及飞行位置进行控制，保证无人机沿着预定轨迹飞行。
39、视频流实时传输模块，用于将无人机采集的视频流传输到地面工作站，保证地面工作站接收的视频流信息为无人机实时采集的视频流信息。
40、路面病害实时检测模块，用于分析飞行参数、图像预处理、构建基于无人机的道路表面病害图像数据集以及采用目标识别本文档来自技高网...
【技术保护点】
1.基于无人机的道路表面病害实时巡检装置，其特征在于，包括无人机(1)、单目相机(2)、GPS信息传输装置(3)、4G图传装置(4)、移动网络设备(5)、遥控器(6)、地面工作站(7)；
2.根据权利要求1所述基于无人机的道路表面病害实时巡检装置，其特征在于，GPS信息传输装置(3)和4G图传装置(4)位于无人机(1)上部。
3.根据权利要求1所述基于无人机的道路表面病害实时巡检装置，其特征在于，单目相机(2)位于无人机(1)下部，方向垂直向下；根据单目相机的成像能力，设定焦距，在8-35mm范围内。
4.根据权利要求1所述基于无人机的道路表面病害实时巡检装置，其特征在于，GPS信息传输装置(3)的传输频率与采集的视频流帧率相同。
5.基于权利要求1-4任一所述无人机的道路表面病害实时巡检装置的巡检方法，其特征在于，包括：
6.根据权利要求5所述的基于无人机的道路表面病害实时巡检方法，其特征在于，步骤S1中，设定准确的无人机飞行高度包括以下子步骤：
7.根据权利要求6所述的基于无人机的道路表面病害实时巡检方法
8.根据权利要求6所述的基于无人机的道路表面病害实时巡检方法，其特征在于，步骤S6中，将路面病害分为裂缝类和坑槽及修补类，其中裂缝类包括横向裂缝、纵向裂缝、龟裂和斜向裂缝，坑槽及修补类包括封缝和修补块。
9.基于无人机的道路表面病害实时巡检系统，其特征在于，包括：
10.根据权利要求9所述的基于无人机的道路表面病害实时巡检系统，其特征在于，路面病害实时统计模块中，目标检测区域的路面病害分类统计通过在视频流中部署检测器实现，当不同种类目标框通过检测器时进行计数，并触发GPS接收器完成道路表面病害的统计与定位。
...【技术特征摘要】
1.基于无人机的道路表面病害实时巡检装置，其特征在于，包括无人机(1)、单目相机(2)、gps信息传输装置(3)、4g图传装置(4)、移动网络设备(5)、遥控器(6)、地面工作站(7)；
2.根据权利要求1所述基于无人机的道路表面病害实时巡检装置，其特征在于，gps信息传输装置(3)和4g图传装置(4)位于无人机(1)上部。
3.根据权利要求1所述基于无人机的道路表面病害实时巡检装置，其特征在于，单目相机(2)位于无人机(1)下部，方向垂直向下；根据单目相机的成像能力，设定焦距，在8-35mm范围内。
4.根据权利要求1所述基于无人机的道路表面病害实时巡检装置，其特征在于，gps信息传输装置(3)的传输频率与采集的视频流帧率相同。
5.基于权利要求1-4任一所述无人机的道路表面病害实时巡检装置的巡检方法，其特征在于，包括：
6.根据权利...
【专利技术属性】
技术研发人员：马涛，王志鹏，朱俊清，卜天翔，吴宇轩，艾克拜尔·阿布列克木，王圣钊，葛沛劼，张川桦，于震，
申请(专利权)人：东南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。