一种无人机桥梁底面裂纹检测方法及系统技术方案

本发明专利技术提供一种无人机桥梁底面裂纹检测方法及系统，包括无人机端和地面工作站。无人机端利用机载激光雷达和惯性测量单元对无人机进行定位，并形成无人机周围障碍物点云，进行避障和路径规划；机载云台相机以固定频率拍摄桥梁底面并将高清影像存储在存储器中。地面工作站端对拍摄的影像进行处理，对桥墩间的影像进行拼接形成大尺度的桥底面影像；之后获取影像中的边缘信息，并对边缘进行形态学腐蚀膨胀和连接以提取完整的裂纹，依靠拼接影像所处的桥墩位置来对裂纹进行粗略定位；最后对裂纹进行评估，分析测量裂纹的长度、宽度、分布密度等信息。本发明专利技术自动化程度高，效率高，安全系数高，成本低，在桥梁底面巡检方面具有广阔的应用前景。

Method and system for detecting bridge bottom crack of unmanned aerial vehicle

The invention provides a method and a system for detecting the crack of a bridge bottom of an unmanned aerial vehicle, comprising an unmanned end and a ground station. No terminal using airborne laser radar and inertial measurement unit for positioning of UAV, UAV and the formation of obstacles around the point cloud, obstacle avoidance and path planning; airborne pan tilt camera at a fixed frequency shooting bridge bottom and HD image stored in the memory. The ground workstation for shooting image mosaic processing, the formation of large-scale bridge pier on the bottom surface of the image in the image; after obtaining the image edge information, and on the edge of the morphology of corrosion expansion and connection to extract the complete crack, depending on the location of pier mosaic images to the coarse location of the crack; finally, to evaluate the measurement and analysis of crack, crack length, width, density and other information. The invention has the advantages of high automation, high efficiency, high safety factor and low cost, and has wide application prospect in the inspection of the bottom of the bridge.

【技术实现步骤摘要】
一种无人机桥梁底面裂纹检测方法及系统
本专利技术属于图像处理与无人机
，特别涉及无人机桥下自主飞行技术及基于无人机图像的桥梁底面裂纹检测方法，是一种无人机桥梁底面裂纹检测方法。
技术介绍
这些年来，大量的混凝土桥梁在全国各地兴起，桥梁工程的安全与否直接关系到人民群众的生命安危。我国桥梁底面裂纹检测的现状是以人工为主，依靠桥梁检测车等大型机械将桥梁检测专家送到桥底，用肉眼寻找裂纹并用裂纹观测仪或者标尺去测量裂纹尺寸。这种人工检测方法效率低下、成本高且存在安全隐患。随着无人机技术的发展、高精度的各类传感器和高性能的电子器件的问世和应用，无人机在民用方面有着广泛的用途。无人机通过搭载各类传感器在警用、城市管理、农业、地质、气象、电力、抢险救灾等行业发挥着越来越重要的作用。因此，若能采用无人机对桥梁底面裂纹进行巡检，通过挂载照相机和多种传感设备，辅以高精度的导航模块和避障模块，通过地面工作站裂纹检测和图像拼接系统，可以为桥梁检修提供科学和精准的判别。相比传统的人工检测手段，无人机可以轻松到达桥梁底部获取桥梁底面高清图像，无需桥梁检测专家近距离接触桥底面，极大提高了桥梁检测的安全性；在日常巡检中，无需封闭道路中断交通，同时具备较高的检测精度和检测效率。然而，无人机在桥下飞行时存在诸多问题，例如GPS信号丢失、定位不准、遥控信号因遮挡丢失、障碍物躲避等，这使得无人机需要借助其他传感器进行自身定位，同时提高自主飞行能力，才能避免在桥下飞行时撞击障碍或坠毁。用于桥梁底面裂纹检测时，无人机携带的云台相机需要拍摄分辨率在亚毫米级的图片才可以用于裂纹检测。此外，如何从大量的高分辨率影像自动高效地检测裂纹并对裂纹进行定位也是亟待解决的问题。目前的无人机桥梁底面裂纹检测方法及其系统还未有人实现过。
技术实现思路
鉴于现有的人工桥梁底面裂纹检测的不足之处，本专利技术的目的在于提供一种的无人机桥梁底面裂纹检测方法及系统，旨在代替现有人工桥梁底面裂纹检测方案，提高桥梁底面裂纹巡检的效率及检测精度，提高桥梁检测安全系数同时降低桥梁检测的成本。为达到上述目的，本专利技术采取了以下技术方案：一种无人机桥梁底面裂纹检测方法，所述方法包含以下步骤：A：依靠机载激光雷达(LiDAR)和惯性测量单元(IMU)对桥下无人机自身进行定位；B：依靠机载激光雷达(LiDAR)获取无人机周围障碍物点云进行避障和路径规划；C：利用无人机机载高清相机拍摄桥梁底面影像并存储；D：对机载高清相机进行标定并对拍摄影像进行预处理；E：利用图像拼接方法获取大尺度完整桥梁底面影像，并进行裂纹检测；F：利用裂纹影像和激光点云对裂纹进行定位，同时评估裂纹等级。所述步骤A具体包括：A1:激光雷达对无人机周围360°环境进行扫描，获取无人机飞行过程中的激光点云数据；A2:获取每时刻激光点云相对于无人机的坐标，并匹配相邻时刻的激光点云数据，计算对应的坐标差，通过优化算法估计相邻两个时刻无人机的位移和姿态变化。A3:以无人机初始位置建立三维坐标系，利用相邻两时刻无人机的姿态位移变化累计估计无人机位置，并利用无人机自身携带的IMU数据对累计误差进行校正。所述步骤B具体包括：B1:利用无人机自身携带的超声波数据控制无人机离地面以及离桥梁底面的安全拍摄距离；B2:利用无人机当前时刻的位置和姿态信息，以及激光雷达所获取的360°障碍物点云数据，规划从当前位置到目标位置的飞行轨迹。所述步骤C是在完成无人机自身定位，避障和路径规划的基础上，依靠机载云台相机等间隔时间向上拍摄桥梁底面影像，并存储在SD卡中供后续裂纹检测。所述步骤D具体包括:D1:用棋盘格法对高清相机进行标定，获取相机的焦距，径向畸变等参数；D2:利用畸变参数对无人机拍摄的桥梁底面影像进行校正；D3:对图像预处理，包括图像增强，去运动模糊。所述步骤E具体包括:E1:利用点云数据和影像数据拍摄时的关系获取两个桥墩间的所有影像数据；E2:对两桥墩间的所有影像进行拼接处理，形成一张大尺度的高清桥底面影像；E3:利用边缘检测算法获取大尺度高清桥底面影像中存在的所有边缘信息，并对边缘进行形态学腐蚀膨胀和连接，获取完整的裂纹条纹。所述步骤F具体包括:F1:完成桥梁底面影像裂纹检测后，通过利用拼接的影像和激光点云实现对裂纹的粗定位；F2:测量裂缝的长度和宽度，以及分布密度等信息。一种无人机桥梁底面裂纹检测系统，包括无人机端和地面工作站端，无人机端包括无人机系统模块、定位避障导航模块和桥梁底面影像获取模块，地面工作站端包括桥梁底面裂纹检测处理模块；无人机系统模块：主要由多旋翼无人机构成。主要完成飞行功能，为其它各个模块提供载体；定位避障导航模块：由激光雷达、机载惯性测量单元，GPS模块、超声波、机载计算机组成。机载计算机作为核心控制器，处理激光雷达等传感器的数据，对无人机自身进行定位，并获取无人机周围障碍信息，避开障碍并按照路径规划算法规划的路径进行飞行；桥梁底面影像获取模块：由机载云台相机、存储器组成。主要在无人机在飞行作业时完成桥梁底面影像拍摄和存储功能；多旋翼无人机分别与机载惯性测量单元，GPS模块、超声波模块、机载计算机连接，机载计算机分别与激光雷达、机载云台相机、存储器连接。桥梁底面裂纹检测处理模块将存储的影像导入地面工作站并进行预处理，裂纹检测，裂纹评估等工作。一种无人机桥梁底面裂纹检测系统，所述桥梁底面裂纹检测处理模块包括依次连接的影像预处理单元、影像拼接单元、裂纹检测定位单元、裂纹评估单元；影像预处理单元，对拍摄的桥梁底面影像进行校正，去运动模糊，图像增强；影像拼接单元，对两个桥墩之间的所有影像快速拼接形成大尺度高清影像；裂纹检测定位单元，检测大尺度高清影像中的边缘，并通过数学形态学腐蚀膨胀，连接等过程形成完整的裂纹纹理；裂纹评估单元，测量裂缝的长度和宽度，以及分布密度等信息。本专利技术所述的无人机桥梁底面裂纹检测方法及系统，其完成的效果是：首先，无人机在桥梁下方飞行，离桥梁底面固定安全距离按照事先规定的轨迹飞行，避开桥墩等障碍物，在飞行过程中，安装在无人机上的云台相机以固定频率拍摄桥梁底面并将高清影像存储在存储器中；飞行任务结束后，地面工作站对存储器中的影像进行处理，首先对影像进行拼接，拼接完成后自动检测影像中存在的裂纹，依靠拼接影像所处的桥墩位置来对裂纹进行粗略定位；裂纹检测出来后，对裂纹进行评估，分析测量裂纹的长度、宽度、分布密度等信息。本专利技术通过结合无人机技术和图像处理技术将无人机应用于桥梁检测领域，利用多种传感器，采用同时定位与制图算法、路径规划算法、边缘检测算法，实现桥梁底面裂纹检测和评估。相对于传统的基于桥梁检测车的人工检测方法，本专利技术自动化程度高，效率高，安全系数高，成本低。可广泛应用于桥梁裂纹检测，桥梁底面异常检测等应用。附图说明图1为无人机硬件模块示意图。图2为无人机端工作流程。图3为预先设定的无人机桥下巡检路线。图4为地面工作站端的系统工作流程。具体实施方式本专利技术提供了一种无人机桥梁底面裂纹检测方法及其系统。为使本专利技术的目的、技术方案及效果更加清楚、明确，以下参照附图对本专利技术进一步详细说明。本专利技术主要包含两个部分，无人机端和地面工作站图像数据处理端。无人机端的硬件结构和模块示意图参考图1，所述无人机端工作流程如本文档来自技高网...

【技术保护点】
一种无人机桥梁底面裂纹检测方法，其特征在于，所述方法包含以下步骤：A、依靠机载激光雷达LiDAR和惯性测量单元IMU对桥下无人机自身进行定位；B、依靠机载激光雷达LiDAR获取无人机周围障碍物点云进行避障和路径规划；C、利用无人机机载高清相机拍摄桥梁底面影像并存储；D、对机载高清相机进行标定并对拍摄影像进行预处理；E、利用图像拼接方法获取大尺度完整桥梁底面影像，并进行裂纹检测；F、利用裂纹影像和激光点云对裂纹进行定位，同时评估裂纹等级。

【技术特征摘要】
1.一种无人机桥梁底面裂纹检测方法，其特征在于，所述方法包含以下步骤：A、依靠机载激光雷达LiDAR和惯性测量单元IMU对桥下无人机自身进行定位；B、依靠机载激光雷达LiDAR获取无人机周围障碍物点云进行避障和路径规划；C、利用无人机机载高清相机拍摄桥梁底面影像并存储；D、对机载高清相机进行标定并对拍摄影像进行预处理；E、利用图像拼接方法获取大尺度完整桥梁底面影像，并进行裂纹检测；F、利用裂纹影像和激光点云对裂纹进行定位，同时评估裂纹等级。2.根据权利要求1所述的无人机桥梁底面裂纹检测方法，其特征在于，所述步骤A具体包括如下步骤：A1、激光雷达对无人机周围360°环境进行扫描，获取无人机飞行过程中的激光点云数据；A2、获取每时刻激光点云相对于无人机的坐标，并匹配相邻时刻的激光点云数据，计算对应的坐标差，通过优化算法估计相邻两个时刻无人机的位移和姿态变化；A3、以无人机初始位置建立三维坐标系，利用相邻两时刻无人机的姿态位移变化累计估计无人机位置，并利用无人机自身携带的IMU数据对累计误差进行校正。3.根据权利要求2所述的无人机桥梁底面裂纹检测方法，其特征在于，所述步骤B具体包括如下步骤：B1、利用无人机自身携带的超声波数据控制无人机离地面以及离桥梁底面的安全拍摄距离；B2、利用无人机当前时刻的位置和姿态信息，以及激光雷达所获取的360°障碍物点云数据，规划从当前位置到目标位置的飞行轨迹。4.根据权利要求3所述的无人机桥梁底面裂纹检测方法，其特征在于：所述步骤C是在完成无人机自身定位，避障和路径规划的基础上，依靠机载云台相机等间隔时间向上拍摄桥梁底面影像，并存储在SD卡中供后续裂纹检测。5.根据权利要求4所述的无人机桥梁底面裂纹检测方法，其特征在于，所述步骤D具体包括如下步骤：D1、用棋盘格法对高清相机进行标定，获取相机的焦距，畸变参数；D2、利用畸变参数对无人机拍摄的桥梁底面影像进行校正；D3、对图像预处理，包括图像增强，去运动模糊，消除不均匀光照。6.根据权利要求5所述的无人机桥梁底面裂纹检测方法，其特征在于，所述步骤E具体包括如...

【专利技术属性】
技术研发人员：杨文，余淮，张恒，程文胜，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42