基于双目视觉和惯导融合无人机的桥梁检测方法及系统技术方案

本发明专利技术公开了一种基于双目视觉和惯导融合无人机的桥梁检测方法及系统，所述方法包括利用双目视觉传感器采集的图像以及惯性测量装置输出的位姿参数计算出无人机的实时位置；基于无人机的实时位置，确定控制点；根据控制点确定检测区域，并根据所述检测区域以及控制点规划飞行路径；控制无人机到达起始点，并根据飞行路径控制无人机的飞行，且飞行过程中利用高清相机采集桥梁底部图像，实现桥梁外观检测。本发明专利技术利用双目视觉传感器+惯性测量装置替代无人机的GNSS，来实现无人机的定位导航，提高了无人机的定位精度和定位稳定性，解决了因桥梁底部GNSS信号弱导致无人机无法完成路径规划与自动巡航、人工操纵难度大等问题。人工操纵难度大等问题。人工操纵难度大等问题。

【技术实现步骤摘要】
基于双目视觉和惯导融合无人机的桥梁检测方法及系统


[0001]本专利技术属于桥梁检测
，尤其涉及一种基于双目视觉与惯导融合无人机的桥梁检测方法、系统。

技术介绍

[0002]桥梁的日常巡检、定期检测是养护部门最重要和繁重的工作。目前，桥梁定期检测主要采用桥梁检测车作为移动平台，人工在移动平台上寻找病害并做记录，然后整理数据编写报告。而现有桥梁检测车普遍存在着：占用车道影响交通，大悬臂结构安全性差，索结构桥梁无法使用，桥梁栏杆影响作业，多人高空作业，检测效率低，成本高，人为因素影响大，自动化程度低等诸多局限性。
[0003]随着我国公路、铁路桥梁数量的不断增加，现有检测车已经远远不能满足桥梁定期检测需求，更不能满足桥梁全寿命周期数字化健康监测的需求。
[0004]随着无人机在各行各业的逐渐应用，它已经成为会飞的生产工具，无人机的飞行定位和导航高度依赖于导航卫星系统(简称GNSS)，而桥梁底部GNSS信号弱甚至没有，无人机无法完成路径规划与自动巡航，只能通过人工操纵无人机的方式进行数据采集，人工操纵难度大，且采集的图像质量无法保证；同时在水域环境上方，桥梁底部飞行的无人机容易发生突降、甚至炸机，因此，无人机在桥梁检测方面一直未得到大规模的应用。

技术实现思路

[0005]本专利技术的目的在于提供一种基于双目视觉和惯导融合无人机的桥梁检测方法及系统，以解决传统检测技术中因桥梁底部GNSS信号弱导致无人机无法完成路径规划与自动巡航，人工操纵难度大，采集的图像质量无法保证以及桥梁底部飞行的无人机易发生突降甚至炸机的问题。
[0006]本专利技术是通过如下的技术方案来解决上述技术问题的：一种基于双目视觉和惯导融合无人机的桥梁检测方法，在无人机上设有云台、惯性测量装置以及双目视觉传感器，在所述云台上设有高清相机，所述双目视觉传感器和高清相机的镜头均垂直向上，所述检测方法包括以下步骤：
[0007]利用所述双目视觉传感器采集的图像以及惯性测量装置输出的位姿参数计算出无人机的实时位置；其中所述实时位置基于传感器坐标系，所述传感器坐标系是以双目视觉传感器启动时的位置为原点，以桥梁长度方向为X轴的左手坐标系；
[0008]基于所述无人机的实时位置，确定控制点；
[0009]根据所述控制点或控制点和桥梁参数确定检测区域，并根据所述检测区域以及控制点规划飞行路径；
[0010]控制所述无人机到达控制点，并根据所述飞行路径控制无人机的自动飞行，且自动飞行过程中利用高清相机采集桥梁底部图像，实现桥梁检测。
[0011]进一步地，利用所述双目视觉传感器采集的图像以及惯性测量装置输出的位姿参
数计算出无人机的实时位置，具体包括以下步骤：
[0012]获取双目视觉传感器的左眼相机采集的左眼图像和右眼相机采集的右眼图像；
[0013]利用双目视觉传感器的相机内参分别对所述左眼图像、右眼图像进行畸变矫正，并对畸变矫正后的图像分别提取FAST特征点；
[0014]对所述FAST特征点添加方向特征，根据添加方向特征的FAST特征点生成特征点的Brief描述符；
[0015]基于特征点的Brief描述符，对所述左眼图像、右眼图像中的FAST特征点进行匹配，得到特征匹配对；
[0016]剔除误匹配的特征匹配对，得到由所有特征匹配对构成的特征对集合；
[0017]根据所述特征对集合中的特征匹配对计算出传感器坐标系下的相机位姿参数；
[0018]利用所述惯性测量装置获取无人机的加速度和角度信息，进而得到无人机的速度和位置信息；
[0019]利用所述相机位姿参数与所述无人机的速度和位置信息对无人机的飞行路径进行定位纠正，重建获得传感器坐标系下无人机的实时位置。
[0020]进一步地，在利用双目视觉传感器的相机内参分别对所述左眼图像、右眼图像进行畸变矫正的同时，所述检测方法还包括：
[0021]根据所述左眼图像计算出左眼灰度直方图，根据所述右眼图像计算出右眼灰度直方图；
[0022]当所述左眼灰度直方图或右眼灰度直方图的最大峰值小于第一临界值时，表明对应的图像偏暗，增大曝光；当所述左眼灰度直方图或右眼灰度直方图的最大峰值大于第二临界值时，表明对应的图像偏亮，降低曝光；其中，第二临界值大于第一临界值。
[0023]优选地，第一临界值为100，第二临界值为135。
[0024]进一步地，根据所述特征对集合中的特征匹配对计算出传感器坐标系下的相机位姿参数，具体包括以下步骤：
[0025]根据所述特征对集合中每个特征匹配对的FAST特征点在左眼图像和右眼图像的像素坐标计算出传感器坐标系下的空间点坐标，从而得到三维点云；
[0026]根据所述三维点云，计算出传感器坐标系下的相机位姿参数。
[0027]进一步地，所述控制点的Z坐标由无人机与桥梁底部之间的最小距离来确定，所述最小距离的计算表达式为：
[0028]d＝min(d
L
,d
W
)；
[0029][0030]S
L
＝γ
×
a
L
×
(1
‑
ol)，S
W
＝γ
×
a
W
×
(1
‑
ol)；
[0031]其中，d为最小距离，f为高清相机的焦距，SS
L
、SS
W
分别为高清相机感光片的长度、宽度，S
L
为单幅图像的拍摄长度，γ为桥梁检测精度，a
L
为高清相机在长度上的分辨率，a
W
为高清相机在宽度上的分辨率，ol为图像重叠率，S
W
为单幅图像的拍摄宽度。
[0032]进一步地，根据所述控制点或控制点和桥梁参数确定检测区域，并根据所述检测区域以及控制点规划飞行路径，具体包括：
[0033]对于T梁或小箱梁桥梁，所述控制点包括起始点，根据T梁长度L、T梁数量N以及T梁
间的间距D确定N条长度为L、间隔为D的飞行线段，由N条飞行线段的两个端点构成飞行路径点集，所述起始点为飞行路径点集中的点；或者，对于T梁或小箱梁桥梁，所述控制点包括起始点和终止点，根据起始点和终止点的坐标值计算出检测区域的长度L和宽度W，根据所述检测区域的宽度W、图像重叠率ol以及单幅图像的拍摄宽度S
W
确定飞行线段的条数N，由N条飞行线段的两个端点构成飞行路径点集，所述起始点和终止点为飞行路径点集中的点；其中，每条飞行线段的长度等于所述检测区域的长度L；
[0034]对于等截面单跨桥长小于设定桥长的桥梁，所述控制点包括起始点和终止点，根据所述起始点和终止点的坐标值计算出检测区域的长度L和宽度W，根据所述检测区域的宽度W、图像重叠率ol以及单幅图像的拍摄宽度S
W
确定飞行线段的条数N，由N条飞行线段的两个端点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目视觉和惯导融合无人机的桥梁检测方法，其特征在于，在无人机上设有云台、惯性测量装置以及双目视觉传感器，在所述云台上设有高清相机，所述双目视觉传感器和高清相机的镜头均垂直向上，所述检测方法包括以下步骤：利用所述双目视觉传感器采集的图像以及惯性测量装置输出的位姿参数计算出无人机的实时位置；其中所述实时位置基于传感器坐标系，所述传感器坐标系是以双目视觉传感器启动时的位置为原点，以桥梁长度方向为X轴的左手坐标系；基于所述无人机的实时位置，确定控制点；根据所述控制点或控制点和桥梁参数确定检测区域，并根据所述检测区域以及控制点规划飞行路径；控制所述无人机到达控制点，并根据所述飞行路径控制无人机的自动飞行，且自动飞行过程中利用高清相机采集桥梁底部图像，实现桥梁外观检测的图像采集。2.根据权利要求1所述的桥梁检测方法，其特征在于，利用所述双目视觉传感器采集的图像以及惯性测量装置输出的位姿参数计算出无人机的实时位置，具体包括以下步骤：获取双目视觉传感器的左眼相机采集的左眼图像和右眼相机采集的右眼图像；利用双目视觉传感器的相机内参分别对所述左眼图像、右眼图像进行畸变矫正，并对畸变矫正后的图像分别提取FAST特征点；对所述FAST特征点添加方向特征，根据添加方向特征的FAST特征点生成特征点的Brief描述符；基于特征点的Brief描述符，对所述左眼图像、右眼图像中的FAST特征点进行匹配，得到特征匹配对；剔除误匹配的特征匹配对，得到由所有特征匹配对构成的特征对集合；根据所述特征对集合中的特征匹配对计算出传感器坐标系下的相机位姿参数；利用所述惯性测量装置获取无人机的加速度和角度信息，进而得到无人机的速度和位置信息；利用所述相机位姿参数与所述无人机的速度和位置信息对无人机的飞行路径进行定位纠正，重建获得传感器坐标系下无人机的实时位置。3.根据权利要求2所述的桥梁检测方法，其特征在于，在利用双目视觉传感器的相机内参分别对所述左眼图像、右眼图像进行畸变矫正的同时，所述检测方法还包括：根据所述左眼图像计算出左眼灰度直方图，根据所述右眼图像计算出右眼灰度直方图；当所述左眼灰度直方图或右眼灰度直方图的最大峰值小于第一临界值时，表明对应的图像偏暗，增大曝光；当所述左眼灰度直方图或右眼灰度直方图的最大峰值大于第二临界值时，表明对应的图像偏亮，降低曝光；其中，第二临界值大于第一临界值。4.根据权利要求2所述的桥梁检测方法，其特征在于，根据所述特征对集合中的特征匹配对计算出传感器坐标系下的相机位姿参数，具体包括以下步骤：根据所述特征对集合中每个特征匹配对的FAST特征点在左眼图像和右眼图像的像素坐标计算出传感器坐标系下的空间点坐标，从而得到三维点云；根据所述三维点云，计算出传感器坐标系下的相机位姿参数。5.根据权利要求1所述的桥梁检测方法，其特征在于，所述控制点的Z坐标由无人机与
桥梁底部之间的最小距离来确定，所述最小距离的计算表达式为：d＝min(d
L
,d
W
)；S
L
＝γ
×
a
L
×
(1
‑
ol)，S
W
＝γ
×
a
W
×
(1
‑
ol)；其中，d为最小距离，f为高清相机的焦距，SS
L
、SS
W
分别为高清相机感光片的长度、宽度，S
L
为单幅图像的拍摄长度，γ为桥梁检测精度，a
L
为高清相机在长度上的分辨率，a
W
为高清相机在宽度上的分辨率，ol为图像重叠率，S
W
为单幅图像的拍摄宽度。6.根据权利要求1所述的桥梁检测方法，其特征在于，根据所述控制点或控制点和桥梁参数确定检测区域，并根据所述检测区域以及控制点规划飞行路径，具体包括：对于T梁或小箱梁桥梁，所述控制点包括起始点，根据T梁长度L、T梁数量N以及T梁间的间距D确定N条长度为L、间隔为D的飞行线段，由N条飞行线段的两个端点构成飞行路径点集，所述起始点为飞行路径点集中的点；或者，对于T梁或小箱梁桥梁，所述控制点包括起始点和终止点，根据起始点和终止点的坐标值计算出检测区域的长度L和宽度W，根据所述检测区域的宽度W、图像重叠率ol以及单幅图像的拍摄宽度S
W
确定飞行线段的条数N，由N条飞行线段的两个端点构成飞行路径点集，所述起始点和终止点为飞行路径点集中的点；其中，每条飞行线段的长度等于所述检测区域的长度L；对于等截面单跨桥长小于设定桥长的桥梁，所述控制点包括起始点和终止点，根据所述起始点和终止点的坐标值计算出检测区域的长度L和宽度W，根据所述检测区域的宽度W、图像重叠率ol以及单幅图像的拍摄宽度S
W
确定飞行线段的条数N，由N条飞行线段的两个端点构成飞行路径点集，所述起始点和终止点为飞行路径点集中的点；其中，每条飞行线段的长度等于所述检测区域的长度L；对于等截面、变截面桥梁或连续桥梁，所述控制点包括起始点、终止点和中间点，中间点的X坐标与所述起始点的X坐标相同，中间点的Y坐标与所述终止点的Y坐标相同；根据起始点和终止点的坐标值计算出检测区域的长度L和宽度W，根据所述检测区域的宽度W、图像重叠率ol以及单幅图像的拍摄宽度S
W
确定飞行线段的条数N，由N条飞行线段的两个端点构成飞行路径点集，所述起始点、终止点和中间点为飞行路径点集中的点；对于变截面桥梁，在XZ平面内，每条飞行线段均为斜线，斜线斜率的计算过程为：根据中间点和终止点计算出Z坐标变化值和X坐标变化值，根据所述Z坐标变化值和X坐标变化值计算出斜率；根据所述斜率以及端点的X坐标确定对应端点的Z坐标；对于上承式拱桥，所述控制点包括起始点、终止点、第一中间点和第二中间点，所述第一中间点、第二中间点分别位于拱顶的两端且与拱顶的距离等于最小距离；根据起始点和终止点的坐标值计算出检测区域的长度L和宽度W，根据所述检测区域的宽度W、图像重叠率ol以及单幅图像的拍摄宽度S<...

【专利技术属性】
技术研发人员：谢海波，王培玉，朱玮峻，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：