基于无人机的索结构外观检测方法技术

本发明专利技术公开了一种基于无人机的索结构外观检测方法，通过图像处理技术得到索结构全景高清图和图像几何信息，得到索结构表面的所有表观缺陷信息，观测到索上划痕、锈蚀等缺陷信息，满足实际工程的需求；还可以获得索结构的表面缺陷宏观和微观的演变趋势，并建立索结构健康电子档案系统。

【技术实现步骤摘要】
基于无人机的索结构外观检测方法
本专利技术涉及基于无人机的索结构外观检测方法。
技术介绍
悬索桥、斜拉桥和拱桥是索支撑结构，高压输电线也是索结构，这些索是重要的受力构件或输电设备，它们的安全对于整个结构的安全至关重要，对它们的日常检测非常关键。目前日常检测主要通过望远镜；定期检测通过卷扬机拉动钢丝绳提升吊篮，检测人员在吊篮中对缆索检测，这种检测效率低、成本高、安全性低。一种索结构外观检测装置及方法(CN2015108733787)专利技术了双轴平台采集索结构表面病害的方法和装置。但这种方法有存在一定的局限性：斜拉索外侧无法检测，平台检测耗时较长，效率不高等问题。无人机在各行各业的逐渐应用，它已经变成会飞的生产工具，将无人机平台应用到索结构外观检测，配合相应的飞行路径规划方法和图像处理技术，将极大的提高检测效率，更加高效解决索结构检测难题。
技术实现思路
本专利技术所要解决的技术问题是，针对现有技术不足，提供一种基于无人机的索结构外观检测方法，提高检测效率。为解决上述技术问题，本专利技术所采用的技术方案是：一种基于无人机的索结构外观检测方法，包括以下步骤：1)根据结构物检测的精度γ要求、相机分辨率αL和αH、图像重叠率ol，确定单幅图像拍摄长度SL和高度SH，每张图的检测长度为S；2)由镜头焦距、传感器尺寸和长度S，并计算出无人机距离待检索结构最小距离d；3)将无人机飞行至待检索结构右下角，并通过测距传感器调整无人机至索结构距离，两者距离为d，停留获取此位置的经纬度(Lon1,Lat1)和高度信息H1；然后飞行至待检索结构左上角，调整无人机至索结构距离为d，获取此位置的经纬度(Lon2,Lat2)和高度信息H2，通过经纬度的计算，获得待检索结构的实际检测长度L；4)将待检索结构进行等距离分区，进行无人机飞行路径规划，得到飞行路径点集M(n)；5)根据M(n)，依次给无人机发送飞行任务；首先从待检索结构左上角出发，即首先到达M[n]位置，接着到达M[n-1]，直至最后到达M[1]，无人机返航。无人机在RTK定位信息指引依次到达指定位置悬停拍照，存储图像及其位置信息；6)获取无人机系统拍摄的位置、高清图像数据和位置信息；7)采用“多权重迭代最优缝合缝”方法对图像进行拼接处理；8)对拼接后的图像进行配准处理；9)矢量CAD文件确定配准后图像像元尺寸，并根据像元个数确定缺陷的长度、宽度和面积。步骤1)中，SL＝γ×αL×(1-ol)；SH＝γ×αH×(1-ol)；步骤2)中，dL＝f×SL/SSL；d＝min(dL,dH)；其中，f为相机焦距，SSL和SSH为相机传感器感光片的长度和高度。步骤3)中，H＝H2-H1；其中，ER为地球半径。步骤4)中，飞行区域数量为：步骤7)的具体实现过程包括：1)根据无人机路径点顺序，对待拼接图像Ic之间的拼接顺序进行预排序，其中c表示待拼接图像的数量；2)采用SURF特征点检测算法，查找图像特征点；3)选取待配准的相邻图像Ii，Ij，采用RANSAC算法结合图像之间的几何信息进行特征点提纯，得到初始匹配对；4)从初始匹配对中通过多次迭代随机选取k个特征点匹配对，k≥4；对图像进行粗配准，并利用公式估算投影变换矩阵H，其中v1＝(x1,y1,z1)，v2＝(x2,y2,z2)为Ii，Ij中对应的特征点，令z＝1，通过v1，v2之间的齐次线性变换关系，求得H中元素Hi,j的值，H是一个3×3的齐次矩阵；5)采用结构保持变形算法，对粗配准后的图像进行变形，得到Ii'，Ij'；6)采用Graphcut算法，查找Ii'，Ij'重叠区域的最佳缝合缝；7)利用公式计算图像重叠区域中的特征点到缝合缝上像素点的距离，作为配准误差，其中vf表示随机选取的特征点，m表示vf的数量，vs表示缝合缝上像素点，n表示vs的数量；8)重复步骤3)～步骤7)，计算所有可能的图像配准关系，将配准误差E(v)＜δ的特征点对保留下来，通常取δ＝100，对所有保留下来的特征点对合并，以此计算最终的图像配准关系，作为图像对Ii，Ij的最佳配准关系；9)重复步骤8)，计算所有相邻图像对之间的最佳配准关系；10)采用光束法平差算法，对所有的图像配准关系进行优化；11)采用Graphcut算法，查找步骤10)中最终配准后图像之间重叠区域的最佳缝合缝；12)采用多波段融合技术实现图像的无缝融合拼接。与现有技术相比，本专利技术所具有的有益效果为：本专利技术利用无人机进行索结构外观检测，无人机可以快速采集图像，且不受地理环境影响进行外业工作，提出了专为无人机拍摄图像的多站点图像拼接技术，可以通过图像处理技术得到索结构全景高清图和图像几何信息，得到索结构表面的所有表观缺陷信息，观测到索上划痕、锈蚀等缺陷信息，满足实际工程的需求；还可以获得索结构的表面缺陷宏观和微观的演变趋势，并建立索结构健康电子档案系统。附图说明图1是本专利技术提供的基于无人机的索结构外观检测系统的流程图；图2是本专利技术提供的无人机索结构采集平台；100为无人机，101高清图像采集模块，102测距仪，103GPS和RTK图3是本专利技术无人机拍摄区域分区图；图4是多站点图像拼接算法框图；图5(1)是CAD图；图5(2)是配准前图像。具体实施方式下面结合附图对本专利技术进行详细的说明。(1)无人机高清图像采集平台无人机高清图像采集平台包括了无人机飞行翼电池等常规无人机模块100，厘米级导航定位RTK模块103，高分率(大于2000万像素)图像传感器的图像采集模块101，测距传感器102，无线传输模块和控制模块；其中无线传输模块将所拍摄的图像信息和RTK定位信息发送到地面控制中心，控制中心将指令传输给无人机。实施过程如下：首先根据索结构检测精度要求、无人机的相机焦距及其传感器尺寸、图像重叠率确定无人机航线横向步长SL和竖向步长SH，并计算出无人机距离索的最小垂直距离d。接着无人机在地面控制操作下到达图3的右下角即图中A点位置，调整无人机至索的垂直距离，直至测距为d，通过无人机定位系统读取此点的经纬度(Lon1,Lat1)和高度信息(H1)；然后地面控制操作下到达图3的左上角即图中B点位置，调整无人机至索结构距离，直至测距传感器测距为d，读取此点的经纬度(Lon2,Lat2)和高度信息(H2)，至此自动确定了索的检测区域，即如图3所示的直线区域。然后根据检测区域和步长，无人机从B→A的路线规划飞行路径。首先无人机从图3的B点开始悬停，通过地面中心控制系统自动完成图像对焦和拍摄；无人机沿着索的方向移动至下一个网格点即图3中的黑色圆点，悬停对焦拍摄；直至到达图中A点位置，悬停对焦拍摄，最后返航，索一侧的图像采集工作结束。(2)图像拼接处理图3所示，无人机根据索结构的飞行路径规划点拍摄了n张高清图像，这些图像是无人机在不同位置上近距离拍摄的一系列图像，不同于固定位置的相机，这些图像存在运动视差，因此多站点图像拼接是此项技术的核心工作。首先根据飞行路径点顺序将这些图像文件整理成顺序对应飞行路径点图像序列，如图3所示。具体拼接算法过程如图4所示，算法具体实现过程如下：1、根据无人机路径点顺序，对待拼接图像Ic之间的拼接顺序进行预排序，其中c表示待拼接图像的数量；2、采用SURF特征点检测算法，查找图像特征点本文档来自技高网...

【技术保护点】
1.一种基于无人机的索结构外观检测方法，其特征在于，包括以下步骤：1)根据结构物检测的精度γ要求、相机横向和竖向分辨率αL和αH、图像重叠率ol，确定单幅图像拍摄长度SL和高度SH，每张图的检测长度为S；2)由镜头焦距、传感器尺寸和长度S，并计算出无人机距离待检索结构最小距离d；3)将无人机飞行至待检索结构右下角，并通过测距传感器调整无人机至索结构距离，两者距离为d，停留获取此位置的经纬度(Lon1,Lat1)和高度信息H1；然后飞行至待检索结构左上角，调整无人机至索结构距离为d，获取此位置的经纬度(Lon2,Lat2)和高度信息H2，通过经纬度的计算，获得待检索结构的实际检测长度L；4)将待检索结构进行等距离分区，进行无人机飞行路径规划，得到飞行路径点集M(n)；5)根据M(n)，依次给无人机发送飞行任务；首先从待检索结构左上角出发，即首先到达M[n]位置，接着到达M[n‑1]，直至最后到达M[1]，无人机返航。无人机在RTK定位信息指引依次到达指定位置悬停拍照，存储图像及其位置信息；6)获取无人机系统拍摄的位置、高清图像数据和位置信息；7)采用“多权重迭代最优缝合缝”方法对图像进行拼接处理；8)对拼接后的图像进行配准处理；9)矢量CAD文件确定配准后图像像元尺寸，并根据像元个数确定缺陷的长度、宽度和面积。...

【技术特征摘要】
1.一种基于无人机的索结构外观检测方法，其特征在于，包括以下步骤：1)根据结构物检测的精度γ要求、相机横向和竖向分辨率αL和αH、图像重叠率ol，确定单幅图像拍摄长度SL和高度SH，每张图的检测长度为S；2)由镜头焦距、传感器尺寸和长度S，并计算出无人机距离待检索结构最小距离d；3)将无人机飞行至待检索结构右下角，并通过测距传感器调整无人机至索结构距离，两者距离为d，停留获取此位置的经纬度(Lon1,Lat1)和高度信息H1；然后飞行至待检索结构左上角，调整无人机至索结构距离为d，获取此位置的经纬度(Lon2,Lat2)和高度信息H2，通过经纬度的计算，获得待检索结构的实际检测长度L；4)将待检索结构进行等距离分区，进行无人机飞行路径规划，得到飞行路径点集M(n)；5)根据M(n)，依次给无人机发送飞行任务；首先从待检索结构左上角出发，即首先到达M[n]位置，接着到达M[n-1]，直至最后到达M[1]，无人机返航。无人机在RTK定位信息指引依次到达指定位置悬停拍照，存储图像及其位置信息；6)获取无人机系统拍摄的位置、高清图像数据和位置信息；7)采用“多权重迭代最优缝合缝”方法对图像进行拼接处理；8)对拼接后的图像进行配准处理；9)矢量CAD文件确定配准后图像像元尺寸，并根据像元个数确定缺陷的长度、宽度和面积。2.根据权利要求1所述的基于无人机的索结构外观检测方法，其特征在于，步骤1)中，SS＝γ×αL×(1-ol)；SH＝γ×αH×(1-ol)；3.根据权利要求1所述的基于无人机的索结构外观检测方法，其特征在于，步骤2)中，dL＝f×SL/SSL；dW＝f×Sw/SSw；d＝min(dL,dH)；其中，f为相机焦距，SSL和SSH为相机传感器感光片的长度和高度。4.根据权利要求1所述的基于无人机的索结构外观检测方法，其特征在于，步骤3)...

【专利技术属性】
技术研发人员：谢海波，王培玉，刘晏玲，
申请(专利权)人：湖南拓达结构监测技术有限公司，
类型：发明
国别省市：湖南,43