一种基于无人机平台和深度学习的复杂背景下索力快速测试系统及方法技术方案

本发明专利技术公开了一种基于无人机平台和深度学习的复杂背景下索力快速测试系统及方法，包括如下步骤：图像采集、图像预处理、位移计算、频谱分析与索力计算。本发明专利技术考虑到拉索边缘直线单元特征较少，难以实现精确高效的直线匹配，创新性地将深度学习方法应用到拉索识别，巧妙解决拉索边缘直线匹配的难题，具有更高的鲁棒性,由于在图像采集过程中存在无人机自身扰动的影响，傅里叶频谱的低频部分存在较多杂频，无法识别拉索基频，本发明专利技术方法提出通过模态阶数识别方法识别频谱中高阶峰值对应的频率阶数，进而利用高阶频率差值与索基频的关系计算索力。本发明专利技术能够有效地实现复杂背景下索力非接触式测量，在城市内部桥梁的检测监测中具有广大的应用前景。

A fast test system and method of cable force in complex background based on UAV platform and deep learning

【技术实现步骤摘要】
一种基于无人机平台和深度学习的复杂背景下索力快速测试系统及方法
本专利技术属于结构健康监测
，具体涉及一种基于无人机平台和深度学习的复杂背景下索力快速测试方法及系统，可实现城市内部桥梁斜拉索/吊杆索力的快速精准测量。
技术介绍
随着城镇化和工业化的快速发展，我国基础建设投资规模进一步扩大，作为跨越地理限制的交通基础设施，大批桥梁已完成或正在建设。近十几年来，我国持续刷新世界桥梁建设的记录，世界十大拱桥、十大梁桥、十大斜拉桥、十大悬索桥，中国均占据了一半及以上。目前，我国公路桥梁总数接近80万座,铁路桥梁总数已超过20万座,已成为世界第一桥梁大国。我国的桥梁设计使用年限一般长达几十年甚至上百年，但在桥梁设计、施工、运营过程中，常常由于种种原因，导致其使用寿命达不到设计寿命。如桥梁服役过程中环境因素影响、日常交通荷载甚至某一时段的超载等原因都将导致结构性能发生退化，而各种极端自然灾害如地震、台风等则会进一步导致桥梁各部件的损伤。据不完全统计，目前我国公路网中各类危桥多达7.96万座，已经超过我国公路桥梁总数的10％。这些危桥在服役过程中不能提供足够的稳定性和承载能力，极易发生桥梁倒塌等重大安全事故，造成了重大的人员伤亡和财产损失。因此，如何快速实现广大桥梁的服役状况检测评估，以保障结构的运行安全关系国计民生。斜拉索、吊杆是斜拉桥、悬索桥和吊杆拱桥的重要承重构件，如何准确测量其索力是保证结构安全运行的重要前提。现有索力测量方法主要是接触式测量和非接触式测量两种，其中，接触式索力测量利用加速度传感器或者磁通量传感器粘贴于索体，通过对采集数据进行分析处理得到其索力测试值，这些方法可以得到索力，但每根索测试过程中均需要安装和拆卸传感器系统，测试速度较慢，无法满足对广大桥梁的索力快速测试评估；此外，新型非接触式测量设备在索力测量中得到广泛应用，包括：固定相机、微波雷达、LDV等，这些方法在一定程度上提高了大跨结构索力测试效率，但是在测试过程中仍然需要人为移动测量设备到不同测点位置以实现进行全桥索力测量，在一定程度上限制了索力的快速测量。目前，这些方法主要针对大跨桥梁，应用到城市内部桥梁索力测试时，基于计算机视觉的索力测量容易受到拉索背景的影响，影响测试精度。
技术实现思路
为了克服现有技术中存在的不足，本专利技术提供一种基于无人机平台和深度学习的复杂背景下索力快速测试方法及系统。为实现上述目的，本专利技术提供一种基于无人机平台和深度学习的复杂背景下索力快速测试系统，包括图像拍摄装置、数据采集系统和数据分析系统，所述的图像拍摄装置用来获取环境振动下吊索的运动图像序列；所述图像拍摄装置可以选无人机，所述的数据采集系统采集吊索的运动图像，并存储采集的图像序列文件；所述的数据分析系统包含图像预处理模块、位移计算模块、频率识别模块和索力计算模块四部分，所述的图像预处理模块用于深度学习识别拉索并标记，所述的吊索位移计算模块用于计算拉索的振动位移时程，所述的频率识别模块用于对位移时程进行频谱分析并识别高阶频率的模态阶数，所述的索力计算模块用于计算吊索索力。一种基于无人机平台和深度学习的复杂背景下索力快速测试方法，所述方法包括如下步骤：1)图像采集：利用图像拍摄装置获取斜拉索/吊索在环境振动下的运动图像序列，数据采集系统采集斜拉索/吊索的运动图像并保存采集的图像序列文件；2)图像预处理：利用深度学习网络对采集图像进行预处理分为深度学习网络训练和调用两部分,其中，深度学习网络训练首先采集大量拉索的图片，包括不同复杂背景下拍摄的拉索图片，并对图片内容进行人为标记，将其分为拉索和背景两类，构建数据库。利用所构建的数据库对搭建的深度学习网络进行训练并保存训练结果；后续索力测试中，对无人机所采集的视频进行处理，提取每帧所对应的图片，同时分割出需要的1024*1024像素大小的感兴趣区域并保存为图片序列A。将图片序列A放进提前训练好的深度学习网络进行检测，得到同样大小的去除背景后的图片并保存为图像序列B。3)位移计算：结合采集图片与拉索识别图片，利用直线检测算法获取选定计算区域内吊索的运动位移时程；选定计算区域，同时对图片序列A以及图像序列B中的计算区域进行直线检测，检测出所包含的直线单元。对图片序列A的检测结果中除了拉索边缘对应的直线还有背景中的边缘对应的直线以及拉索自身纹理对应的直线，而对图像序列B检测的结果中的直线仅为拉索边缘对应的直线。由于深度学习网络进行拉索识别时的精度为像素级别，而计算拉索位移需要亚像素的精度，因此，不能直接提取识别拉索图检测结果的直线坐标作为拉索振动位移时程。本专利技术通过计算图像序列B中检测的直线与图片序列A中检测的直线的重合度ΔL，对图片序列A检测结果中的直线单元进行筛选，进而提取拉索边缘对应的直线单元。式中，ΔL为定义的拉索重合度；i，j分别为图片序列A检测的直线和图片序列B检测直线的编号；x1，x2分别表示直线上下端点的横坐标；进而，通过提取图片序列A检测结果中拉索边缘直线的坐标，可以得到拉索振动位移时程；4)吊索频率识别：对位移时程进行频谱分析，并提取频谱中高阶部分相邻3阶频率；5)索力计算：基于振动法，利用高阶模态频率差与索振动基频之间的关系来间接计算斜拉索/吊杆的索力。无人机采集图像基频受到无人机悬停时自身振动的影响，不能准确识别，因此，如下推导只考虑模态阶数大于1的情况，考虑抗弯刚度和垂度的非线性振动模型计算，可以得到：式中：为实际测量的拉索振动频率；ε为与拉索刚度相关的参数,表示为T为拉索张力；m为索单位长度的质量；L为索的长度；n为模态阶数。根据公式(2a)可以进一步得到第n+1阶模态频率为：由公式(2a)和(2b)联立可得拉索相邻两阶频率的比值为：将代入公式(3)，并化简得到：式中：C1,C1,C1均为常数，其表达式分别为对公式(4)两边取对数，得到：同理，可得n+2与n+1阶识别固有频率的比值表达式,即：公式(5)中，频率比值能够从无人机采集图像中分析得到，C1,C1,C1均为已知常数，因此，它是关于索力和模态阶数的非线性方程，通过求解公式(5)，便可以得到由傅里叶频谱任意相邻三阶频率比值计算的拉索索力值和模态阶数。相对于现有技术，本专利技术的有益效果如下：1)该技术方案所提出的一种基于无人机平台和深度学习的复杂背景下索力快速测试方法及系统利用无人机能够在短时间内完成城市内部桥梁索力测试，测试成本低、效率高，操作简单，结果精确，可以更加有效地对城市内部桥梁进行安全评估和维护管理，2)本专利技术方法为结合无人机平台的非接触式测量方法，不需要在斜拉索/吊杆上安装任何传感器，利用无人机采集拉索振动图像序列，具有操作简单，测试效率高的优点，可以实现城市内部桥梁快速索力测试；3)本专利技术方法实现复杂背景下城市内部桥梁索力测试，利用深度学习算法，可以精准识别无人机所采集图像中的拉索，消除背景中的直线单元干本文档来自技高网...

【技术保护点】
1.一种基于无人机平台和深度学习的复杂背景下索力快速测试系统，其特征在于：所述测试系统包括图像拍摄装置、数据采集系统和数据分析系统，所述图像拍摄装置用来获取环境振动下吊索的运动图像序列；所述数据采集系统采集吊索的运动图像，并存储采集的图像序列文件；所述数据分析系统包含图像预处理模块、位移计算模块、频率识别模块和索力计算模块四部分，所述的图像预处理模块用于深度学习识别拉索并标记，所述的吊索位移计算模块用于计算拉索的振动位移时程，所述的频率识别模块用于对位移时程进行频谱分析并识别高阶频率的模态阶数，所述的索力计算模块用于计算吊索索力。/n

【技术特征摘要】
1.一种基于无人机平台和深度学习的复杂背景下索力快速测试系统，其特征在于：所述测试系统包括图像拍摄装置、数据采集系统和数据分析系统，所述图像拍摄装置用来获取环境振动下吊索的运动图像序列；所述数据采集系统采集吊索的运动图像，并存储采集的图像序列文件；所述数据分析系统包含图像预处理模块、位移计算模块、频率识别模块和索力计算模块四部分，所述的图像预处理模块用于深度学习识别拉索并标记，所述的吊索位移计算模块用于计算拉索的振动位移时程，所述的频率识别模块用于对位移时程进行频谱分析并识别高阶频率的模态阶数，所述的索力计算模块用于计算吊索索力。


2.根据权利要求1所述的一种基于无人机平台和深度学习的复杂背景下索力快速测试系统,其特征在于：所述图像拍摄装置为无人机。


3.采用权利要求1或2所述基于无人机平台和深度学习的复杂背景下索力快速测试系统的测试方法,其特征在于：所述方法包括如下步骤：
1)图像采集：利用图像拍摄装置获取斜拉索/吊索在环境振动下的运动图像序列，数据采集系统采集斜拉索/吊索的运动图像并保存采集的图像序列文件；
2)图像预处理：利用训练好的深度学习网络识别图像中的拉索，并对其进行标记，输出的图片中仅包含拉索，所有背景部分用不同于拉索的标记颜色表示；
3)位移计算：结合采集图片与拉索识别图片，利用直线检测算法获取选定计算区域内吊索的运动位移时程；
4)吊索频率识别：对位移时程进行频谱分析，提取斜拉索/吊索的高阶模态频率；
5)索力计算：基于振动法，利用高阶模态频率差与索振动基频之间的关系来间接计算斜拉索/吊杆的索力。


4.根据权利要求3所述的一种基于无人机平台和深度学习的复杂背景下索力快速测试方法,其特征在于：所述步骤2分为深度学习网络训练和调用两部分；
首先采集大量拉索的图片，包括不同复杂背景下拍摄的拉索图片，并对图片内容进行人为标记，将其分为拉索和背景两类，构建数据库；利用所构建的数据库对搭建的深度学习网络进行训练并保存训练结果；
后续索力测试中，对无人机所采集的视频进行处理，提取每帧所对应的图片，同时分割出需要的1024*1024像素大小的感兴趣区域并保存为图片序列A，将图片序列A放进提前训练好的深度学习网络进行检测，得到同样大小的去除背景后的图片并保存为图像序列B。


5.根据权利要求3所述的一种基于无人机平...

【专利技术属性】
技术研发人员：张建，张成，田永丁，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32