一种基于机载双相机和目标追踪的桥梁变形测量方法技术

本发明专利技术公开了一种基于机载双相机和目标追踪的桥梁变形测量方法，将桥梁的变形测量分为预先粘贴标志板、无人机采集桥梁视频和数据分析三个部分。首先在桥梁侧面待测测点处布置若干测量靶标，然后采用无人机搭载包含长焦相机和广角相机的双相机系统采集桥梁视频，最后采用一种基于深度学习多目标追踪的计算桥梁表面靶标的位移，通过双相机分别测量桥梁侧面运动靶标和桥墩固定靶标，消除无人机本身的晃动，得到桥梁靶标处的绝对位移。本发明专利技术方法具有快速便捷、成本低和非接触的优势，克服了传统布设传感器的方法难以应用于桥梁变形测量的问题，有广泛应用于实际桥梁变形监测的良好前景。前景。前景。

【技术实现步骤摘要】
一种基于机载双相机和目标追踪的桥梁变形测量方法


[0001]本专利技术属于结构安全监测
，具体涉及一种基于机载双相机和目标追踪的桥梁变形测量方法和系统，结合无人机载同轴双相机和深度学习追踪方法，实现桥梁工作状态下的动态位移测量和安全状态评估。

技术介绍

[0002]桥梁在车辆荷载和环境(风、温度)作用下的变形测量是桥梁安全性评估的重要内容，尤其是在桥梁的荷载试验中，准确测量的桥梁变形响应既可以与有限元分析的桥梁变形情况作对比，又可以依据结构动力学理论计算桥梁的深层次特征参数(如结构频响函数、模态柔度)，为桥梁的损伤识别提供基础。桥梁的位移测量分为长期监测和短期检测，长期监测一般需要在桥梁上安装固定的测量传感器，测量少量关键部位的变形，在桥梁遭受极端荷载或事故时提前发出预警，这种方法成本高，一般只针对大型重要桥梁。短期变形响应检测在桥梁服役前的荷载试验和服役过程中的定期安全性评估中更常用，现有的桥梁变形测量方法多是针对桥梁的短期动态变形测量。
[0003]现有的桥梁变形测量方法多是基于传统的测量和测绘仪器，包括静态GPS、全站仪和液位连通管等，这类方法一般测量频率低，一般不超过几赫兹，因此只适合静态测量。近年来随着仪器科学的发展，一些前沿传感器逐渐被应用到桥梁检测中。高灵敏度加速度传感器是目前桥梁振动测试中最常用的传感器，一些学者利用加速度数据二次积分反算桥梁变形，但同样指出了该方法需要在短持续时间间隔和小振幅位移的条件下使用的局限性。LVDT传感器是一种常用的位移传感器，一些研究用它测量桥梁局部位置的变形，但LVDT需要安装在测点附近的固定基点上，所以无法测量桥梁主体如跨中等位置的绝对位移，且量程有限。
[0004]随着计算机视觉技术的飞速发展，基于视觉的测量方法已经开始被应用于结构变形检测中。这类方法的成本低廉、系统组成简单，且已经在一些土木工程结构的测量中被证明了能达到所需的测量精度。研究证明视觉测量方法在桥梁变形测量中具有明显应用前景，但也暴露出这种方法的两个固有缺陷。(1)视觉测量方法一般是基于图像之间的匹配从而计算前后两时刻图像中待测点的运动情况，但图像的成像质量易受光照干扰，因此传统的基于图像处理的匹配方法对光照和遮挡等干扰非常敏感。(2)采用视觉测量方法检测长大跨桥梁时，很难找到合适的相机布设位置，一方面桥梁一般位于江河之上，在布置相机时大多只能让相机倾斜拍摄桥梁，另一方面要测量桥梁跨中时，对于长大跨桥梁，测量距离可能超过600m，在这种距离下大气干扰和相机本身的微振动对结果的影响非常大，因此亟需响应的方法解决上述问题。
[0005]针对传统光学测量方法容易受光照和遮挡等干扰影响的问题，一些学者认为可以利用近年来被广泛研究的深度学习方法解决。基于深度学习的目标检测算法一般具有良好的抗干扰能力，在病害检测中，即使图像受到光照、遮挡和污渍侵蚀，也能准确识别其中的病害。因此，一些学者尝试将深度学习技术融入视觉测量方法中，这些方法有效地利用深度
学习中的各类方法提升光学测量的稳定性，但大多并不应用于桥梁变形测量场景，而深度学习方法有明显的样本选择性，因此需要对这类方法在桥梁变形测量场景作进一步研究。
[0006]针对视觉测量方法在大跨度桥梁测量中难以克服的测量距离远的问题，近年来应用愈加广泛的无人机技术有望成为解决的突破点。无人机携带相机已经在结构检测中发挥重要作用，由无人机携带相机代替站立式相机测量桥梁变形，将极大地缩小测量距离，从而可以任意选择位移测量位置。但无人机在飞行中不可避免地会发生晃动，造成测量基点不稳定的问题，从而限制了基于无人机的测量方法的应用。现有的研究大多是采用无人机拍摄的结构背景不动点作为参考，将无人机本身的位移计算出来。但是对于大跨度桥梁，由于它们一般位于水面上，因此画面中一般难以找到作为参考的固定点。

技术实现思路

[0007]解决的技术问题：针对上述现有技术存在的不足，本专利技术提供基于机载双相机和目标追踪的桥梁变形测量方法和系统，能够快速方便地测量桥梁变形量，测量结果精度高。
[0008]技术方案：
[0009]一种基于机载双相机和目标追踪的桥梁变形测量方法，所述桥梁变形测量方法包括以下步骤：
[0010]S1，在桥梁侧面待测测点处布置若干测量靶标，采用无人机搭载包含长焦相机和广角相机的双相机系统采集桥梁视频；其中，长焦相机和广角相机位置同轴且固定，均正对桥梁持续拍摄；广角相机的视场包含桥梁的左桥墩和右桥墩；长焦相机只用于采集桥梁侧面待测测点处的测量靶标的图像视频；
[0011]S2，基于YOLO v5s网络构建靶标识别模型，将长焦相机和广角相机采集的视频帧图像分别导入靶标识别模型，采用靶标识别模型分别从两者采集的桥梁视频帧图像中识别得到测量靶标位置，将测量靶标图像从视频帧中分割出来；
[0012]S3，采用特征提取网络对分割的不同位置的测量靶标图像进行类间区分，为每个测量靶标分配固定的ID，获取每一帧的测量靶标的标记框中心坐标，绘制得到测量靶标的粗略位移轨迹；
[0013]S4，基于DeepSORT的多目标追踪算法，在获取当前帧的测量靶标的标记框中心坐标后，利用卡尔曼滤波预测得到当前坐标的预测轨迹，计算预测轨迹与下一帧的标记框中心的实际坐标的关联度，根据关联度对测量靶标的粗略位移轨迹进行修正，得到测量靶标中心点的实际位移轨迹；
[0014]S5，以亚像素识别测量靶标图像的中心点，得到两个相机采集图像对应的测量靶标中心点的亚像素点级别位移轨迹；
[0015]S6，结合两个相机对应的亚像素点级别位移轨迹和两个相机的位置关系，从运动靶标测量的结果中剔除无人机晃动导致的位移误差。
[0016]进一步地，步骤S1中，在应用双相机系统进行测量前，采用张氏标定法对长焦相机和广角相机独立标定，得到广角相机的内参K
w
和长焦相机的内参K
t
。
[0017]进一步地，对桥墩位置的相对位移测量不使用测量靶标，利用桥墩本身的纹理的匹配关系进行测量。
[0018]进一步地，步骤S2中，基于YOLO v5s网络构建靶标识别模型的过程包括以下步骤：
[0019]在桥梁表面粘贴靶标，测量靶标位置，将靶标中心作为位移测量点；
[0020]采集包含不同光照条件下的若干张靶标图像，由人工标记点位，使用PASCAL VOC的格式制作靶标数据集，采用k
‑
means聚类的方法对数据集中的靶标图像进行聚类；
[0021]将靶标数据集导入YOLO v5s网络进行训练和验证，得到训练完成的靶标识别模型。
[0022]进一步地，步骤S4中，根据关联度对测量靶标的粗略位移轨迹进行修正，得到测量靶标中心点的实际位移轨迹的过程包括：
[0023]计算预测轨迹与下一帧的标记框中心的实际坐标的关联度，如果关联度达到预测关联度阈值，则判定下一帧的检测结果正确；否则，对预测轨迹和重新检测到的测量靶标做IOU匹配，以继续描绘轨迹。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机载双相机和目标追踪的桥梁变形测量方法，其特征在于，所述桥梁变形测量方法包括以下步骤：S1，在桥梁侧面待测测点处布置若干测量靶标，采用无人机搭载包含长焦相机和广角相机的双相机系统采集桥梁视频；其中，长焦相机和广角相机位置同轴且固定，均正对桥梁持续拍摄；广角相机的视场包含桥梁的左桥墩和右桥墩；长焦相机只用于采集桥梁侧面待测测点处的测量靶标的图像视频；S2，基于YOLO v5s网络构建靶标识别模型，将长焦相机和广角相机采集的视频帧图像分别导入靶标识别模型，采用靶标识别模型分别从两者采集的桥梁视频帧图像中识别得到测量靶标位置，将测量靶标图像从视频帧中分割出来；S3，采用特征提取网络对分割的不同位置的测量靶标图像进行类间区分，为每个测量靶标分配固定的ID，获取每一帧的测量靶标的标记框中心坐标，绘制得到测量靶标的粗略位移轨迹；S4，基于DeepSORT的多目标追踪算法，在获取当前帧的测量靶标的标记框中心坐标后，利用卡尔曼滤波预测得到当前坐标的预测轨迹，计算预测轨迹与下一帧的标记框中心的实际坐标的关联度，根据关联度对测量靶标的粗略位移轨迹进行修正，得到测量靶标中心点的实际位移轨迹；S5，以亚像素识别测量靶标图像的中心点，得到两个相机采集图像对应的测量靶标中心点的亚像素点级别位移轨迹；S6，结合两个相机对应的亚像素点级别位移轨迹和两个相机的位置关系，从运动靶标测量的结果中剔除无人机晃动导致的位移误差。2.根据权利要求1所述的基于机载双相机和目标追踪的桥梁变形测量方法，其特征在于，步骤S1中，在应用双相机系统进行测量前，采用张氏标定法对长焦相机和广角相机独立标定，得到广角相机的内参K
w
和长焦相机的内参K
t
。3.根据权利要求1所述的基于机载双相机和目标追踪的桥梁变形测量方法，其特征在于，对桥墩位置的相对位移测量不使用测量靶标，利用桥墩本身的纹理的匹配关系进行测量。4.根据权利要求1所述的基于机载双相机和目标追踪的桥梁变形测量方法，其特征在于，步骤S2中，基于YOLO v5s网络构建靶标识别模型的过程包括以下步骤：在桥梁表面粘贴靶标，测量靶标位置，将靶标中心作为位移测量点；采集包含不同光照条件下的若干张靶标图像，由人工标记点位，使用PASCAL VOC的格式制作靶标数据集，采用k
‑
means聚类的方法对数据集中的靶标图像进行聚类；将靶标数据集导入YOLO v5s网络进行训练和验证，得到训练完成的靶标识别模型。5.根据权利要求1所述的基于机载双相机和目标追踪的桥梁变形测量方法，其特征在于，步骤S4中，根据关联度对测量靶标的粗略位移轨迹进行修正，得到测量靶标中心点的实际位移轨迹的过程...

【专利技术属性】
技术研发人员：蒋赏，魏佳北，黄正荣，张建，
申请(专利权)人：中铁建苏州设计研究院有限公司，
类型：发明
国别省市：