基于无人机及机器视觉的大跨度钢结构吊装变形监测方法技术

基于无人机及机器视觉技术的大跨度钢结构吊装过程变形监测方法，通过测点标记系统和图像采集系统分段获取无人机拍摄的大跨度钢结构吊装过程，根据图像拼接模块和特征检测模型，对大跨度钢结构吊装过程的测点进行全景拼接和坐标提取。特征检测模型采用yolov5深度学习神经网络，检测和识别图像中的标记点或特征点，得到大跨度钢结构吊装时测点坐标、位移和结构变形，事故预警系统中的坐标转换模块通过比例因子将像素坐标转换为实际坐标，并与阈值模块的结构设计阈值进行对比，对比结果通过光纤网络传输到预警模块判别是否发出警报，实时完成大跨度钢结构吊装过程安全事故预警。完成大跨度钢结构吊装过程安全事故预警。完成大跨度钢结构吊装过程安全事故预警。

【技术实现步骤摘要】
基于无人机及机器视觉的大跨度钢结构吊装变形监测方法


[0001]本专利技术涉及无人机图像处理
，尤其涉及无人机对大跨度钢结构吊装过程的变形监测技术。

技术介绍

[0002]随着建筑产业化迅速升级，大跨度钢结构成为建筑行业中崛起的新秀。大跨度钢结构工程项目迅速增加，特别是大跨度钢结构的投入使用，使得钢结构单根大跨度构件吊装和钢结构整体吊装施工技术在钢结构施工中获得越来越广泛的应用。同时，吊装施工技术是应用最为广泛的一种钢结构施工技术，越来越多的吊装施工问题日益凸显出来。不论是单根大跨度的钢结构构件还是整体吊装的网架结构，吊装施工过程都会影响其受力情况、变形情况，甚至可能造成构件或者整体的破坏。不合理的吊装施工会使单根构件局部受力过大而破坏或变形超出规定范围。为了防止灾难性事故的发生，对大跨度钢结构吊装过程的变形监测就变得尤为重要。
[0003]现阶段大跨度钢结构吊装过程变形监测的方法主要依靠接触式测量方法，需要现场布设管线和安装传感器，不仅耗时而且耗力，有时还需要人为高空作业，危险系数较高。非接触式位移测量方法通常包括全球定位系统、激光多普勒仪和计算机视觉位移测量等。其中全球定位系统因其较低的测量精度和采样频率主要应用于高耸结构。激光多普勒仪只能在近距离内进行结构位移测量，而且成本较高，较难实现多点同步测量。
[0004]近几年无人机和计算机视觉技术不断发展，基于计算机视觉的结构变形监测方法不断涌现，并在实际工程应用中得到验证。其因远距离、非接触、高精度、省时省力、多点监测等众多优点越来越受到科研和工程人员的关注。该方法主要对移动设备拍摄的被测结构视频进行目标追踪处理以得到测点在图像中的运动轨迹，再通过图像与现实世界的几何关系确定结构的位移信息。移动设备在距被测结构较远处的点上，消除了接触式位移监测方法需要在结构上安装固定支撑点的需求。另外由于移动设备视野可以涵盖结构上多个测量区域，因此容易以较低的成本实现多点测量。
[0005]目前无人机对大跨度钢结构吊装过程的变形监测目前仍存在着一些技术难题：第一，大跨度钢结构在吊装过程中，由于一些施工过程较为复杂，施工时无法接触到测点或需要进行夜间作业，这时对于标记点的选取就尤为重要。第二，由于大跨度钢结构体积较大，对于大跨度上的标记点必须要实现全景扫描，这就存在无人机扫描精度的问题。第三，无人机航拍大跨度钢结构吊装过程时，由于拍摄距离较近，无人机对标记点的采样频率不一致，且易与吊装结构发生碰撞，航线规划较为困难。第四，深度学习复杂且耗时，在吊装过程中无法进行实时预测安全信息，导致施工存在安全隐患。

技术实现思路

[0006]本专利技术的目的是提供一种基于无人机及机器视觉的大跨度钢结构吊装变形监测方法。
[0007]本专利技术是基于无人机及机器视觉的大跨度钢结构吊装变形监测方法，其步骤为：步骤（1）运用无人机1
‑
1集成搭载的图像采集系统2
‑
1初步进行结构环境现场勘查，同时根据测点标记系统3
‑
1的无标记模块3
‑
2或有标记模块3
‑
3人工选择测点标记类型并在吊装前进行布置；步骤（2）根据标记点或特征点的个数和方向，运用图像采集系统2
‑
1中的视觉伺服控制模块2
‑
2设置无人机1
‑
1采集频率和最优航行路线，并通过光纤网络控制高清云台相机模块2
‑
3进行图像采集，分段采集的图像通过无线传输模块2
‑
4无线传输到树莓派4
‑
1中，其中，树莓派4
‑
1由图像处理系统5
‑
1和事故预警系统6
‑
1组成；步骤（3）运用图像处理系统5
‑
1的图像拼接模块5
‑
2和特征识别模块5
‑
3将分段图像信息转换为全景图像信息、测点信息转换为像素坐标后通过光纤网络传输到事故预警系统6
‑
1；步骤（4）事故预警系统6
‑
1中的坐标转换模块6
‑
2通过比例因子将像素坐标转换为实际坐标，并与阈值模块6
‑
3的结构设计阈值进行对比，对比结果通过光纤网络传输到预警模块6
‑
4判别是否发出警报，实时完成大跨度钢结构吊装过程安全事故预警。
[0008]本专利技术的有益效果是：通过测点标记系统3
‑
1和图像采集系统2
‑
1分段获取无人机1
‑
1拍摄的大跨度钢结构吊装过程，根据图像拼接模块5
‑
2和特征检测模型，对大跨度钢结构吊装过程的测点进行全景拼接和坐标提取。其中，所述特征检测模型采用yolov5深度学习神经网络，能够精准高效的检测和识别图像中的标记点或特征点，最终得到大跨度钢结构吊装时测点坐标、位移和结构变形，并通过事故预警系统6
‑
1进行安全分析，为大跨度钢结构吊装过程的变形监测提供了安全、方便、快捷的渠道，解决了大跨度钢结构吊装过程接触式和非接触式监测现存的种种问题。
附图说明
[0009]图1是本专利技术实施例
‑
基于无人机及机器视觉技术的大跨度钢结构吊装过程变形监测方法的结构框图，图2是本专利技术实施例中测点标记系统的结构框图，图3是本专利技术实施例中图像处理系统的结构框图，图4是本专利技术实施例中图像采集系统的结构框图，图5是本专利技术实施例中图像拼接模块的流程框图，图6是本专利技术实施例中训练特征检测模型的流程框图，图7是本专利技术实施例中事故预警系统的流程框图。
具体实施方式
[0010]如图1~图7所示，本专利技术是基于无人机及机器视觉的大跨度钢结构吊装变形监测方法，其步骤为：步骤（1）运用无人机1
‑
1集成搭载的图像采集系统2
‑
1初步进行结构环境现场勘查，同时根据测点标记系统3
‑
1的无标记模块3
‑
2或有标记模块3
‑
3人工选择测点标记类型并在吊装前进行布置；步骤（2）根据标记点或特征点的个数和方向，运用图像采集系统2
‑
1中的视觉伺服控制模块2
‑
2设置无人机1
‑
1采集频率和最优航行路线，并通过光纤网络控制高清云台相机模块2
‑
3进行图像采集，分段采集的图像通过无线传输模块2
‑
4无线传输到树莓派4
‑
1中，其中，树莓派4
‑
1由图像处理系统5
‑
1和事故预警系统6
‑
1组成；
步骤（3）运用图像处理系统5
‑
1的图像拼接模块5
‑
2和特征识别模块5
‑
3将分段图像信息转换为全景图像信息、测点信息转换为像素坐标后通过光纤网络传输到事故预警系统6
‑
1；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于无人机及机器视觉的大跨度钢结构吊装变形监测方法，其特征在于，其步骤为：步骤（1）运用无人机（1
‑
1）集成搭载的图像采集系统（2
‑
1）初步进行结构环境现场勘查，同时根据测点标记系统（3
‑
1）的无标记模块（3
‑
2）或有标记模块（3
‑
3）人工选择测点标记类型并在吊装前进行布置；步骤（2）根据标记点或特征点的个数和方向，运用图像采集系统（2
‑
1）中的视觉伺服控制模块（2
‑
2）设置无人机（1
‑
1）采集频率和最优航行路线，并通过光纤网络控制高清云台相机模块（2
‑
3）进行图像采集，分段采集的图像通过无线传输模块（2
‑
4）无线传输到树莓派（4
‑
1）中，其中，树莓派（4
‑
1）由图像处理系统（5
‑
1）和事故预警系统（6
‑
1）组成；步骤（3）运用图像处理系统（5
‑
1）的图像拼接模块（5
‑
2）和特征识别模块（5
‑
3）将分段图像信息转换为全景图像信息、测点信息转换为像素坐标后通过光纤网络传输到事故预警系统（6
‑
1）；步骤（4）事故预警系统（6
‑
1）中的坐标转换模块（6
‑
2）通过比例因子将像素坐标转换为实际坐标，并与阈值模块（6
‑
3）的结构设计阈值进行对比，对比结果通过光纤网络传输到预警模块（6
‑
4）判别是否发出警报，实时完成大跨度钢结构吊装过程安全事故预警。2.根据权利要求1所述的基于无人机及机器视觉的大跨度钢结构吊装变形监测方法，其特征在于：步骤（1）所述的测点标记系统（3
‑
1）为人工标记方法，包括：有标记模块（3
‑
2）和无标记模块（3
‑
3），该系统利用无人机（1
‑
1）集成搭载的图像采集系统（2
‑
1）对施工环境初步勘查，从而根据施工环境
‑
夜间施工、背景颜色、吊点类型人工选取标记类型并进行现场布置；所述的有标记模块（3
‑
2）能根据需求选取标记类型，在采集前需要相机标定时，能采用棋盘标定板；需要对监测结构附加监测信息时，能采用二维码标定板；需要进行夜间施工的结构，能采用人工光源标定板；所述的无标记模块（3
‑
3）针对于测点特征值较好的大跨度钢结构，将特征点作为无形的标记点进行识别。3.根据权利要求1所述的基于无人机及机器视觉的大跨度钢结构吊装变形监测方法，其特征在于：步骤（2）所述的图像采集系统（2
‑
1）包括视觉伺服控制模块（2
‑
2）、高清云台相机模块（2
‑
3）和无线传输模块（2
‑
4），且均通过光纤网络传递数据；其中，视觉伺服控制模块（2
‑
2）和无线传输模块（2
‑
4）集成搭载在无人机（1
‑
1）内，高清云台相机模块（2

【专利技术属性】
技术研发人员：李万润，范博源，李进喜，于来晨，韩志强，张志隆，贺怀鹏，赵文海，潘梓鸿，李家富，李清，闫拴宝，谯磊，
申请(专利权)人：中铁二十二局集团第一工程有限公司，
类型：发明
国别省市：