一种基于无人机与深度学习的桥梁形象进度自动识别方法技术

本发明专利技术提供了一种基于无人机与深度学习的桥梁形象进度自动识别方法，具体步骤如下：获取桥梁粗略点云模型，通过对粗略点云模型进行路径规划，采集得到桥梁多角度全方位的航拍图像，处理生成精细的桥梁点云模型，对点云模型进行标注赋予构件语义标签。采用深度学习模型，通过使用四个编码器和解码器来学习点的特征，把桥梁点云数据集作为模型输入进行训练，得到具有自动识别桥梁主要构件功能的网络模型。通过对两个不同施工时期的桥梁点云进行识别，比较桥梁主要构件数量变化，删除两期数据中的重复点云，得到桥梁形象进度变化情况。本发明专利技术对桥梁构件识别完整且准确，可在还原真实施工场景的同时掌握各构件详细施工进度，效率高，成本低。成本低。成本低。

【技术实现步骤摘要】
一种基于无人机与深度学习的桥梁形象进度自动识别方法


[0001]本专利技术涉及土木工程与人工智能交互
，具体是一种基于无人机与深度学习的桥梁形象进度自动识别方法。

技术介绍

[0002]随着城市的扩张与公路、铁路等交通工程的快速发展，桥梁作为交通网中跨越空间的重要通道也在不断开工建设。桥梁工程建设是一项复杂的生产活动，具有协作性高、建设工期长、易受外界干扰及自然因素影响等特点。在当前的桥梁施工建设中，施工技术和管理人员还主要是使用二维图表的形式对桥梁施工进度进行记录和管理，这种方法效率低且不能快速良好全面地展示施工过程的真实场景。因此，迫切需要一种更加智能化的处理手段实现桥梁工程进度的快速与自动化管理。
[0003]随着无人机导航、路径规划算法、无人机避障和计算机视觉技术的快速发展，无人机因其有灵活机动性强、成本较低且获取图像分辨率等特点，被应用于三维重建领域。在土木工程领域基于无人机的倾斜摄影技术被广泛应用，但是无人机倾斜摄影技术获取的点云精度低，难以准确还原构件的实际尺寸，因此需要提出一种基于无人机路径规划的高精度点云建模方法。在点云构件分类方面，传统的点云分类算法主要有基于边缘、区域增长和聚类等算法，传统点云构件分类算法计算效率低，且只适用于数据量小的点云分割。近年来随着计算机计算能力的提升，基于深度学习的点云分割技术凭借其处理大型数据集的高效性、特征提取的自主性和泛化能力强等优势得到迅速发展，并开始成为点云分类研究的主流方法。常用的深度学习网络对大规模点云数据集的分割效果差，计算时间长，因此需要提出一种桥梁点云构件的自动识别的轻量高效方法。

技术实现思路

[0004]本专利技术所要解决的技术问题是：为了克服传统识别技术的不足，本专利技术提供了一种基于无人机与深度学习的桥梁形象进度自动识别方法。
[0005]为解决上述技术问题，本专利技术采用以下技术方案：
[0006]本专利技术提出一种基于无人机与深度学习的桥梁形象进度自动识别方法，具体包括如下步骤：
[0007]S1、通过无人机航拍桥梁图像，经处理生成桥梁点云模型，并补全模型缺失处点云数据；
[0008]S2、将生成的桥梁点云模型进行人工标注，并划分为成训练集、验证集和测试集，将点云数据进行预处理，得到用于模型训练的数据；
[0009]S3、建立深度学习网络模型，输入经过步骤S2处理的桥梁点云数据，通过局部特征聚合模块和注意力池化模块后提取出数据特征，训练得到具有自动识别桥梁点云构件的语义分割网络模型；
[0010]S4、将测试数据输入训练好的网络模型中，将测试集中桥梁点云主要构件用不同
颜色自动显示；
[0011]S5、对两个不同施工时期的桥梁点云识别结果进行后处理，比较桥梁主要构件数量的变化，将变化部分点云用其他颜色显示，实现桥梁形象进度自动识别。
[0012]进一步的，本专利技术所提出的一种基于无人机与深度学习的桥梁形象进度自动识别方法，步骤S1具体步骤如下：
[0013]S101、采用无人机对桥梁结构进行倾斜摄影，生成桥梁倾斜摄影模型；
[0014]S102、进行精细化的无人机航线规划，获取多角度全方位的桥梁图像；
[0015]S103、处理无人机航拍图像，生成精细化桥梁点云模型，并补全模型缺失的点云数据。
[0016]进一步的，本专利技术所提出的一种基于无人机与深度学习的桥梁形象进度自动识别方法，步骤S102中，规划的无人机精细化航线需要编写KML文件，文件中应该包括航点的经纬度、海拔高度坐标和每个航点处无人机执行的动作指令信息，生产的KML文件需要导入到无人机中。
[0017]进一步的，本专利技术所提出的一种基于无人机与深度学习的桥梁形象进度自动识别方法，步骤S103中，通过后期处理来补全模型缺失的点云数据：找到模型缺失所在位置，手动飞行无人机拍摄该位置图像，重新生成完整精确的点云模型。
[0018]进一步的，本专利技术所提出的一种基于无人机与深度学习的桥梁形象进度自动识别方法，步骤S2中，用于桥梁点云数据标注的软件为CloudCompare，标注好的数据集按照7:2:1划分为训练集、验证集和测试集，经过后处理后生成txt文件、pkl文件和ply文件，输入网络进行训练。
[0019]进一步的，本专利技术所提出的一种基于无人机与深度学习的桥梁形象进度自动识别方法，步骤S3中，深度学习网络模型为RandLA
‑
Net模型，该网络通过使用四个编码器和解码器来学习点的特征，最后使用一个全连接层来预测每个点的语义信息，在聚合特征的过程中采用了注意力机制，每一编码层都在进行下采样的同时进行特征升维；对于解码层，首先用KNN算法寻找每个点云的最近邻点，然后通过最邻近插值对点的特征集合进行上采样，并通过跳跃层连接上采样特征与编码层产生的中间特征，最后输入MLP结构对每个点的语义信息进行预测。
[0020]进一步的，本专利技术所提出的一种基于无人机与深度学习的桥梁形象进度自动识别方法，步骤S3中，RandLA
‑
Net模型采用基于权重的交叉熵损失，损失计算公式如下：
[0021][0022]其中，ω
x
为某类别权重，取为该类别标签点数量的倒数，y
true
为实际标签值，y
pred
为实际预测的概率值。
[0023]进一步的，本专利技术所提出的一种基于无人机与深度学习的桥梁形象进度自动识别方法，步骤S3中，局部特征聚合模块包括一个相对位置编码单元，用于将输入点云块的空间坐标、相对位置坐标、中心点坐标和相对距离进行特征拼接，以提供给网络更丰富的几何信息。
[0024]进一步的，本专利技术所提出的一种基于无人机与深度学习的桥梁形象进度自动识别方法，步骤S5中，使用的点云后处理方法为建立KD
‑
tree，假设第一个施工阶段的桥梁点云
为点云A，后一个施工阶段为点云B，首先遍历B中的点，查询其在A中是否有相同的点云，记录相同点在B中的索引值，通过索引值删除点云B中的重复点后，得到B
‑
A点云，即桥梁施工进度。
[0025]进一步的，本专利技术所提出的一种基于无人机与深度学习的桥梁形象进度自动识别方法，步骤S5中，得到两期点云的变化后，给这些点添加统一的颜色信息，实现将变化点云用其他颜色显示。
[0026]本专利技术采用以上技术方案与现有技术相比，具有以下有益效果：
[0027]本专利技术提出的基于无人机与深度学习的桥梁形象进度自动识别方法，具有效率高，成本低的优点，对桥梁构件识别完整且准确，可在还原真实施工场景的同时掌握各构件详细施工进度，相较于常见的基于图像的桥梁形象进度的二维识别方式具有明显的优势。
附图说明
[0028]图1为本专利技术使用无人机和基于无人机与深度学习的桥梁点云主要构件自动识别方法的流程图。
[0029]图2为本专利技术中使用的RandLA
‑
Net网络结构示意图。...

【技术保护点】

【技术特征摘要】
1.一种基于无人机与深度学习的桥梁形象进度自动识别方法，其特征在于，包括以下步骤：S1、通过无人机航拍桥梁图像，经处理生成桥梁点云模型，并补全模型缺失处点云数据；S2、将生成的桥梁点云模型进行人工标注，并划分为成训练集、验证集和测试集，将点云数据进行预处理，得到用于模型训练的数据；S3、建立深度学习网络模型，输入经过步骤S2处理的桥梁点云数据，通过局部特征聚合模块和注意力池化模块后提取出数据特征，训练得到具有自动识别桥梁点云构件的语义分割网络模型；S4、将测试数据输入训练好的网络模型中，将测试集中桥梁点云主要构件用不同颜色自动显示；S5、对两个不同施工时期的桥梁点云识别结果进行后处理，比较桥梁主要构件数量的变化，将变化部分点云用其他颜色显示，实现桥梁形象进度自动识别。2.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法，其特征在于：步骤S1具体步骤如下：S101、采用无人机对桥梁结构进行倾斜摄影，生成桥梁倾斜摄影模型；S102、进行精细化的无人机航线规划，获取多角度全方位的桥梁图像；S103、处理无人机航拍图像，生成精细化桥梁点云模型，并补全模型缺失的点云数据。3.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法，其特征在于：步骤S102中，规划的无人机精细化航线需要编写KML文件，文件中应该包括航点的经纬度、海拔高度坐标和每个航点处无人机执行的动作指令信息，生产的KML文件需要导入到无人机中。4.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法，其特征在于：步骤S103中，通过后期处理来补全模型缺失的点云数据：找到模型缺失所在位置，手动飞行无人机拍摄该位置图像，重新生成完整精确的点云模型。5.根据权利要求1所述的一种基于无人机与深度学习的桥梁形象进度自动识别方法，其特征在于：步骤S2中，用于桥梁点云数据标注的软件为CloudCompare，标注好的数据集按照7:2:1划分为训练集、验证集和测试集，经过后处理后生成txt文件、pkl文件和ply文件，输入网络进行训练。6.根据...

【专利技术属性】
技术研发人员：吴刚，吴维维，冯东明，
申请(专利权)人：东南大学，
类型：发明
国别省市：