基于无人机与激光雷达数据融合的路基沉降监测方法技术

本发明专利技术公开了一种基于无人机与激光雷达数据融合的路基沉降监测方法，首先对无人机平台搭载的摄像头与激光雷达两种传感器进行标定，以消除畸变与时间空间不同步带来的误差影响；随后划定飞行路线；下一步无人机沿施工沿线飞行，采集数据；将收集到的点云数据与图像数据分别进行特征提取，点云数据使用point

【技术实现步骤摘要】
基于无人机与激光雷达数据融合的路基沉降监测方法


[0001]本专利技术属于多模态数据融合
，涉及一种基于无人机与激光雷达数据融合的路基沉降监测方法。

技术介绍

[0002]近年来，多模态融合技术发展迅速，尤其是在自动驾驶、医疗等领域。摄像头与激光雷达这两种传感器的融合大大提高了数据的可靠性与可用性，这一点在汽车自动驾驶的研究中得到了很好的验证。在我国铁路建设领域，存在大量的施工质量控制需求，目前这些需求仅仅依靠单一传感器与人工的方式进行监测，这类传统方式耗时长、依赖人力、精确度较低。因此，急需寻找一种适应铁路基础设施建设过程中复杂施工场景的动态感知技术，在铁路建设中提供定期的地面沉降监测，以此保证施工安全进行并且提升铁路建筑行业的信息化水平，提高生产效率。

技术实现思路

[0003]本专利技术的目的是提供一种基于无人机与激光雷达数据融合的路基沉降监测方法，采用该方法能够有效降低目前大铁施工过程中地面沉降从而导致塌方塌陷的风险，以及简化地面沉降监测的工作流程，提高监测精度。
[0004]本专利技术所采用的技术方案是，基于无人机与激光雷达数据融合的路基沉降监测方法，具体包括如下步骤：
[0005]步骤1，对光学摄像头和激光雷达进行调试及参数标定；
[0006]步骤2，采用搭载激光雷达与光学摄像头的无人机设备，收集并存储铁路施工沿线的图像帧数据以及点云数据；
[0007]步骤3，对步骤2收集的点云数据和图像帧数据进行特征取；
[0008]步骤4，将步骤3提取的图像特征输入到颈部网络中，实现不同层次的特征融合；
[0009]步骤5，将经步骤3提取的点云特征与步骤4处理的图像特征进行融合；
[0010]步骤6，将经步骤5处理后的特征输入目标检测网络中，进行目标检测。
[0011]本专利技术的特点还在于：
[0012]步骤3的具体过程为：
[0013]使用point
‑
based网络对点云数据进行点云特征提取的过程为：
[0014]使用最远点采样法选取采样点，为每一个采样点划定一个球形邻域，根据球形领域得到分组点云数据，将分组点云数据输送到特征提取层进行特征提取，通过最大池化操作统一每个邻域的局部特征维度，将局部特征拼接成全局特征，输出全局特征向量；
[0015]使用SE
‑
ResNet
‑
50网络对图像数据进行特征提取的过程为：
[0016]将无人机采集到的图像数据输入到SE
‑
ResNet
‑
50网络进行图像特征提取，图像数据经过SE
‑
ResNet
‑
50的各个卷积模块卷积后，经过残差处理和池化处理，能够得到不同维度的多层次特征。
[0017]步骤4的具体过程为：
[0018]步骤4.1，在颈部网络中，自顶向下Top
‑
Down，对各层图像特征进行融合；
[0019]步骤4.2，将步骤4.1与步骤3.2中输出的相同层次的特征图进行逐元素相加融合。
[0020]步骤5的具体过程为：
[0021]步骤5.1，注意力特征融合模块的输入是点云数据采样点的特征和对应的图像特征，两者的维度分别为N
×
C1和N
×
C2；首先将两种特征分别输入到全连接层FC1和FC2中，对两种特征的维度进行调整，统一为N
×
C3；
[0022]步骤5.2，将经步骤5.1统一之后的维度进行逐元素相加得到综合特征；
[0023]步骤5.3，将步骤5.2得到的综合特征输送到第三层全连接层FC3中匹配并输出注意力分数；
[0024]步骤5.4，通过如下公式(1)sigmoid输出维度为N
×
1维注意力因子，将注意力因子与图像特征相乘，得到注意力加权之后的图像特征：
[0025][0026]步骤5.5，将加权之后的图像特征拼接到点云特征之后，得到点云与图像的融合特征作为输出。
[0027]步骤6的具体过程为：
[0028]步骤6.1，生成候选中心点；
[0029]步骤6.2，在检测头中，对每一个候选中心点进行边界框回归，预测出候选中心点相对于真实中心的位移偏差、目标的类别、边界框的尺寸、边界框角度朝向及边界框八个角点的位置，得到预测框向量(x
p
，y
p
，z
p
，l
p
，w
p
，h
p
，θ
p
)，
[0030]其中，(x
p
、y
p
、z
p
)分别表示预测框在激光雷达坐标系下的三维坐标，l
p
、w
p
、h
p
分别表示预测框的长宽高尺寸，θ
p
为预测框的朝向相对于z轴的旋转角度；将预测出的检测框与真值之间计算损失，优化损失训练网络；
[0031]步骤6.3，计算每个候选中心点与真值中心点之间的欧氏距离l1，并利用
[0032]l
mask1
进行筛选，小于距离阈值的中心点进行下一步操作，计算过程如式(2)所示：
[0033][0034]计算经过第一步筛选之后的中心点与真值标签框的中心度l2，并用中心度阈值l
mask2
进行筛选，中心度大于阈值说明当前中心候选点越接近真值标签框的中心，反之，则越偏离真值标签框中心，计算过程如式(3)所示：
[0035][0036]式中，f、b、l、r、t、d分别为候选中心点与真值标签框的前、后、左、右、上、下六个面的距离，将中心度大于阈值的候选中心点与相应的标签进行关联，从而可以计算损失。
[0037]本专利技术的有益效果是，本专利技术通过搭载摄像头和激光雷达的无人机沿着施工工地沿线飞行收集数据，将收集到的图像数据以及点云数据进行数据处理，点云数据通过point
‑
based网络进行特征提取，图像数据通过SE
‑
ResNet
‑
50网络进特征提取，将经过特征提取后不同维度的多层次图像特征通过中间颈部层(Neck层)处理后与对应层次的点云特征一起输入到融合模块，通过AFF
‑
注意力特征融合模块进行融合，最后将融合后的特征传输到检测头，通过基于Anchor free的AF
‑
SSD目标检测网络预测生成包围框，进行目标检测。对比目标元素的多期点云数据生成沉降幅度可视化图，并与实景图融合生成最后的施工场景地面沉降分析图。采用本专利技术基于无人机平台的摄像头与激光雷达多模态融合地面沉降监测方法能够在大铁基础设施建设施工过程质量检测方面降低人力成本，并且能够适用于人力无法进行监测的复杂场景，无需考虑环境，天气等原因。该技术能提高地面沉降监测精度，并且能够精确定位本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于无人机与激光雷达数据融合的路基沉降监测方法，其特征在于：具体包括如下步骤：步骤1，对光学摄像头和激光雷达进行调试及参数标定；步骤2，收集并存储铁路施工沿线的图像帧数据以及点云数据；步骤3，对步骤2收集的点云数据和图像帧数据进行特征取；步骤4，将步骤3提取的图像特征输入到颈部网络中，实现不同层次的特征融合；步骤5，将经步骤3提取的点云特征与步骤4处理的图像特征进行融合；步骤6，基于经步骤5处理后的特征进行目标检测。2.根据权利要求1所述的基于无人机与激光雷达数据融合的路基沉降监测方法，其特征在于：所述步骤3的具体过程为：使用point
‑
based网络对点云数据进行点云特征提取的过程为：使用最远点采样法选取采样点，为每一个采样点划定一个球形邻域，根据球形领域得到分组点云数据，将分组点云数据输送到特征提取层进行特征提取，通过最大池化操作统一每个邻域的局部特征维度，将局部特征拼接成全局特征，输出全局特征向量；使用SE
‑
ResNet
‑
50网络对图像数据进行特征提取的过程为：将无人机采集到的图像数据输入到SE
‑
ResNet
‑
50网络进行图像特征提取，图像数据经过SE
‑
ResNet
‑
50的各个卷积模块卷积后，经过残差处理和池化处理，能够得到不同维度的多层次特征。3.根据权利要求2所述的基于无人机与激光雷达数据融合的路基沉降监测方法，其特征在于：所述步骤4的具体过程为：步骤4.1，在颈部网络中，自顶向下Top
‑
Down，对各层图像特征进行融合；步骤4.2，将步骤4.1与步骤3.2中输出的相同层次的特征图进行逐元素相加融合。4.根据权利要求3所述的基于无人机与激光雷达数据融合的路基沉降监测方法，其特征在于：所述步骤5的具体过程为：步骤5.1，注意力特征融合模块的输入是点云数据采样点的特征和对应的图像特征，两者的维度分别为N
×
C1和N
×
C2；首先将两种特征分别输入到全连接层FC1和FC2中，对两种特征的维度进行调整，统一为N
×
C3；...

【专利技术属性】
技术研发人员：朱磊，陶栎琦，黑新宏，姜琨，姬文江，赵钦，刘征，王佳龙菲，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：