一种露天矿道路的激光雷达落石检测方法技术

本发明专利技术公开了一种基于改进PointPillars网络的露天矿道路多线激光雷达落石检测方法，针对露天矿运输作业中30CM以上的常见落石，使用128线束的固态激光雷达获取露天矿道路落石点云数据作为训练集，对点云数据进行数据增强及体柱化处理，将点云数据放入改进PointPillars网络中进行训练，将训练好的模型进行TensorRT加速，并整合进ROS项目中；其中，露天矿道路落石检测结果包括落石类型和落石的候选框；相应系统包括点云数据采集模块，点云数据处理模块，模型训练模块，模型加速模块，结果输出模块。本发明专利技术能够有效针对露天矿落石大小不一，露天矿强光照等问题，并实现兼具实时性和准确性的落石检测。时性和准确性的落石检测。时性和准确性的落石检测。

【技术实现步骤摘要】
一种露天矿道路的激光雷达落石检测方法


[0001]本专利技术属于矿山安全驾驶
，特别涉及一种基于改进PointPillars网络的多线激光雷达露天矿道路落石检测方法。

技术介绍

[0002]保证安全和降低运输成本是露天矿生产中的首要目标。露天矿山作为一种封闭场景，无人驾驶技术已有应用。在运输中，露天矿道路一侧大多依靠斜坡，而且道路狭窄，因此较大的落石很容易造成无人矿用卡车发生侧翻，引起严重的安全事故。而且在恶劣路况时，会造成轮胎的磨损，增加额外的运输成本。此外，在进行路径规划时，如果路面情况恶劣需要对局部路径的可通行性进行判断。因此，实现露天矿道路落石的检测具有重要意义。
[0003]目前，大多数物体检测方法用于具有结构化道路的城市场景，并且多用于那些体积大，形状规则，辨识度高的物体上。所以，针对露天矿这种特殊场景，目前的主流算法并不适用，而且露天矿道路的落石具有体积大小不定、形状不规则、辨识度低等特点。因此，露天矿道路的落石检测是一个新的方向。
[0004]激光雷达作为新兴技术，近几年在无人驾驶中也备受争议。激光雷达具有测量时间短、量程大、精度高，不受光照影响，即使在强光环境下，也不会受到影响，并且包含丰富的三维信息等优点。相较于图像而言，激光雷达更适合露天矿环境下复杂的道路。
[0005]可以发现，落石检测这方面，较多的解决方案倾向于基于图像，毫米波雷达或者传统聚类的激光雷达算法解决；但是在露天矿这种露天环境下，强光照以及无人矿用卡车夜间工作期间，图像很容易受到影响；毫米波雷达虽然不易受露天矿复杂环境的影响，但是量程短，限制了无人矿用卡车的速度和矿山的生产效率；传统聚类方法，虽然实时性好，但在准确率上却差强人意，在露天矿这种危险的工作场所，安全问题无法准确保证；而且露天矿道路环境崎岖不平、落石体积不同、形状不规则、为了工作效率和安全就需要检测器具备较远的探测距离。

技术实现思路

[0006]为了克服上述现有技术的缺点，本专利技术的目的在于提供一种基于改进PointPillars网络的多线激光雷达露天矿道路落石检测方法，旨在解决露天矿道路无人矿用卡车运输作业过程中30CM以上常见的落石检测问题。
[0007]为了实现上述目的，本专利技术采用的技术方案是：
[0008]一种基于改进PointPillars网络的多线激光雷达露天矿道路落石检测方法，包括如下步骤：
[0009]步骤一：采集不同种类条件下露天矿道路的点云数据，作为训练集，并分析露天矿道路落石的特点，具体包括：
[0010]1)利用多线激光雷达对泥土道路和岩石道路的落石进行采集，作为训练集；
[0011]2)对不同道路的落石点云数据进行对比分析，总结露天矿道路落石的特点；
[0012]步骤二：将训练集放入原始的PointPillars网络进行训练及测试，根据测试结果总结原有算法在露天矿道路环境中的不足，对该算法进行改进，并将训练集放入改进的PointPillars网络进行训练，具体包括：
[0013]1)通过随机取样方法对点云数据进行数据增强，并将所有体柱中点数均采样至N个点；
[0014]2)将所有点的维度从9维升到C维，对体柱进行最大池化操作之后使用scatter算子生成伪图像；
[0015]3)使用FPN(特征金字塔网络)作为骨干网络对特征进行编码和解码；
[0016]4)将原有的有锚框的检测头改进为无锚框的检测头；
[0017]5)对改进的PointPillars网络进行训练并得到训练好的落石检测网络模型；
[0018]步骤三：将训练好的落石检测网络模型进行TensorRT加速，并整合进ROS(机器人操作系统)项目中，具体包括：
[0019]1)将训练好的pytorch落石检测模型使用onnx转化为onnx模型；
[0020]2)将onnx模型使用TensorRT转化为TensorRT模型；
[0021]3)将TensorRT模型配置到ROS项目中；
[0022]本专利技术将采集的真实露天矿道路的点云数据，运用经过加速并且整合进ROS项目的改进PointPillars网络进行测试，最终输出露天矿道路落石检测结果。
[0023]与现有技术相比，本专利技术的有益效果是：
[0024]本专利技术能够有效针对露天矿落石大小不一，露天矿强光照等问题，并实现兼具实时性和准确性的落石检测。
[0025]针对露天矿落石大小不一的问题，原始的PointPillars网络采用固定锚框的检测头，实验结果表明，候选框不能完整的框选中较大的石头，只能框选中大石头的一部分；对于较小的石头，候选框虽然可以框选中，但是存在候选框过大的情况，存在这种情况的原因是检测时候选框的大小是固定的，但是落石大小不是固定的；针对以上问题，本专利技术提出了无固定锚框的的检测头，通过中心点来生成候选框，并通过其他属性，对候选框的位置及大小进行调整，以满足露天矿道路落石大小不同的情况，并且减少了固定锚框方法中非极大值抑制这一步骤，有效的减少了网络的运行时间。
[0026]针对实时性和准确性的问题，现有的落石检测算法大都是基于传统机器学习中聚类的方法，在三维数据中，由于时间复杂度高，因此该类方法不适合实时性要求较高的场景；而且该类方法在简单环境下准确度较好，但是在复杂环境下，准确率急速下降，对于安全性要求高的露天矿区复杂环境，该类算法往往难以胜任。针对这种情况，本专利技术使用兼具速度和准确率的深度学习算法，该算法对原始的点云数据进行体柱化处理，减少了需要处理的点云数量；并对伪图像使用2D卷积，相对于3D卷积和传统机器学习的聚类方法，极大减少了运行时间，并且该算法在公开的KITTI复杂环境的数据集中，拥有较好的效果。
[0027]针对露天矿强光照的问题，由于露天矿环境是无任何遮挡的空旷环境，所以相机很容易受到光照的影响，从而影响检测的准确率，本专利技术使用激光雷达，强光照对激光雷达的检测是没有影响的。
Features；
[0038]2)通过scatter算子生成伪图像，scatter算子是通过每个点的体柱的索引值(每个体柱在俯视面中对应的x，y坐标)将上一步生成的(C，P)维度的特征图转换回步骤一中三维的小立方体中，即将P个体柱按之前存储的x，y坐标放回到原立方体中，来创建大小为(C＝64,H＝440,W＝500)的伪图像，见图2左下角部分的Pseudo image；投影到伪图像，可以利用2D卷积处理体柱特征，因此极大增加了在GPU上的运行效率，可以更好的满足实时性的要求；
[0039]3)骨干网络：骨干网络使用的是FPN(特征金字塔网络)，见图2中的Backbone部分，编码器用一系列块Block(S，L，F)来表征，每个块以步幅S运行；每个块有L个3
×
3的2D卷积层和F个输出通道，后面跟着BatchNorm和ReLU层来提取特征，见图2的右下角部分的第一列，存在三个大小不同的Block，设置步长为2和填充为1时B本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进PointPillars网络的多线激光雷达露天矿道路落石检测方法，其特征在于，包括如下步骤：步骤一：使用多线束的固态激光雷达，采集不同道路、不同路况的露天矿道路落石点云数据作为训练集，取出训练集的一部分作为测试集；对采集的点云数据进行数据增强和体柱化处理，得到柱状点云图；步骤二：对柱状点云图进行处理之后通过scatter算子生成伪图像，将所述伪图像放入改进PointPillars网络的骨干网络进行特征提取；所述改进PointPillars网络是在PointPillars网络基础上，将其有锚框检测头修改为无锚框检测头，所述无锚框检测头由四个部分组成，分别是关键点热图头、局部偏移头、z轴定位头和3D目标尺寸头；步骤三：对改进的PointPillars网络进行训练并得到训练好的落石检测网络模型，将训练好的落石检测网络模型，进行TensorRT进行加速，并整合进机器人操作系统ROS中，实现落石检测网络模型的部署；步骤四：将选取的最新矿山点云数据作为测试集，通过ROS平台进行测试，输出连续帧的检测结果，获取道路的落石信息。2.根据权利要求1所述基于改进PointPillars网络的多线激光雷达露天矿道路落石检测方法，其特征在于，所述步骤一中，获取训练数据集，点云数据由激光雷达向下倾斜20
°
采集得到。3.根据权利要求1所述基于改进PointPillars网络的多线激光雷达露天矿道路落石检测方法，其特征在于，所述数据增强，是通过随机取样方法增加一帧点云数据中的落石数量。4.根据权利要求1所述基于改进PointPillars网络的多线激光雷达露天矿道路落石检测方法，其特征在于，所述体柱化处理，将三维点云数据置于大立方体中，以设定长度将大立方体划分为P个体积相同的H
×
W
×
D的小立方体即体柱，然后将P个体柱中所有点编码成具有9维特征的的向量D，9维分别为：x坐标值，y坐标值，z坐标值，反射强度r，增加xc、yc、zc为该体柱的几何中心，点与几何中心的距离xp和yp，之后对每个体柱中点的个数多于N的采样至N个，少于N的填充为0，则每个体柱中点的数量为N。5.根据权利要求1所述基于改进PointPillars网络...

【专利技术属性】
技术研发人员：顾清华，李佳威，江松，阮顺领，王倩，李学现，陈露，
申请(专利权)人：西安建筑科技大学，
类型：发明
国别省市：