井下有轨车辅助驾驶的行人与障碍物检测方法技术

本发明专利技术涉及目标感知技术领域，尤其涉及一种井下有轨车辅助驾驶的行人与障碍物检测方法，包括：完成相机和激光雷达的时间同步和空间同步；在井下有轨机车上安装相机和激光雷达，在运行环境中实现点云数据、视频采集与预处理；实现视频中的目标检测，获得目标在图像中的坐标信息，对行人与障碍物等目标实现检测与跟踪；按照输入视频的时间序列；利用图像的坐标信息实现点云的粗分割和精细分割；利用K

【技术实现步骤摘要】
井下有轨车辅助驾驶的行人与障碍物检测方法


[0001]本专利技术涉及井下有轨车辅助驾驶中目标感知
，尤其涉及一种井下有轨车辅助驾驶的行人与障碍物检测方法。

技术介绍

[0002]井下有轨车无人驾驶是井下运输发展趋势，也是实现矿山企业智能化的关键环节。可以极大程度减少人员投入、提高生产效率、降低生产能耗，增强作业安全。无人驾驶的有轨车在行驶过程中需要识别人、机车、石头、遗落工具、木头等其他类型障碍物，且要知悉车前运动目标的位置、距离或速度。
[0003]激光雷达可以获得周边环境的点云数据，其中包括三维坐标信息以及激光反射强度4个维度的信息，若仅仅根据周围环境的点云数据，辅助驾驶有轨车仍然无法分辨目标种类与实现目标点云分割。现有技术CN 113569915 A公开了一种基于激光雷达的多策略轨道交通障碍物识别防范，包括，在实际列车运行环境中激光雷达实时扫描列车运行环境数据采集，将获取的点云样本用于建立列车前方障碍物点云数据集；使用VoxelGrid体素滤波方法对点云进行采样滤波；创建新点云容器，遍历过滤后的点云，按照距离远近保存点云；针对室内及室外轨道交通列车运行场景使用不同策略进行地面分割，在分割过程中对轨道区域进行初步提取，最后对提取的轨道区域进行精确限界并用空间曲线拟合；根据不同距离进行多策略障碍物检测，基于距离的多策略进行分区域识别筛选，获取筛选结果。
[0004]现有技术的识别检测方法未考虑到矿井环境中光线不均，灰尘大，障碍物种类繁杂的特点，通常采用视觉摄像机、激光雷达等多传感器去感知有轨车前行人与障碍物的信息。为了有轨车辅助驾驶中实现目标点云自动分割，通常采用多传感器信息融合的方式进行目标检测，并获取该目标距离、速度。但是如何在图像目标检测基础上确保有效的目标点云分割，仍然面临着很多问题。

技术实现思路

[0005]本专利技术所解决的技术问题是提供一种简单且准确度较高的井下行人与障碍物目标检测方法，相比常规的激光雷达检测方法，能够提高目标检测的有效性及准确度。
[0006]为达此目的，本专利技术采用以下技术方案，一种井下有轨车辅助驾驶的行人与障碍物检测方法，包括以下步骤：
[0007]S1：对相机和激光雷达这两种类型传感器进行联合标定，使得所述相机采集的视频和所述激光雷达采集的三维点云数据在空间和时间上同步，完成同步后进入步骤S2；
[0008]所述联合标定的具体过程如下：
[0009]SS1：对相机和激光雷达的硬件配置文件进行修改，将相机和激光雷达数据采集频率设置为相同实现时间同步；
[0010]SS2：在有轨车上固定相机和激光雷达传感器，采用张正友标定法标定相机内部参数；利用线与平面的对应关系求解相机与激光雷达的联合外部参数，实现相机和激光雷达
的空间同步；
[0011]S2：采集运行环境中的视频数据和激光雷达点云数据，分别对所述视频数据与所述激光雷达点云数据进行预处理，完成预处理后进入步骤S3；
[0012]S3：通过Labelme对采集的视频数据中行人与障碍物目标进行标注并保存相应的文件，基于采集的视频数据及相应的标注，训练基于Yolo V5的行人与障碍物目标检测模型，模型训练完成后，获取目标类别以及所有目标在图像中的坐标信息，利用投影变换公式获取所有目标的激光雷达点云数据，将所有目标图像信息与点云数据建立一一对应的关系后分别进入步骤S4和步骤S5；
[0013]所述目标图像坐标信息为：U
Min
、U
Max
、V
Min
、V
Max
，则其中U
Min
、U
Max
分别为该目标在图像坐标U方向上的最小值和最大值，V
Min
、V
Max
分别为该目标在图像坐标V方向上的最小值和最大值；
[0014]S4：将标注好的视频数据中的同一目标图像进行裁剪，只保留含有目标标定框部分的图像，并将每个目标图像按照不同种类分别放在不同文件夹中；进一步的，基于裁剪后的目标图像，训练基于DeepSORT特定目标的特征提取网络，通过Yolo V5
‑
DeepSORT采用多线程操作实现不同类别多目标跟踪算法；进一步的，利用Yolo V5
‑
DeepSORT对不同目标分别进行检测与跟踪，按照输入视频的时间序列图像，将在前后帧中属于同一目标的分配相同的ID 号后进入S8；
[0015]S5：根据所述目标图像坐标信息U
Min
、U
M
ax、V
Min
、V
Max
，进行目标点云的粗分割，粗分割后的点云实质上缩小了目标点云检测范围，粗分割后的目标点云区域为3D锥体点云，完成后进入步骤S6；
[0016]S6：计算所述3D锥体点云中每个点云与所述激光雷达传感器的距离，将获得的距离数据划分为N个区间，并统计每个区间内点云个数，点云个数最多的区间为目标点云，从而实现点云的精细分割；
[0017]S7：利用K
‑
means聚类算法对步骤S6中精细分割的点云实现聚类，点云数量较多的类别为目标点云，并计算每个所述目标点云与激光雷达传感器之间的距离，然后对所有距离取平均值，该平均值则为目标点云与雷达之间的距离；
[0018]S8：基于步骤S4中的在前后帧中属于同一目标的被分配了相同的ID号以及步骤S7中的平均值，在相邻两帧中对具有相同ID的目标分别进行距离测量，并结合前后两帧数据采集的时间差，完成对目标速度的测量。
[0019]进一步的，所述外部参数的求解步骤如下：
[0020]1)将标定板放置井下有轨车前方，通过移动标定板，激光雷达和相机分别采集标定板的图像信息和点云信息；
[0021]2)提取三维点云数据中标定板平面的法向量和边界；同时提取图像中标定板平面的法向量和边界；根据所述标定板平面的两个法向量和边界，建立激光雷达三维点云和图像中平面与边界的对应关系；
[0022]3)根据所述对应关系获得相机和雷达的联合外部参数，包括旋转矩阵Rt和平移矢量T；利用投影变换公式实现相机和激光雷达的空间同步；其中投影变换公式定义为：
[0023]μ
×
[u(i) v(i) 1]T
＝K
×
[Rt|T]×
[x(i) y(i) z(i) 1]T
，i＝0,1,2......K
ꢀꢀꢀ
(1)
[0024]公式(1)中，K∈R3×3代表矫正后的相机内参；Rt∈R3×3代表相机与激光雷达坐标变换的旋转矩阵；T∈R3×1代表相机与激光雷达坐标变换的平移向量，[Rt|T]表示将旋转矩阵Rt与平移向量T合成为3行4列的矩阵，[x(i) y(i) z(i) 1]T
是激光雷达坐标系下的点云坐标， [u(i) v(i) 1]T
是三维点云经过投影后对应的图像坐标，i为点云的索引本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种井下有轨车辅助驾驶的行人与障碍物检测方法，其特征在于，包括以下步骤：S1：对相机和激光雷达这两种类型传感器进行联合标定，使得所述相机采集的视频和所述激光雷达采集的三维点云数据在空间和时间上同步，完成同步后进入步骤S2；所述联合标定的具体过程如下：SS1：对相机和激光雷达的硬件配置文件进行修改，将相机和激光雷达数据采集频率设置为相同实现时间同步；SS2：在有轨车上固定相机和激光雷达传感器，采用张正友标定法标定相机内部参数；利用线与平面的对应关系求解相机与激光雷达的联合外部参数，实现相机和激光雷达的空间同步；S2：采集运行环境中的视频数据和激光雷达点云数据，分别对所述视频数据与所述激光雷达点云数据进行预处理，完成预处理后进入步骤S3；S3：通过Labelme对采集的视频数据中行人与障碍物目标进行标注并保存相应的文件，基于采集的视频数据及相应的标注，训练基于Yolo V5的行人与障碍物目标检测模型，模型训练完成后，获取目标类别以及所有目标在图像中的坐标信息，利用投影变换公式获取所有目标的激光雷达点云数据，将所有目标图像信息与点云数据建立一一对应的关系后分别进入步骤S4和步骤S5；所述目标图像坐标信息为：U
Min
、U
Max
、V
Min
、V
Max
，则其中U
Min
、U
Max
分别为该目标在图像坐标U方向上的最小值和最大值，V
Min
、V
Max
分别为该目标在图像坐标V方向上的最小值和最大值；S4：将标注好的视频数据中的同一目标图像进行裁剪，只保留含有目标标定框部分的图像，并将每个目标图像按照不同种类分别放在不同文件夹中；进一步的，基于裁剪后的目标图像，训练基于DeepSORT特定目标的特征提取网络，通过Yolo V5
‑
DeepSORT采用多线程操作实现不同类别多目标跟踪算法；进一步的，利用Yolo V5
‑
DeepSORT对不同目标分别进行检测与跟踪，按照输入视频的时间序列图像，将在前后帧中属于同一目标的分配相同的ID号后进入S8；S5：根据所述目标图像坐标信息U
Min
、U
Max
、V
Min
、V
Max
，进行目标点云的粗分割，粗分割后的点云实质上缩小了目标点云检测范围，粗分割后的目标点云区域为3D锥体点云，完成后进入步骤S6；S6：计算所述3D锥体点云中每个点云与所述激光雷达传感器的距离，将获得的距离数据划分为N个区间，并统计每个区间内点云个数，点云个数最多的区间为目标点云，从而实现点云的精细分割；S7：利用K
‑
means聚类算法对步骤S6中精细分割的点云实现聚类，点云数量较多的类别为目标点云，并计算每个所述目标点云与激光雷达传感器之间的距离，然后对所有距离取平均值，该平均值则为目标点云与雷达之间的距离；S8：基于步骤S4中的在前后帧中属于同一目标的被分配了相同的ID号以及步骤S7中的平均值，在相邻两帧中对具有相同ID的目标分别进行距离测量，并结合前后两帧数据采集的时间差，完成对目标速度的测量。2.根据权利要求1所述的井下有轨车辅助驾驶的行人与障碍物检测方法，其特征在于，所述外部参数的求解步骤如下：
1)将标定板放置井下有轨车前方，通过移动标定板，激光雷达和相机分别采集标定板的图像信息和点云信息；2)提取三维点云数据中标定板平面的法向量和边界；同时提取图像中标定板平面的法向量和边界；根据所述标定板平面的两个法向量和边界，建立激光雷达三维点云和图像中平面与边界的对应关系；3)根据所述对应关系获得相机和雷达的联合外部参...

【专利技术属性】
技术研发人员：汤红忠，唐琳杰，王涛，罗海凡，窦一龙，丁哲，颜渐德，
申请(专利权)人：湘潭大学，
类型：发明
国别省市：