融合视觉与激光雷达数据特征的地铁轨道障碍物检测方法技术

本发明专利技术公开了一种融合视觉与激光雷达数据特征的地铁轨道障碍物检测方法，包括以下步骤：S1、为地铁装配激光雷达和摄像头；S2、利用装配有激光雷达和摄像头的地铁沿着行驶线路往返至少一次，采集沿途的摄像头图像数据和激光雷达点云数据；S3、利用激光雷达点云数据进行地图的构建；对于交叉轨道处和弯道位置，利用摄像头图像数据进行逐一标定；S4、对于摄像头图像数据和激光雷达点云数据都无法确定的路况，利用人工进行手动标注；形成S2中的行驶线路的地铁地图数据。本发明专利技术融合视觉与激光雷达数据特征实现地铁轨道的障碍物检测；以激光雷达数据为主，以视觉特征为辅，对两者数据特征进行挖掘，检测障碍物。

Obstacle detection method for subway based on data fusion of vision and lidar data

The invention discloses a subway track obstacle detection method which combines visual and lidar data characteristics, including the following steps: S1, assembling a lidar and a camera for the subway; S2, using a subway equipped with a lidar and a camera to go back and forth along the running line at least once, collecting image data of the camera along the way. And LIDAR point cloud data; S3, using LIDAR point cloud data to map the construction; for the cross-track and bend position, using camera image data to calibrate one by one; S4, for camera image data and LIDAR point cloud data can not determine the road conditions, using manual annotation; The map data of the subway line in S2. The invention integrates the visual and lidar data features to realize the obstacle detection of subway track, mainly uses the lidar data and assists by the visual features to mine the data features of the two, and detects the obstacle.

【技术实现步骤摘要】
融合视觉与激光雷达数据特征的地铁轨道障碍物检测方法
本专利技术涉及自动驾驶
，具体涉及一种融合视觉与激光雷达数据特征的地铁轨道障碍物检测方法。
技术介绍
近年来汽车自动驾驶技术如火如荼的发展，却受限于城市路况的诸多随机性而屡屡碰壁，虽然可以通过配备激光雷达、毫米波雷达等传感器增强自动驾驶的可行性，确又受到传感器高价的困扰而无法实施，比如一个64线激光雷达造价达到8000多美元，接近一辆汽车的价格。而城市中主要的公共交通工具——地铁，因其具有固定的行驶路线及其昂贵的价格，以及地铁司机训练的长周期性，将最迫切以及最容易实现自动驾驶。而地铁自动驾驶中，最关注的一个主要问题就是障碍物的检测。
技术实现思路
基于以上
技术介绍
，本专利技术提供一种融合视觉与激光雷达数据特征的地铁轨道障碍物检测方法。以激光雷达数据为主，以视觉特征为辅，对两者数据特征进行挖掘，检测障碍物。为了实现以上目的，本专利技术采用以下技术方案：一种融合视觉与激光雷达数据特征的地铁轨道障碍物检测方法，包括以下步骤：S1、为地铁装配激光雷达和摄像头；S2、利用装配有激光雷达和摄像头的地铁沿着行驶线路往返至少一次，采集沿途的摄像头图像数据和激光雷达点云数据；S3、利用激光雷达点云数据进行地图的构建；对于交叉轨道处和弯道位置，利用摄像头图像数据进行逐一标定；S4、对于摄像头图像数据和激光雷达点云数据都无法确定的路况，利用人工进行手动标注；形成S2中的行驶线路的地铁地图数据。优选地，所述地铁地图数据中的摄像头图像数据的集合构成视觉特征数据库，所述检测方法还包括视觉特征数据库的不断完善。更优选地，所述视觉特征数据库的不断完善具体过程为：当根据激光雷达判断轨道上方有障碍物出现时，结合地铁地图数据中的摄像头图像数据和当前摄像头所拍摄的障碍物图像数据，判断最终障碍物是否对地铁轨道行驶造成危险，并将障碍物图像数据加入视觉特征数据库中。本专利技术另一方面还提供利用以上检测方法进行地铁轨道障碍物的检测的地铁自动驾驶权的方法。本专利技术的有益效果本专利技术提供的融合视觉与激光雷达数据特征的地铁轨道障碍物检测方法，融合视觉与激光雷达数据特征实现地铁轨道的障碍物检测；以激光雷达数据为主，以视觉特征为辅，对两者数据特征进行挖掘，检测障碍物。附图说明图1为本专利技术联合标定的理论实验标定板图片。图2为本专利技术联合标定的理论实验流程图。具体实施方式下面通过实施例对本专利技术进行具体描述，有必要在此指出的是本实施例只用于对本专利技术进行进一步说明，不能理解为对本专利技术保护范围的限制，该领域的技术熟练人员可以根据以上专利技术的内容做出一些非本质的改进和调整。在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。本专利技术首先在实验室条件下验证了摄像机和激光雷达联合标定的实验理论：在室内摆好棋盘格，利用激光雷达和摄像头同时拍摄该棋盘格，分别获得点云数据和图像数据。利用如图1所示的标定板进行摄像头和激光雷达的联合标定，具体标定流程如图2所示。其中黑色圆形为圆形空洞区域，其它为实心区域，这样激光雷达在碰到扫描圆形区域时，就会出现深度点云数据的跳跃，便于进行坐标的确定。而摄像头数据可以通过检测各个圆形的中心确定世界坐标和图像坐标间的关系，进而确定相机内外参数，最终实现两者的联合标定。本专利技术进一步地根据激光雷达和摄像头进行地铁地图数据的构建，具体如下：为地铁装配激光雷达和摄像头；利用装配有激光雷达和摄像头的地铁沿着行驶线路往返至少一次，采集沿途的摄像头图像数据和激光雷达点云数据。由于激光雷达比较准确可靠，将利用激光雷达进行地图的构建，对于交叉轨道处和弯道等位置，将利用摄像头的图像数据进行逐一标定，以确定该位置行驶的正确性。摄像头图像数据和激光雷达点云数据都无法确定的路况，将利用人工进行手动标注。这样就形成了特定线路的地铁地图数据，确保地铁可以在无任何突发和异常情况下的行驶。进一步的，将该方法应用于地铁自动驾驶中时，在行驶过程中，轨道上方会出现障碍物，此时会进行异常情况的检测，具体如下：通常对于可以造成轨道行驶安全的大型物体，如倒落的电线杆、穿梭的行人和牲畜，仅利用构建的地铁地图数据和行驶中实时采集的雷达点云数据是可以做出正确的判断的。对于弯道数据，如接近直角的左右转弯，激光雷达点云数据可能会误判前方有障碍物，但是由于已经构建好了地铁地图数据，可以避免这样的情况发生。主要的异常来源于几点：下雪天大片的雪花出现，或者是悬浮于轨道之上的朔料袋、气球和风筝等物体的出现。这些物体不会对轨道行驶造成危险，但是激光雷达却可能产生误判。因此，此时需要结合结合地铁地图数据中的摄像头图像数据和当前摄像头所拍摄的障碍物图像数据，视觉特征进行辅助判断。视觉特征数据库还可以不断的进行更新，如每次出现的上述障碍物时，将不断的加入视觉特征数据库中，这样在下次出现，可以直接进行比对以便做出正确判断。其中的视觉特征数据库为地铁地图数据中的摄像头图像数据的集合。例如，轨道上方悬浮的气球，可以利用激光雷达检测出该物体的位置，包括该物体距离轨道的高度。由于激光雷达属于离散点扫描，可能无法判断该物体是否与轨道有连接，此时可以利用摄像头图像数据进行辅助判断，通常已经可以判断出该物体为悬浮物体。为了安全起见，将利用视觉数据库中存储的不断加入的轨道中出现的物体的视觉特征进行该物体的分类与识别，判断出该物体为无危害的悬浮物体，随着数据库的完善，可判断出该物体为气球。地铁自动驾驶中，最关注的一个主要问题就是障碍物检测，本专利技术以此为目的，融合视觉与激光雷达数据特征实现地铁的障碍物检测。本专利技术以激光雷达点云数据为主，以视觉特征数据为辅，对两者数据特征进行挖掘，检测障碍物。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护范围。本文档来自技高网...

【技术保护点】
1.一种融合视觉与激光雷达数据特征的地铁轨道障碍物检测方法，其特征在于，包括以下步骤：S1、为地铁装配激光雷达和摄像头；S2、利用装配有激光雷达和摄像头的地铁沿着行驶线路往返至少一次，采集沿途的摄像头图像数据和激光雷达点云数据；S3、利用激光雷达点云数据进行地图的构建；对于交叉轨道处和弯道位置，利用摄像头图像数据进行逐一标定；S4、对于摄像头图像数据和激光雷达点云数据都无法确定的路况，利用人工进行手动标注；形成S2中的行驶线路的地铁地图数据。

【技术特征摘要】
1.一种融合视觉与激光雷达数据特征的地铁轨道障碍物检测方法，其特征在于，包括以下步骤：S1、为地铁装配激光雷达和摄像头；S2、利用装配有激光雷达和摄像头的地铁沿着行驶线路往返至少一次，采集沿途的摄像头图像数据和激光雷达点云数据；S3、利用激光雷达点云数据进行地图的构建；对于交叉轨道处和弯道位置，利用摄像头图像数据进行逐一标定；S4、对于摄像头图像数据和激光雷达点云数据都无法确定的路况，利用人工进行手动标注；形成S2中的行驶线路的地铁地图数据。2.根据权利要求1所述的检测方法，其特征在于...

【专利技术属性】
技术研发人员：林春雨，王保华，翟国锐，尹航，郝志强，彭少武，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：北京,11