一种图像信息与激光雷达点云信息融合的目标识别方法技术

本发明专利技术涉及一种图像信息与激光雷达点云信息融合的目标识别方法，属于自动驾驶技术领域。该方法包括：使用KITTI数据集训练YOLO v4网络，得到基于视觉传感器的人车目标检测网络；对激光雷达原始点云进行处理，包括激光雷达的点云滤波、地面点云分割、点云聚类和目标特征提取，采用基于图像包络的三维位置估计方法，生成目标三维边界框；将激光雷达检测到的三维障碍物点云投影到图像上，投影边界框与图像检测的障碍物边界框通过IOU关联匹配进行融合。本发明专利技术能够实现实用性强，且准确、高效的多传感器决策级融合，提高自动驾驶的安全性。提高自动驾驶的安全性。提高自动驾驶的安全性。

【技术实现步骤摘要】
一种图像信息与激光雷达点云信息融合的目标识别方法


[0001]本专利技术属于自动驾驶
，涉及一种图像信息与激光雷达点云信息融合的目标识别方法。

技术介绍

[0002]自动驾驶汽车可为驾驶员实时提供安全预判信息，降低交通事故，提升汽车安全性，而环境感知是保证自动驾驶汽车安全行驶的关键技术，它通过车载传感器获取车辆周围环境信息，为自动驾驶汽车的决策和控制提供可靠信息。目标识别作为自动驾驶汽车感知中的一项基础性工作，对于保障自主车辆安全，提高自动驾驶汽车环境理解力具有重要意义。
[0003]车辆在自动驾驶场景下，应用多传感器融合方案是目前本领域内主流的发展方向。在现有技术中，多传感器融合方案分为两种，前融合和后融合(决策级融合)。前融合，是指针对传感器原始数据做融合处理，其数据密集且维度高，时间空间统一难度大，深度特征提取难度大，开发周期长。而决策级融合，则是针对目标级数据做融合处理，数据维度低且稀疏，处理方法简单且灵活，开发周期短。然而，决策级融合方案虽然具有上述的诸多优点，但如何实现一种能够实际应用，且准确、高效的多传感器决策级融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像信息与激光雷达点云信息融合的目标识别方法，其特征在于，该方法具体包括以下步骤：S1：获取激光雷达传感器的环境感知数据，并将激光雷达扫描出的点云数据进行预处理；所述预处理包括点云滤波处理、地面点云分割、点云聚类和目标特征提取；S2：获取视觉传感器的感知数据，将视觉传感器当前采集到的画面输入预先训练的YOLO v4深度学习算法；所述感知数据包括：多个视觉传感器分别采集的目标物体位置、目标物体速度以及目标物体尺寸；S3：利用激光雷达和视觉传感器分别进行目标检测，激光雷达得出目标在三维点云中的三维边界框，视觉传感器得出目标在图像中的二维边界框；S4：联合标定的相机外参，判断当前目标点云是否在视觉传感器的扫描范围内，如果不在视觉传感器的扫描范围内，直接返回当前视觉传感器的扫描范围外的三维点云信息；S5：将激光雷达检测到的三维点云投影到二维图像上，并求解激光雷达投影点云聚类后的最小外接矩形，获得二维投影的边界框；S6：将步骤S5计算出的投影边界框与步骤S3视觉传感器检测出的二维边界框进行IOU关联匹配，当重叠面积大于等于设定的阈值时，认为匹配成功，输出融合激光雷达的距离信息与视觉传感器的类别信息；当重叠面积小于设定的阈值，只输出视觉传感器检测到的信息。2.根据权利要求1所述的目标识别方法，其特征在于，步骤S1中，所述点云滤波处理是：采用PCL库的统计滤波器对点云进行滤波处理。3.根据权利要求1所述的目标识别方法，其特征在于，步骤S1中，所述地面点云分割是：采用基于模型拟合分割算法的随机采样一致性算法对地面点云进行分割。4.根据权利要求1所述的目标识别方法，其特征在于，步骤S1中，所述点云聚类是：采用基于KD树的DBSCAN算法对激光雷达点云进行聚类，具体包括以下步骤：1)遍历所有三维激光点，统计其邻域内的激光点数，判断是否...

【专利技术属性】
技术研发人员：唐伦，刘晋成，陈前斌，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：