一种基于视觉深度学习和激光点云的数据融合方法、系统及介质技术方案

本发明专利技术涉及一种基于视觉深度学习和激光点云的数据融合方法、系统及介质，该方法包括F1：车辆行驶过程中，基于车载激光雷达获取目标点云数据并进行时间戳标定，基于车载相机获取目标图像数据并进行时间戳标定；F2：将目标点云数据和目标图像数据进行时间同步，输出同步目标点点云数据和同步目标图像数据；F3：提取图像检测框对应的视锥中所有点云数据并聚类，输出视锥内点云聚类结果。本发明专利技术不仅解决目前感知系统视觉与激光的后融合关联失效问题，而且该融合算法可解决自动驾驶车辆在不平整路面上行驶时，遇到诸如车辙印或不影响行车的路面凸起被聚类为障碍物，所引起的频繁急刹车问题，提升自动驾驶车辆的行车流畅度。提升自动驾驶车辆的行车流畅度。提升自动驾驶车辆的行车流畅度。

【技术实现步骤摘要】
一种基于视觉深度学习和激光点云的数据融合方法、系统及介质


[0001]本专利技术涉及多传感器数据融合
，尤其是涉及一种基于视觉深度学习和激光点云的数据融合方法、系统及介质。

技术介绍

[0002]激光雷达是一种用于精准获取物体三维位置的传感器，其在目标物位置和轮廓测量等方面所具有的极佳性能，但是由于其角分辨率较小，扫描到目标物上的点比较稀疏，导致其语义信息较弱；然而，视觉传感器能以高帧率、高分辨率获取周围复杂信息，且其对场景的语义信息理解能力较强。因此，激光雷达和图像传感器各有优劣。
[0003]针对当前自动驾驶车辆事故频发问题，为提升自动驾驶整车系统安全性，将不同传感器进行融合使用，优势互补、冗余融合，这样的融合感知方案也成为了自动驾驶的关键技术之一。
[0004]现有技术中，激光雷达与视觉的后融合技术，其中激光的3D位置属性比较精确，然而视觉估算的障碍物位置精度相对较低，而且位置跳变严重，使得二者在融合关联过程中容易出现误匹配，导致融合失效，不能有效利用二者的优势。

技术实现思路

[0005]鉴于以上现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉深度学习和激光点云的数据融合方法，其特征在于，包括以下步骤：F1：车辆行驶过程中，基于车载激光雷达获取目标点云数据并进行时间戳标定，基于车载相机获取目标图像数据并进行时间戳标定；F2：将目标点云数据和目标图像数据进行时间同步，输出同步目标点点云数据和同步目标图像数据；F3：将同步目标点点云数据投影到同步目标图像数据，提取图像检测框对应的视锥中所有点云数据并聚类，输出视锥内点云聚类结果；F4：基于同步目标图像数据，进行图像深度学习网络推理并采用ByteTrack的MOT算法，输出跟踪和滤波后的带有目标ID属性的图像2D检测框；F5：将所述视锥内点云聚类结果和所述图像2D检测框进行拟合匹配，输出融合后的目标位置、轮廓和类别。2.根据权利要求1所述的基于视觉深度学习和激光点云的数据融合方法，其特征在于，在步骤F3中，所述提取图像检测框对应的视锥中所有点云数据并聚类，包括以下步骤：F31：将提取图像检测框对应的视锥中所有点云数据进行地面拟合，删除地面点，输出视锥内剩余点云数据；F32：将所述视锥内剩余点云数据进行聚类，输出视锥内点云聚类结果。3.根据权利要求1所述的基于视觉深度学习和激光点云的数据融合方法，其特征在于，在步骤F4中，所述ByteTrack的MOT算法包括以下步骤：F41：基于同步目标图像数据，获取图像检测框的得分，将图像检测框的得分分为高分框和低分框；F42：将高分框与目标之前的跟踪轨迹进行匹配，再将低分框与没有匹配上高分框的跟踪轨迹进行匹配，对于没有匹配上跟踪轨迹且得分高的检测框，新建一个新的跟踪轨迹，输出匹配上的跟踪轨迹；F43：基于匹配上的跟踪轨迹和卡尔曼滤波，输出带有目标ID属性的图像2D检测框。4.根据权利要求3所述的基于视觉深...

【专利技术属性】
技术研发人员：占锐，吴云龙，刘洛川，崔雨心，刘文智，
申请(专利权)人：东风悦享科技有限公司，
类型：发明
国别省市：