一种基于矿区场景的目标级多源传感器异步融合方法技术

本公开是关于一种基于矿区场景的目标级多源传感器异步融合方法、装置、电子设备以及存储介质。其中，该方法包括：以视觉、激光雷达、毫米波雷达三种传感器目标检测结果为数据来源，采用分步融合策略，首先根据传感器坐标关系实现视觉与激光雷达的目标融合，再与毫米波雷达检测到的目标信息进行融合，并利用目标ID信息实现前后帧数据匹配，最后采用无迹卡尔曼滤波技术对目标状态进行预测和更新，并与前一时刻的目标进行对比，识别新的目标。本发明专利技术能够融合多种传感系统的目标检测结果，得到更加全面、稳定的感知结果，有效提高了感知模块的鲁棒性。鲁棒性。鲁棒性。

【技术实现步骤摘要】
一种基于矿区场景的目标级多源传感器异步融合方法


[0001]本公开涉及无人驾驶领域，具体而言，涉及一种基于矿区场景的目标级多源传感器异步融合方法、装置、电子设备以及计算机可读存储介质。

技术介绍

[0002]随着自动驾驶技术在乘用车领域的迅速发展和成熟，其在民用领域的应用也获得了广泛的关注。特别地，在露天采矿业，主要以人工驾驶货运卡车运输为主，工作环境恶劣、危险，且运输成本较高，因此实现矿卡的无人驾驶，不仅能够改善矿区作业环境、降低生产成本，同时可有效提高生产效率，极大助益于智慧矿山的建设。
[0003]然而，实际矿区行驶环境复杂，道路颠簸，路面时常有坑洼，且扬尘较大，在实际行车过程中，感知模块需要准确稳定地输出车辆外围的道路状况信息，用于指导车辆作出相应的行为决策，保证车辆行驶安全，因此感知的准确性和稳定性至关重要。自动驾驶的感知传感器种类繁多，不同传感器的原理、功能、优势各不相同，仅依靠单一的传感器无法应对复杂的现实环境，因此传感器融合是当前最优解决方案，通过融合不同传感器的信息，使传感器之间实现优势互补，从而丰富感知信息，提高感知本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于矿区场景的目标级多源传感器异步融合方法，其特征在于，所述方法包括：基于矿区场景中车辆车载的单目视觉系统、激光雷达系统、毫米波雷达系统分别采集所述矿区场景的环境信息，生成单目视觉数据信息、激光雷达数据信息、毫米波雷达数据信息，并对所述单目视觉数据信息、激光雷达数据信息、毫米波雷达数据信息进行时间戳对齐处理；分别在所述单目视觉数据信息、激光雷达数据信息、毫米波雷达数据信息中进行目标检测，生成单目视觉目标信息、激光雷达目标信息、毫米波雷达目标信息；将所述激光雷达目标信息中的三维目标信息框投影生成二维像素框信息，将所述二维像素框信息与所述单目视觉目标信息的目标信息框匹配，若所述二维像素框信息与所述单目视觉目标信息的目标信息框的匹配度大于预设匹配度，则判定所述二维像素框信息对应的目标与所述单目视觉目标信息的目标信息框对应的目标为同一目标，完成单目视觉系统与激光雷达系统目标关联；将单目视觉系统与激光雷达系统目标关联后的目标、毫米波雷达目标信息中目标分别转换至车辆坐标系中，并在车辆坐标系中分别计算单目视觉系统与激光雷达系统目标关联后的目标与车辆的第一欧氏距离、毫米波雷达目标信息中目标与车辆的第二欧式距离，计算所述第一欧氏距离与所述第二欧式距离的距离差值，若所述距离差值小于预设阈值，则判定所述单目视觉系统与激光雷达系统目标与所述毫米波雷达目标信息中目标为同一目标，完成单目视觉系统、激光雷达系统、毫米波雷达系统目标关联。2.如权利要求1所述的方法，其特征在于，所述方法还包括：基于矿区场景中车辆车载的单目视觉系统采集所述矿区场景的环境信息，生成单目视觉数据信息，在所述单目视觉数据信息中基于Yolov5检测算法进行目标检测，生成单目视觉目标信息，所述单目视觉目标信息包括目标类别信息、目标信息框、置信度；基于矿区场景中车辆车载激光雷达系统采集所述矿区场景的环境信息，生成激光雷达数据信息，在所述激光雷达数据信息中基于栅格法的地面去除算法获得非地面点云数据，通过聚类算法对所述非地面点云数据进行聚类分割生成点云簇，基于所述点云簇进行目标检测，生成激光雷达目标信息，所述激光雷达目标信息包括三维目标信息框；基于矿区场景中车辆车载的毫米波雷达系统采集所述矿区场景的环境信息，生成毫米波雷达数据信息，对所述毫米波雷达数据信息进行滤波处理后在所述毫米波雷达数据信息中进行目标检测，生成毫米波雷达目标信息，所述毫米波雷达目标信息包括目标ID信息、目标位置信息、目标速度信息。3.如权利要求2所述的方法，其特征在于，所述方法还包括：将所述单目视觉系统、激光雷达系统进行联合标定，生成单目视觉系统、激光雷达系统坐标转换关系，并基于所述单目视觉系统、激光雷达系统坐标转换关系将所述激光雷达数据信息转换至单目视觉系统的坐标系中；通过张正友标定法，完成对单目视觉系统内参的标定，并基于单目视觉系统内参将转换至单目视觉系统的坐标系中的激光雷达目标信息投影生成二维像素框信息；将所述二维像素框信息与所述单目视觉目标信息的目标信息框匹配，若所述二维像素框信息与所述单目视觉目标信息的目标信息框的匹配度大于预设匹配度，则判定所述二维像素框信息对应的目标与所述单目视觉目标信息的目标信息框对应的目标为同一目标，完
成单目视觉系统与激光雷达系统目标关联。4.如权利要求3所述的方法，其特征在于，所述方法还包括：将所述激光雷达系统、毫米波雷达系统进行联合标定，生成激光雷达系统、毫米波雷达系统坐标转换关系，并基于所述激光雷达系统、毫米波雷达系统坐标转换关系将所述毫米波雷达数据信息转换至激光雷达系统的坐标系中；将单目视觉系统与激光雷达系统目标关联后的目标、毫米波雷达目标信息中目标分别转换至车辆坐标系中，并在车辆坐标系中分别计算单目视觉系统与激光雷达系统目标关...

【专利技术属性】
技术研发人员：陈璐，段岁军，刘栋，李威帅，代琪，赵小涵，
申请(专利权)人：北京机械设备研究所，
类型：发明
国别省市：