一种露天矿山的路端多源传感器融合目标感知方法和系统技术方案

本发明专利技术公开了一种露天矿山的路端多源传感器融合目标感知方法和系统，具体包括：进行数据采集，从传感器设备读取数据，对数据进行格式转换；对图像进行实例分割以及深度估计；对点云数据进行融合，对前景点云数据进行聚类处理，对点云簇构建三维检测框；进行异构信息融合，将融合检测结果与轨迹关联，对目标观测值进行最优估计，输出未来的运动轨迹。本发明专利技术对车路协同感知环境做了适配，通过多相机、多激光雷达感知结果的融合实现场景范围感知的全覆盖，并提升了感知算法在恶劣天气下的鲁棒性，通过结合高精度地图信息实现目标未来轨迹的精确预测，表现出功耗低、效果好、鲁棒性高的特点，很适合大规模商业落地与推广。很适合大规模商业落地与推广。很适合大规模商业落地与推广。

【技术实现步骤摘要】
一种露天矿山的路端多源传感器融合目标感知方法和系统


[0001]本专利技术涉及一种路端多源传感器融合目标感知方法和系统，尤其涉及一种露天矿山的路端多源传感器融合目标感知方法和系统。

技术介绍

[0002]随着深度学习技术的发展以及边缘硬件平台算力的提升，自动驾驶正在成为未来车辆出行的核心技术。现有的自动驾驶算法大多关注单车智能，即在车上部署多种传感器以及AI算法，完成车的智能化。单车智能在简单的道路环境能够取得很好的效果，但是没法很好的应对复杂交叉路口环境。在交叉路口环境中，存在各种类型的车辆以及行人的复杂交互，并且由于车上传感器安装位置低，视野容易被大型车辆、桥梁以及房屋等障碍物遮挡。这些问题导致单车智能系统在复杂路口环境中存在系统性的缺陷，为解决这种缺陷，路侧协同感知系统应运而生。
[0003]路侧智能单元是部署在路口，监控整个区域内动态目标的一套系统，该系统能够为区域内的智能驾驶车辆提供该区域目标的全局位姿、速度以及预测轨迹等信息，为车辆的安全行驶提供额外保障。现有的三维感知框架多数是适配车端的，鲜有针对路侧环境的感知框架。将车端的感知算法迁移到路侧端是困难的，主要有三方面：1. 车端传感器是一直运动的，采集的数据背景也是不断变化的，而路侧端是固定的，基于车端数据开发的算法流程不适用于路侧端； 2. 车端的视角与路侧端视角有很大不同，路侧视角的场景信息更为全面丰富，这也意味着路侧感知更容易受环境干扰，譬如扬尘、雨雪等恶劣环境，这为路侧感知算法带来了新的挑战；3. 车端能用的计算资源相比于路侧端较为丰富，路侧端需要效率更好、功耗更低的算法以保证实时性。因此，需要专门为路侧场景开发一套环境感知算法。
[0004]专利CN112990129A提出了一种基于视觉和激光雷达联合的三维物体检测方法。该方法首先获取当前点云帧和视频帧，然后对视频帧进行视觉检测，得到视觉检测结果，之后再对视觉检测结果进行深度判断，得到视觉近视深度；对于点云帧数据，该方法首先将其转化为稀疏深度图，然后根据视觉检测结果提取稀疏深度图中的候选深度框，之后根据候选深度框与视觉近似深度构建当前点云帧的候选点簇，最后再根据点簇构造三维物体检测结果。该方法利用图像检测结果来提取目标点云簇，并利用图像深度估计模型估计检测目标的深度，来进一步分割点云。这种三维物体检测方法性能受限于图像检测，且无法很好的处理图像目标遮挡的情况，另外，由于图像的视野范围有限，算法无法利用超出图像视野范围的点云信息。
[0005]专利CN113095172A提出了一种基于深度学习的点云三维物体检测方法，该方法首先通过分层体素编码模块提取点云场景中点稀疏、点密集区域中非空体素的特征表示，然后通过注意力模块融合体素特征以获得有效的体素特征表示；另外，该方法还通过高度信息补充模块引入点云的鸟瞰图以补充体素特征图的高度信息，并通过通道注意力模块提取掩模处理后的特征图中有用的信息以提高网络的几何结构感知能力。该方法构建了一特征
学习网络用于挖掘特征图中的高级语义信息，并在输出端增加了一个体素分割任务来判断非空体素是否属于目标物体。该方法提出的模型结构非常复杂，在工程部署上会有很多限制。另外，和所有基于深度学习的检测方法一样，该方法是数据驱动的，模型性能高度依赖于数据集，且网络泛化能力很差，换一个场景需要重新采集数据标注并训练，整个过程耗时耗材耗力，非常不利于落地。目前基于深度学习的方法还面临着可解释性的问题，对长尾情况的处理比较吃力。最后，基于网络的三维检测模型非常耗费计算资源，很难在边缘计算平台上达到实时检测的效果。
[0006]在轨迹预测领域，专利CN113763434A提出了一种基于卡尔曼滤波多运动模型切换的目标轨迹预测方法。该方法首先建立卡尔曼滤波多运动模型，然后采集目标一段时间内的运动信息（至少包括目标初始坐标、实时速度以及实时加速度），算法根据目标的运动信息获取目标的运动状态（至少包括减速直行、匀速直行、减速变道、匀速变道和加速变道等），然后根据运动状态的改变切换卡尔曼滤波运动模型，计算得到目标的预测轨迹。这种方法将目标的运动模型硬编码到不同的卡尔曼滤波器中，很难应对实际场景下行驶状态的复杂性。该方法也没有利用场景中道路先验信息，仅依赖卡尔曼滤波只能预测目标很短时间内的轨迹，而无法对目标长时间的运动趋势进行预测。

技术实现思路

[0007]本专利技术的目的在于提供一种露天矿山的路端多源传感器融合目标感知方法和系统，利用多源传感器融合技术实现了矿区精确可靠的三位目标检测以及跟踪，并能够结合目标跟踪结果和高精度地图信息预测目标未来的行驶轨迹信息，解决现有技术存在的缺陷。
[0008]本专利技术提供了下述方案：一种露天矿山的路端多源传感器融合目标感知方法，具体包括如下步骤：步骤一）数据采集：进行数据采集，从传感器设备读取数据，对数据进行格式转换；步骤二）图像多任务感知：对采集到的道路目标图像进行实例分割以及深度估计，得到实例分割结果和深度图；步骤三）点云目标检测：对点云数据进行多雷达融合，得到统一坐标的融合点云数据，然后通过背景滤波获得前景点云数据，通过聚类算法对前景点云数据进行聚类处理，对通过聚类处理得到的点云簇构建三维检测框，得到三维目标框；步骤四）异构信息融合：对图像实例分割、深度图、三维目标框进行异构信息融合，输出目标3D检测结果；步骤五）多目标跟踪：根据异构信息融合后的首帧结果建立轨迹，将融合检测结果与轨迹关联，对目标观测值进行最优估计；步骤六）轨迹预测：根据路侧区域的高精度地图信息，结合目标的追踪结果，输出未来的运动轨迹。
[0009]进一步的，在步骤一）中，对数据进行采集的同时进行时间同步，通过统一时钟源发送触发信号，触发不同的传感器采集数据，并给所有数据赋上触发时刻的时间戳，实现不同传感器数据的纳秒级时间同步。
[0010]进一步的，在步骤二）中，在路侧视角利用工业相机采集道路目标图像，对采集到
的道路目标图像进行实例分割以及深度估计，利用多任务深度学习网络，在具体应用场景的数据集上训练并实现实例分割和深度估计。
[0011]进一步的，在步骤三）中：将不同激光雷达传感器输出的局部坐标系下的点云帧转到统一的坐标系下，得到一帧完整视野范围的融合点云帧；接收融合点云帧数据并进行过滤操作，过滤操作包括下采样、非法点去除、离群点去除以及感兴趣区域过滤操作，输出处理后的点云数据；过滤点云帧中的背景点云，将检测范围划分为不同的体素，在线采集若干点云帧，统计每个体素的点云密度，制作背景表，根据当前点对应的体素在背景表中的点云密度值，设置阈值过滤背景点；利用DBSCAN算法完成对前景点云的聚类，将同一目标的点云聚为一类；利用OBB方向包围框算法构建每一个点云簇的三维检测框。
[0012]进一步的，在步骤四）中，将图像实例分割、深度估计、多雷达点云融合数据进行融合，输出目标3D检测结果，3D检测结果包括语义类别尺寸及3D位姿信息；在步骤五）中，根据异构信息融合后的首帧结果建立轨迹，当下一帧融合结果到来时，利用匈牙利二分图匹配算法将融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种露天矿山的路端多源传感器融合目标感知方法，其特征在于，具体包括如下步骤：步骤一）数据采集：进行数据采集，从传感器设备读取数据，对数据进行格式转换；步骤二）图像多任务感知：对采集到的道路目标图像进行实例分割以及深度估计，得到实例分割结果和深度图；步骤三）点云目标检测：对点云数据进行多雷达融合，得到统一坐标的融合点云数据，然后通过背景滤波获得前景点云数据，通过聚类算法对前景点云数据进行聚类处理，对通过聚类处理得到的点云簇构建三维检测框，得到三维目标框；步骤四）异构信息融合：对图像实例分割、深度图、三维目标框进行异构信息融合，输出目标3D检测结果；步骤五）多目标跟踪：根据异构信息融合后的首帧结果建立轨迹，将融合检测结果与轨迹关联，对目标观测值进行最优估计；步骤六）轨迹预测：根据路侧区域的高精度地图信息，结合目标的追踪结果，输出未来的运动轨迹。2.根据权利要求1所述的露天矿山的路端多源传感器融合目标感知方法，其特征在于，在步骤一）中，对数据进行采集的同时进行时间同步，通过统一时钟源发送触发信号，触发不同的传感器采集数据，并给所有数据赋上触发时刻的时间戳，实现不同传感器数据的纳秒级时间同步。3.根据权利要求1所述的露天矿山的路端多源传感器融合目标感知方法，其特征在于，在步骤二）中，在路侧视角利用工业相机采集道路目标图像，对采集到的道路目标图像进行实例分割以及深度估计，利用多任务深度学习网络，在具体应用场景的数据集上训练并实现实例分割和深度估计。4.根据权利要求1所述的露天矿山的路端多源传感器融合目标感知方法，其特征在于，在步骤三）中：将不同激光雷达传感器输出的局部坐标系下的点云帧转到统一的坐标系下，得到一帧完整视野范围的融合点云帧；接收融合点云帧数据并进行过滤操作，过滤操作包括下采样、非法点去除、离群点去除以及感兴趣区域过滤操作，输出处理后的点云数据；过滤点云帧中的背景点云，将检测范围划分为不同的体素，在线采集若干点云帧，统计每个体素的点云密度，制作背景表，根据当前点对应的体素在背景表中的点云密度值，设置阈值过滤背景点；利用DBSCAN算法完成对前景点云的聚类，将同一目标的点云聚为一类；利用OBB方向包围框算法构建每一个点云簇的三维检测框。5.根据权利要求1所述的露天矿山的路端多源传感器融合目标感知方法，其特征在于：在步骤四）中，将图像实例分割、深度估计、多雷达点云融合数据进行融合，输出目标3D检测结果，3D检测结果包括语义类别尺寸及3D位姿信息；在步骤五）中，根据异构信息融合后的首帧结果建立轨迹，当下一帧融合结果到来时，利用匈牙利二分图匹配算法将融合检测结果与轨迹关联，使用卡尔曼滤波技术，对目标观测值进行最优估计。
6.根据权利要求1所述的露天矿山的路端多源传感器融合目标感知方法，其特征在于，在步骤六）中，根据目标的追踪结果以及高精度...

【专利技术属性】
技术研发人员：郭叙森，李静，蔡杰，周彤，王俊晓，朱亚琛，袁胜，张睿，
申请(专利权)人：中科慧拓陕西科技有限公司，
类型：发明
国别省市：