一种融合感知方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种融合感知方法、装置、设备及存储介质，由于采用了雷达和相机相结合的方式，无论是在室内、室外；还是在白天、晚上，数据采集的效果都会优于单一采集设备采集效果，因此，可以保证后续的任务能够正常进行。将5种3D检测算法通过Concat将其Head层进行拼接，再利用非极大值抑制(NMS)对所有目标进行筛选，挑选出精度最高的目标，作为检测算法的最终输出。由于SLAM在建图过程中引入颜色信息，所以在构建完成的地图上，所有的物体都会被赋予颜色；另外，由于目标检测任务的存在，通过不断给检测到的目标修正在SLAM地图中的位置，因此，最终构建完成的地图上会将所有检测的目标进行显示，从而在视觉上提高整体感知效果。

【技术实现步骤摘要】

本专利技术涉及计算机视觉，特别是涉及一种基于多模态的高精度目标检测与slam的融合感知方法、装置、设备及存储介质。

技术介绍

1、随着计算机视觉和人工智能的发展，通过单一数据源来表征物体所暴露出来的问题越来越多，而多模态的提出彻底解决了这些问题。如夜晚情况下，相机无法获取物体的形状，因此，可以借助雷达来获取物体的大致形状，在利用多模态获取物体数据之后，就可以根据不同的需求，完成不同的任务。

2、在人工智能中，常见的任务包括目标检测、语义分割、slam、分类等，目标检测可以完成对于不同类别物体的判定，slam技术可以完成对于未知区域地图的构建，因此将目标检测和slam技术相融合，可以极大的提高对于未知区域的感知能力。这种
技术介绍
主要是由于计算机视觉和人工智能的快速发展，使得人们对于未知区域探索的需求更加强烈。

3、专利“一种融合目标检测和跟踪的激光slam定位方法及设备(申请号：cn202310025986.7)”。在该方案中采用的是激光雷达作为数据采集设备，通过数据预处理模块、动目标去除模块、位姿求解模块、全局图优化模块一系列来完成本文档来自技高网...

【技术保护点】

1.一种融合感知方法，其特征在于，包括：

2.根据权利要求1所述的融合感知方法，其特征在于，所述数据采集模块包括深度相机、灰度相机、激光雷达和彩色相机。

3.根据权利要求1所述的融合感知方法，其特征在于，利用非极大值抑制对所有所述计算结果进行筛选，挑选出精度最高的计算结果作为所述多模态目标检测模块最终输出的所述目标检测结果。

4.根据权利要求1所述的融合感知方法，其特征在于，所述雷达惯性里程计用于执行以下操作：

5.根据权利要求4所述的融合感知方法，其特征在于，使用IMU反向传播来补偿帧内运动，计算每个原始点的残差；p>

6.根据权...

【技术特征摘要】

1.一种融合感知方法，其特征在于，包括：

2.根据权利要求1所述的融合感知方法，其特征在于，所述数据采集模块包括深度相机、灰度相机、激光雷达和彩色相机。

3.根据权利要求1所述的融合感知方法，其特征在于，利用非极大值抑制对所有所述计算结果进行筛选，挑选出精度最高的计算结果作为所述多模态目标检测模块最终输出的所述目标检测结果。

4.根据权利要求1所述的融合感知方法，其特征在于，所述雷达惯性里程计用于执行以下操作：

5.根据权利要求4所述的融合感知方法，其特征在于，使用imu反向传播来补偿帧内运动，计算每个原始点的残差；

...

【专利技术属性】
技术研发人员：蔡强，郝云刚，李亚南，向学辅，程江川，宋登攀，王志勇，范文丽，
申请(专利权)人：中国兵器装备集团自动化研究所有限公司，
类型：发明
国别省市：