一种基于时序建模的多模态3D目标检测方法技术

本发明专利技术公开了一种基于时序建模的多模态3D目标检测方法，属于3D目标检测领域和多模态融合领域，本发明专利技术包括以下步骤：（1）获取3D自动驾驶公开数据集—NuScenes作为训练样本数据；(2)将NuScenes数据集中的图像、点云数据预处理，同时输入到基于时序相机的多模态3D目标检测深度学习网络中，并于第一阶段提取RGB图像和激光雷达点云数据的有效信息；（3）对于相机分支，需要加入历史信息；（4）将图像和点云特征图转换到鸟瞰图视角；（5）将两种鸟瞰图进行融合，使用空间注意力机制，学习提取两者中相对重要的部分；（6）基于融合后的BEV特征图，使用通用的3D检测头进行目标检测。本发明专利技术为基于自动驾驶的3D目标检测提供了一种更有效、精准的方法，实现精准的3D目标检测。

【技术实现步骤摘要】

本专利技术属于3d目标检测领域和多模态融合领域，具体涉及一种基于时序建模的多模态3d目标检测方法。

技术介绍

1、随着人工智能、计算机视觉等技术的兴起，自动驾驶技术在近年来得到了飞速发展，不同级别（l1-l4）的自动驾驶技术已被逐步用于新能源汽车中。在自动驾驶技术中，最为核心的问题或技术之一便是目标检测，即对汽车不同传感器感知到的多种目标进行定位与识别，并将检测结果传输给“汽车大脑”，从而做出相应的决策、控制与规划等。可以说目标检测系统的性能直接决定了汽车自动驾驶系统是否安全可靠。自动驾驶汽车上的多种传感器可以提供周围环境的多模态信息，并且这些信息在一定程度上存在互补关系。因此，如何将多种传感器获取的多模态信息进行有效与高效的融合，是提升多模态目标检测系统性能的关键问题。

2、目前，已有一些方法可以将图像和激光雷达点云数据进行融合，有的是将点云投影到相机坐标系下，有的则是将图像转换为伪点云。相比这两者，更好的方式是将两者都转换到鸟瞰图（bev）视角下，这样可以较好地保留原始数据的语义信息和空间信息。然而，现有的方法仅对当前时刻的信息进行表示、分本文档来自技高网...

【技术保护点】

1.一种基于时序建模的多模态3D目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于时序建模的多模态3D目标检测方法，其特征在于， S1中使用的是NuScenes全集数据集或mini数据集。

3.根据权利要求1所述的基于时序建模的多模态3D目标检测方法，其特征在于，S2中所述的基于时序相机的多模态3D目标检测深度学习网络包括两个分支的特征提取模块、相机分支的时序融合模块、特征图视角转换模块、基于注意力机制的融合模块和通用的3D目标检测头。

4.根据权利要求1或3所述的基于时序建模的多模态3D目标检测方法，其特征在于，S2具体包括以下步...

【技术特征摘要】

1.一种基于时序建模的多模态3d目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于时序建模的多模态3d目标检测方法，其特征在于， s1中使用的是nuscenes全集数据集或mini数据集。

3.根据权利要求1所述的基于时序建模的多模态3d目标检测方法，其特征在于，s2中所述的基于时序相机的多模态3d目标检测深度学习网络包括两个分支的特征提取模块、相机分支的时序融合模块、特征图视角转换模块、基于注意力机制的融合模块和通用的3d目标检测头。

4.根据权利要求1或3所述的基于时序建模的多模态3d目标检测方法，其特征在于，s2具体包括以下步骤：

5.根据权利要求1所述的基于时序建模的多模态3d目标检测方法，其特征在于，s3具体包括以...

【专利技术属性】
技术研发人员：赵苗苗，秦杰，顾嘉宇，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：