【技术实现步骤摘要】
一种基于多传感器融合的自动驾驶车辆3D目标检测方法
本专利技术涉及深度学习和自动驾驶的
，尤其是指一种基于多传感器融合的自动驾驶车辆3D目标检测方法。
技术介绍
随着激光雷达、深度相机等3D设备的不断完善普及，使得在现实三维场景下的自动驾驶成为可能，也提高了自动驾驶系统对复杂场景中目标的识别及检测的要求，以达到安全性和便利性的需求。2D目标检测不能满足无人驾驶车辆感知环境的需要，而3D目标检测可以识别物体类别及在三维空间中的长宽高、旋转角等信息，将3D目标检测应用到无人驾驶车辆上，检测出场景中的目标，并通过估计实际位置，自动驾驶的车辆可以准确的预判和规划自己的行为和路径，避免碰撞和违规，能大大降低交通事故的发生以及实现城市交通的智能化。汽车自动驾驶系统由车辆定位模块的惯性测量系统定位车辆自身的位置，由车辆的感知模块采集周围环境的图像和三维点云并提取场景中的目标的类别、大小、位置和方向等信息，通过决策模块得到驾驶路径规划方案并通过执行模块执行方案。其中对周围环境的准确感知是自动驾驶技术中最大的难点，也是自动驾驶车...
【技术保护点】
1.一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：该方法是通过自动驾驶车辆上的IMU惯性测量仪、激光雷达和相机组之间的相对位置关系得到相机外参，通过相机外参和相机内参得到激光点云坐标系到相机坐标系的映射关系，计算各个层次的特征对应关系，并通过神经网络将激光点云数据和相机图像数据的信息进行融合来提取车辆周围的检测目标的类别和3D包围盒；其包括以下步骤：/n1)获取激光点云数据和相机图像数据；/n2)通过多层感知机MLP提取激光点云特征得到点云特征图，同时通过卷积神经网络CNN提取相机图像特征得到图像特征图；/n3)通过相机参数获取点云特征图上特征点对应的图像...
【技术特征摘要】
1.一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：该方法是通过自动驾驶车辆上的IMU惯性测量仪、激光雷达和相机组之间的相对位置关系得到相机外参，通过相机外参和相机内参得到激光点云坐标系到相机坐标系的映射关系，计算各个层次的特征对应关系，并通过神经网络将激光点云数据和相机图像数据的信息进行融合来提取车辆周围的检测目标的类别和3D包围盒；其包括以下步骤：
1)获取激光点云数据和相机图像数据；
2)通过多层感知机MLP提取激光点云特征得到点云特征图，同时通过卷积神经网络CNN提取相机图像特征得到图像特征图；
3)通过相机参数获取点云特征图上特征点对应的图像特征图区域，即图像块，并将点云特征图的特征点与它对应的图像块进行特征融合，得到融合特征图；
4)融合特征图通过神经网络决策层，得到检测目标中体积小的目标的类别和3D包围盒，即得到小目标的类别和3D包围盒；
5)通过多层感知机MLP对点云特征图提取特征得到中层点云特征图，同时通过卷积神经网络CNN对图像特征图提取特征得到中层图像特征图；
6)通过相机参数获取中层点云特征图上特征点对应的中层图像特征图区域，即图像块，并将中层点云特征图的特征点与它对应的图像块进行特征融合，得到融合特征图；
7)融合特征图通过神经网络决策层，得到检测目标中体积大的目标的类别和3D包围盒，即得到大目标的类别和3D包围盒。
2.根据权利要求1所述的一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：在步骤1)中，使用激光雷达采集激光点云数据，使用光学相机采集相机图像数据，通过截取相同时间戳获取对应帧的激光点云和相机图像。
3.根据权利要求1所述的一种基于多传感器融合的自动驾驶车辆3D目标检测方法，其特征在于：在步骤2)中，由于激光点云数据为非欧式结构数据，故使用多层感知机MLP提取激光点云数据的特征，具体操作是将激光点云划分到多个3D网格中，通过多层神经网络逐步扩大特征点的空间感受野，得到点云特征图；而相机图像数据为欧式结构数据，故使用卷积神经网络CNN提取相机图像数据的特征，具体操作是将相机图像归一化为固定大小，输入...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。