一种三维目标检测方法及系统技术方案

本发明专利技术公开了一种三维目标检测方法及系统，属于目标检测技术领域，包括：获取待检测目标的原始点云和原始图像，并将原始点云转换成体素形态；利用多层感知机对原始点云进行特征提取，得到点云高维局部特征；利用三维主干网络对体素进行特征提取，得到体素特征图；根据原始图像和体素特征图，得到浅融合特征图；根据浅融合特征图和点云高维局部特征，得到待检测目标的包围框。本发明专利技术基于注意力机制的激光雷达点云和图像多模态融合进行三维目标检测，提高目标检测的准确率。

【技术实现步骤摘要】
一种三维目标检测方法及系统
本专利技术涉及目标检测
，特别涉及一种三维目标检测方法及系统。
技术介绍
在目标自动检测领域，已有方法大多采用单一光学传感器采集数据来进行，常见的有利用带有相机/摄像头等获取图像数据完成检测，这部分的研究由来已久，随着深度学习的快速发展，基于深度神经网络的方法取得了检测精度和实时性的双重飞跃，已经在多个领域获得重要应用。然而在机器人、无人驾驶等多种实际应用场景中，更关心的是物体的三维位置信息，因此需要发展三维目标检测方法。为此，研究人员利用激光雷达采集点云数据，获得目标精确三维信息，激光雷达具有不受外界光照影响以及精度高的优点，但是分辨率远远低于光学传感器获得的图像。将激光雷达与光学传感器融合起来进行三维目标检测，能够达到优势互补的效果，因此受到研究人员的关注。在三维目标检测方面，目前准确率高的检测方法都是基于两阶段的，例如VoxelNet、MV3D等，VoxelNet直接对点云进行处理，通过网格化，将各区域内的点云利用级联的VFE层进行特征提取，然后采用RPN构造两阶段网络进行目标检测；但是其本文档来自技高网...

【技术保护点】
1.一种三维目标检测方法，其特征在于，包括：/n获取待检测目标的原始点云和原始图像，并将原始点云转换成体素形态；/n利用多层感知机对原始点云进行特征提取，得到点云高维局部特征；/n利用三维主干网络对体素进行特征提取，得到体素特征图；/n根据原始图像和体素特征图，得到浅融合特征图；/n根据浅融合特征图和点云高维局部特征，得到待检测目标的包围框。/n

【技术特征摘要】
1.一种三维目标检测方法，其特征在于，包括：
获取待检测目标的原始点云和原始图像，并将原始点云转换成体素形态；
利用多层感知机对原始点云进行特征提取，得到点云高维局部特征；
利用三维主干网络对体素进行特征提取，得到体素特征图；
根据原始图像和体素特征图，得到浅融合特征图；
根据浅融合特征图和点云高维局部特征，得到待检测目标的包围框。


2.如权利要求1所述的三维目标检测方法，其特征在于，所述利用三维主干网络对体素进行特征提取，得到体素特征图，包括：
利用由三维卷积核构造的三维主干网络学习所述体素内部特征和局部特征，并逐层降低特征图的尺寸在高度维上为1，得到三维特征图；
将三维特征图的高度维去掉，将三维特征图转换为二维的体素特征图。


3.如权利要求1所述的三维目标检测方法，其特征在于，所述根据原始图像和体素特征图，得到浅融合特征图，包括：
利用VGG网络对所述原始图像进行特征提取，得到图像特征图；
将图像特征图与所述体素特征图按位进行拼接，得到所述浅融合特征图。


4.如权利要求1所述的三维目标检测方法，其特征在于，所述根据浅融合特征图和点云高维局部特征，得到待检测目标的包围框，包括：
将所述浅融合特征图输入至区域提议网络中进行处理，获得初始目标包围框；
利用初始目标包围框对所述点云高维局部特征和所述浅融合特征图进行裁剪，并输入到精细回归网络中，提取所述待检测目标的包围框。


5.如权利要求4所述的三维目标检测方法，其特征在于，所述将所述浅融合特征图输入至区域提议网络中进行处理，获得初始目标包围框，包括：
利用特征金字塔网络学习所述浅融合特征图的底层几何特征和高层语义特征；
对高层语义特征进行反卷积操作，使得高层语义特征与底层几何特征的尺寸相同；
将高层语义特征和底层几何特征分别输入到两个全连接网络中进行包围框的分类和回归，得到所述初始目标包围框。


6.如权利要求4所述的三维目标检测方法，其特征在于，所述利用初始目标包围框对所述点云高维局部特征和所述浅融合特征图进行裁剪，并输入到精细回归网络中，提取所述待检测目标的包围框，包括：
将所述初始目标包围框投影到鸟瞰图中，以对所述浅融合特征图进行切割，得到切割特征；
利用切割特征与初始目标包围框中点云对应的点云高维局部特征进行拼接，得到拼接后的特征...

【专利技术属性】
技术研发人员：赵楠翔，胡以华，李敏乐，钱其姝，董骁，骆盛，方佳节，雷武虎，魏硕，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43