【技术实现步骤摘要】
本专利技术涉及目标检测，具体的说，是涉及一种三维目标检测方法、系统、存储介质及设备。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、对智能驾驶车辆来说，获取周围目标的三维（3d）位置大小信息非常重要。智能驾驶车辆会搭载多种传感器来进行周围动态目标的三维空间位置感知，目前主流的方案是采用相机和激光雷达这两种传感器来进行3d目标的检测，其中基于激光雷达的3d目标检测是目前的主流，而基于单相机或者多相机的3d目标检测也在快速发展，但是精度目前还比不上激光雷达。对于单传感器的目标检测会存在一系列的问题，比如相机缺乏深度信息，而激光雷达缺乏稠密的信息，尤其在较远的距离，激光点云会变得非常稀疏，但是对于相机来说远处的目标依然有着丰富的信息，因此如何将图像和激光点云融合到一起来进行3d目标检测就非常重要。
3、多传感器融合算法可以克服单模态传感器数据的缺陷，但是如何融合两种不同模态的数据是一个较难解决的问题，早期的融合网络在精度上难以超过基于激光雷达的检测算法，最近的一些研究中仔细分析了点云和图像的特性，精度上开始普遍超过基于激光雷达的算法，但是算法的推理速度仍然有很大的提升空间。基于图像和点云的多传感器融合算法大致可以分为两种：前融合和后融合。前融合算法通过神经网络来学习图像和点云的不同层次的语义特征，该方法可以很好的利用图像和点云原始的数据特征，但是存在的主要问题在于图像和点云属于两种模态差异较大的数据，在早期融合这两种模态的数据和特征需要找到一种合适的表征方式来统
4、此外，在相机和激光雷达的融合3d检测方法中，由于激光雷达有着十分精确的3d信息，所以一般在融合算法框架中处于主导地位，而图像信息一般作为辅助信息来辅助激光雷达进行3d检测。此外，无论在点云检测还是图像领域，都存在着分类和box（检测框）回归不一致问题，有着高置信度的box在大小和位置的预测上其实不一定更准，此时如果通过nms(非极大值抑制，non-maximum suppression)来对预测的box进行处理的话，会有一些预测的较准的但是置信度较低的框会被抑制掉，而且这种情况在较远距离尤为严重，因为点云稀疏或者存在遮挡。
技术实现思路
1、本专利技术为了解决上述问题，本专利技术提供一种三维目标检测方法、系统、存储介质及设备，利用了已有的成熟2d检测来辅助点云进行3d目标检测，以极小的时间损耗显著提升了点云3d检测的精度，且通过多层卷积和反卷积来补全不匹配的2d检测框的3d空间位置信息，减少了后融合3d检测算法的漏检问题。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、本专利技术的第一个方面提供一种三维目标检测方法，其包括：
4、获取待检测目标的图像和点云数据；
5、对所述图像进行检测，得到二维检测框，同时对所述点云数据进行检测，得到若干三维检测框；
6、将三维检测框投影到图像平面上，得到点云检测框，计算所述点云检测框和所述二维检测框的交并比后，基于交并比，更新点云检测框的置信度，并基于更新后的点云检测框的置信度，对三维检测框进行过滤，得到第一三维检测结果；
7、选取所述交并比未达到阈值的二维检测框对应的点云数据，通过多层卷积和反卷积，得到第二三维检测结果；
8、将第一三维检测结果和第二三维检测结果进行融合，得到最终检测结果。
9、进一步地，所述二维检测框为经过非极大值抑制后的检测框。
10、进一步地，所述更新后的点云检测框的置信度为：，其中，为三维检测框的置信度，为所述点云检测框和所述二维检测框的交并比，为权重。
11、进一步地，所述第一三维检测结果中每个三维检测框的置信度为：，其中，为二维检测框的分数，为所述更新后的点云检测框的置信度，为权重。
12、进一步地，采用非极大值抑制对三维检测框进行过滤。
13、进一步地，采用区域卷积神经网络或单阶段目标检测卷积神经网络，对所述图像进行检测。
14、进一步地，采用用于从点云检测物体的快速编码器、稀疏嵌入卷积检测算法或用于三维对象检测的点体素特征集提取算法，对所述点云数据进行检测。
15、本专利技术的第二个方面提供一种三维目标检测系统，其包括：
16、数据获取模块，其被配置为：获取待检测目标的图像和点云数据；
17、第一检测模块，其被配置为：对所述图像进行检测，得到二维检测框，同时对所述点云数据进行检测，得到若干三维检测框；
18、过滤模块，其被配置为：将三维检测框投影到图像平面上，得到点云检测框，计算所述点云检测框和所述二维检测框的交并比后，基于交并比，更新点云检测框的置信度，并基于更新后的点云检测框的置信度，对三维检测框进行过滤，得到第一三维检测结果；
19、第二检测模块，其被配置为：选取所述交并比未达到阈值的二维检测框对应的点云数据，通过多层卷积和反卷积，得到第二三维检测结果；
20、融合模块，其被配置为：将第一三维检测结果和第二三维检测结果进行融合，得到最终检测结果。
21、本专利技术的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，该程序被处理器执行时实现如上述所述的一种三维目标检测方法中的步骤。
22、本专利技术的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种三维目标检测方法中的步骤。
23、与现有技术相比，本专利技术的有益效果为：
24、本专利技术提供了一种三维目标检测方法，其从激光雷达和图像后融合的角度切入，利用了已有的成熟2d检测来辅助点云进行3d目标检测，以极小的时间损耗显著提升了点云3d检测的精度。
25、本专利技术提供了一种三维目标检测方法，其针对后融合算法存在的不匹配的2d检测框，缺乏3d空间位置信息的问题，提出了通过多层卷积和反卷积来补全深度信息，减少了后融合3d检测算法的漏检问题。
本文档来自技高网...【技术保护点】
1.一种三维目标检测方法，其特征在于，包括：
2.如权利要求1所述的一种三维目标检测方法，其特征在于，所述二维检测框为经过非极大值抑制后的检测框。
3.如权利要求1所述的一种三维目标检测方法，其特征在于，所述更新后的点云检测框的置信度为：，其中，为三维检测框的置信度，为所述点云检测框和所述二维检测框的交并比，为权重。
4.如权利要求1所述的一种三维目标检测方法，其特征在于，所述第一三维检测结果中每个三维检测框的置信度为：，其中，为二维检测框的分数，为所述更新后的点云检测框的置信度，为权重。
5.如权利要求1所述的一种三维目标检测方法，其特征在于，采用非极大值抑制对三维检测框进行过滤。
6.如权利要求1所述的一种三维目标检测方法，其特征在于，采用区域卷积神经网络或单阶段目标检测卷积神经网络，对所述图像进行检测。
7.如权利要求1所述的一种三维目标检测方法，其特征在于，采用用于从点云检测物体的快速编码器、稀疏嵌入卷积检测算法或用于三维对象检测的点体素特征集提取算法，对所述点云数据进行检测。
8.一种三
9.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的一种三维目标检测方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种三维目标检测方法中的步骤。
...【技术特征摘要】
1.一种三维目标检测方法，其特征在于，包括：
2.如权利要求1所述的一种三维目标检测方法，其特征在于，所述二维检测框为经过非极大值抑制后的检测框。
3.如权利要求1所述的一种三维目标检测方法，其特征在于，所述更新后的点云检测框的置信度为：，其中，为三维检测框的置信度，为所述点云检测框和所述二维检测框的交并比，为权重。
4.如权利要求1所述的一种三维目标检测方法，其特征在于，所述第一三维检测结果中每个三维检测框的置信度为：，其中，为二维检测框的分数，为所述更新后的点云检测框的置信度，为权重。
5.如权利要求1所述的一种三维目标检测方法，其特征在于，采用非极大值抑制对三维检测框进行过滤。
6.如权利要求1所述的一种三维目标检测方法，其特征在于...
【专利技术属性】
技术研发人员：陈雪梅，任鹏飞，薛杨武，肖龙，沈晓旭，赵小萱，
申请(专利权)人：北京理工大学前沿技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。