利用异类传感器的协同作用进行自主驾驶的3D目标检测方法技术

一种在自主驾驶期间执行目标检测的方法，包括：在3D目标检测段中执行3D目标检测；将与该3D目标检测段进行通信的多个传感器的输出上传到多个点云中；将该多个点云的点云数据传输到区域候选网络(RPN)；在2D目标检测器中独立执行2D目标检测，在该3D目标检测段中并行执行该3D目标检测；以及获取给定的输入图像并同时学习2D目标检测网络中的框坐标和类标签概率，该2D目标检测网络操作为将目标检测视为回归问题进行处理。归问题进行处理。归问题进行处理。

【技术实现步骤摘要】
利用异类传感器的协同作用进行自主驾驶的3D目标检测方法


[0001]本公开涉及自主运行车辆在运行期间的目标检测。

技术介绍

[0002]自主驾驶中最关键的组成部分之一是3D目标检测。自主驾驶汽车需要准确地在3D空间中检测和定位其他车辆和行人以安全行驶。近来，2D目标检测技术取得了很大的进展。虽然2D检测算法已经很成熟，但3D目标的检测仍然面临着巨大的挑战。在当前的自主驾驶中，3D目标检测主要基于摄像头或3D传感器。最常用的3D传感器是激光成像探测和测距(Laser Imaging Detecting And Ranging，LIDAR)传感器，其生成3D点云来捕捉场景的3D结构。
[0003]基于图像的方法能够使用单目图像或立体图像。仅仅建立在2D目标检测上的方法施加附加几何约束来创建3D候选。由于缺乏深度信息，这些方法只能生成粗略的3D检测结果，并且会大大受到外观变化的影响。其他方法应用基于单目或立体的深度估计来获取每个像素的3D坐标。这些3D坐标作为附加输入通道输入到2D检测流水线中，或者用于提取手工制作的特征。
[0004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在自主驾驶期间执行目标检测的方法，包括：在3D目标检测段中执行3D目标检测；将与所述3D目标检测段通信的多个传感器的输出上传到多个点云；将所述多个点云的点云数据传输到区域候选网络(RPN)；在2D目标检测段中独立执行2D目标检测，并在所述3D目标检测段中并行执行所述3D目标检测；以及在2D目标检测网络中获取给定的输入图像并同时学习框坐标和类标签概率，所述2D目标检测网络操作为将目标检测视为回归问题进行处理。2.根据权利要求1所述的方法，还包括在所述3D目标检测段中操作多个激光成像探测和测距(LIDAR)传感器以生成所述多个传感器的输出，从而进一步生成3D点云以捕捉一组车辆可见场景中的3D结构。3.根据权利要求2所述的方法，还包括操作所述RPN以在3D点云分割构件中将所述多个点云的数据分配给点云中的各个点，并分配代表真实世界实体的标签。4.根据权利要求3所述的方法，还包括将所述RPN的产物传输到基于区域的卷积神经网络(RCNN)。5.根据权利要求4所述的方法，还包括：应用3D框估计器来生成一个或多个边界框(BB)；以及将所述3D框估计器的工作产物与所述2D目标检测器的2D目标输...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：