车辆检测方法、装置及电子设备制造方法及图纸

本申请提供了一种车辆检测方法、装置及电子设备，方法包括：获取待检测车辆的点云数据；将点云数据输入预设车辆检测模型；通过点云柱划分单元构建多个点云柱；通过点云柱特征提取单元得到点云特征；通过点云柱分类单元将点云特征进行分类；通过点云柱索引剔除单元得到新点云柱索引；通过伪图片构建单元生成目标车辆对应的伪图片特征图；通过主干特征提取模块得到目标车辆对应的深层特征图；通过目标检测模块输出目标车辆对应的目标检测框。该方法在3D目标检测算法PointPillars的基础上，增加去除拖尾点云的模块，能够使该模型在雨天正常工作，该方法计算量较小，在去除拖尾点云的同时，又不会大幅增加算法的推理时长和处理时间。又不会大幅增加算法的推理时长和处理时间。又不会大幅增加算法的推理时长和处理时间。

【技术实现步骤摘要】
车辆检测方法、装置及电子设备


[0001]本申请涉及智能驾驶
，尤其是涉及一种车辆检测方法、装置及电子设备。

技术介绍

[0002]目前，3D目标检测算法在自动驾驶感知中应用广泛。按照使用的传感器来分，3D目标检测方法可以分为基于激光点云的方法，基于单目图像的方法，基于双目图像的方法，以及基于多类型传感器(激光雷达和摄像头)融合的方法。相较从摄像头得到的图像数据，通过激光雷达获取的点云数据具有多方面的优势：通过图像数据无法获知摄像头到障碍物之间的距离，而激光点云中记录着周围环境的三维信息；多摄像头数据拼接困难，多激光点云数据通过标定的旋转平移参数可快速实现点云拼接。
[0003]实际应用中，基于激光点云的3D目标检测算法在准确率上也远高于基于图像的方法。近几年，深度学习技术得到了较快发展，越来越多地应用到计算机视觉等领域，作为计算机视觉的重要分之，深度学习在3D目标检测算法也得到了大规模应用。PointPillars是一种基于激光点云的3D目标检测算法。它首先把点云映射到鸟瞰图平面上均匀划分的小格(Pillar)中，然后通过Pointnet提取每个小格(Pillar)内点云的特征，形成浅层特征图。浅层特征图输入到多层2D卷积构成的主干网络后得到深层特征图。深层特征图后接SSD Detection Head，最后经过非极大值抑制算法后，输出3D检测框。此方法的优点是，检测速度快，准确率高。在工程实际中得到广泛应用。著名的自动驾驶开源软件百度apollo激光雷达感知部分默认感知算法就是PointPillars。
[0004]然而，激光雷达点云在雨天环境下会出现以下现象：一种情况下，激光雷达点云打在无积水的路面与有积水的路面呈现出完全不同的现象，通过对比路面无积水的点云画面与路面有积水的点云画面可以发现，由于地面雨水的反射作用，雨天地面点云缺失，这种地面点缺失的情况，对基于深度学习的3D目标检测算法(比如PointPillars)来说，不是致命的，只要使用这种雨天数据做标注，重新训练模型即可。另一种情况中，地面上存在大量积水，当车辆通过时卷起的水雾对激光点云影响较大。地面无积水时，从车辆目标在激光雷达点云中的画面中可以看出，目标车体轮廓饱满，非常容易辨认。当路面上存在大量积水时，车轮卷起水雾，从车辆目标在激光雷达点云中的画面可知，点云打在卷起的水雾上形成拖尾点云，拖尾点云对深度学习算法影响比较大，即便采集此类数据重新进行标注，并训练模型，还是会出现误检的情况。误检的原因是，车轮卷起的水雾形态各样，部分水雾形态很像车体，因此算法把此类水汽误检为车辆。为了防止雨天3D目标检测算法误检发生，有必要先把拖尾点云去除后再送入3D目标检测算法。然而这样做增加了去除拖尾点云的操作，会造计算量增加，拖慢算法处理速度。

技术实现思路

[0005]本申请的目的在于提供一种车辆检测方法、装置及电子设备，能够在常用的基于激光雷达点云的3D目标检测算法PointPillars的基础上，通过增加去除拖尾点云的模块，
使PointPillars可以在雨天正常工作，该方法计算量较小，在去除拖尾点云的同时，又不会大幅增加算法的推理时长和处理时间。
[0006]第一方面，本申请实施例提供一种车辆检测方法，该方法包括：获取待检测车辆的点云数据；将点云数据输入预设车辆检测模型；预设车辆检测模型包括依次连接的点云柱特征提取模块、主干特征提取模块和目标检测模块；点云柱特征提取模块包括依次连接的点云柱划分单元、点云柱特征提取单元、点云柱分类单元、点云柱索引剔除单元和伪图片构建单元；点云柱特征提取单元还与伪图片构建单元连接；预设车辆检测模型为基于车辆拖尾点云数集训练得到；通过点云柱划分单元，将处于鸟瞰图下的点云数据划分多个点云网格，并构建为多个点云柱；多个点云柱对应有初始点云柱索引；初始点云柱索引用于表征非空点云柱在鸟瞰图中的位置；通过点云柱特征提取单元，对多个点云柱提取特征，得到每个点云柱对应的点云特征；通过点云柱分类单元将每个点云柱对应的点云特征进行分类，得到每个点云柱对应的分类结果；分类结果用于表征该点云柱是否为拖尾点云；通过点云柱索引剔除单元根据每个点云柱对应的分类结果，对初始点云柱索引进行索引剔除，得到新点云柱索引；通过伪图片构建单元根据每个点云柱对应的初始特征和新点云柱索引，生成目标车辆对应的伪图片特征图；通过主干特征提取模块对伪图片特征图进行特征提取，得到目标车辆对应的深层特征图；通过目标检测模块对深层特征图进行目标检测，输出目标车辆对应的目标检测框。
[0007]在可选的实施方式中，上述点云柱分类单元包括三层一维卷积网络；通过点云柱分类单元将每个点云柱对应的点云特征进行分类，得到每个点云柱对应的分类结果的步骤，包括：通过三层一维卷积网络对每个点云柱对应的点云特征进行预测，得到标注有每个点云柱对应预测值的点云柱索引蒙板；点云柱索引蒙板上包括多个与点云柱一一对应的小格；当小格上标注的预测值为第一标识时，表征该小格对应的点云柱为非拖尾点云；当该小格上标注的预测值为第二标识时，表征该小格对应的点云柱为拖尾点云；第一标识和第二标识不同。
[0008]在可选的实施方式中，上述通过点云柱索引剔除单元根据每个点云柱对应的分类结果，对初始点云柱索引进行索引剔除，得到新点云柱索引的步骤，包括：通过点云柱索引剔除单元从点云柱索引蒙板中查找标注的预测值为第二标识的目标小格，将目标小格对应的点云柱确定为目标点云柱；从初始点云柱索引中查找目标点云柱对应的目标索引；将目标索引进行剔除，得到新点云柱索引。
[0009]在可选的实施方式中，上述预设车辆检测模型的训练过程如下：获取车辆拖尾点云样本集；数据集中的样本包括标注有车辆检测框和点云柱标签的车辆点云数据；点云柱标签用于表征该点云柱是否为拖尾点云；将车辆拖尾点云样本集中的样本输入初始车辆检测模型进行训练，得到预设车辆检测模型。
[0010]在可选的实施方式中，上述训练过程中用到的将车辆拖尾点云样本集中的样本输入初始车辆检测模型进行训练，得到车辆检测模型的步骤，包括：基于车辆拖尾点云样本集，确定每轮训练对应的训练样本子集，对于每轮训练均执行以下操作：将当前训练样本子集中的样本输入初始车辆检测模型，得到每个样本的预测结果；预测结果包括：点云柱单元输出的每个点云柱对应的预测标签和目标检测模块输出的预测检测框；根据当前训练样本子集中的每个样本中每个点云柱对应的预设标签和真实标签，计算本轮训练的点云柱分类
损失函数值；根据当前训练样本子集中的每个样本对应的预测检测框和真实检测框，计算本轮训练的3D目标检测损失函数值；基于本轮训练的点云柱分类损失函数值和3D目标检测损失函数值确定本轮训练的总损失值，并根据本轮训练的总损失值对初始车辆检测模型进行反向梯度传播训练，直到训练轮次达到预设次数或者总损失值收敛至预设收敛阈值时停止训练，得到预设车辆检测模型。
[0011]在可选的实施方式中，上述基于本轮训练的点云柱分类损失函数值和3D目标检测损失函数值确定本轮训练的总损失值的步骤，包括：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆检测方法，其特征在于，所述方法包括：获取待检测车辆的点云数据；将所述点云数据输入预设车辆检测模型；所述预设车辆检测模型包括依次连接的点云柱特征提取模块、主干特征提取模块和目标检测模块；所述点云柱特征提取模块包括依次连接的点云柱划分单元、点云柱特征提取单元、点云柱分类单元、点云柱索引剔除单元和伪图片构建单元；所述点云柱特征提取单元还与所述伪图片构建单元连接；所述预设车辆检测模型为基于车辆拖尾点云数集训练得到；通过所述点云柱划分单元，将处于鸟瞰图下的所述点云数据划分多个点云网格，并构建为多个点云柱；多个所述点云柱对应有初始点云柱索引；所述初始点云柱索引用于表征非空点云柱在所述鸟瞰图中的位置；通过所述点云柱特征提取单元，对多个所述点云柱提取特征，得到每个所述点云柱对应的点云特征；通过所述点云柱分类单元将每个所述点云柱对应的点云特征进行分类，得到每个点云柱对应的分类结果；所述分类结果用于表征该点云柱是否为拖尾点云；通过所述点云柱索引剔除单元根据每个点云柱对应的分类结果，对所述初始点云柱索引进行索引剔除，得到新点云柱索引；通过所述伪图片构建单元根据每个点云柱对应的初始特征和所述新点云柱索引，生成所述目标车辆对应的伪图片特征图；通过所述主干特征提取模块对所述伪图片特征图进行特征提取，得到所述目标车辆对应的深层特征图；通过所述目标检测模块对所述深层特征图进行目标检测，输出所述目标车辆对应的目标检测框。2.根据权利要求1所述的方法，其特征在于，所述点云柱分类单元包括三层一维卷积网络；通过所述点云柱分类单元将每个所述点云柱对应的点云特征进行分类，得到每个点云柱对应的分类结果的步骤，包括：通过所述三层一维卷积网络对每个所述点云柱对应的点云特征进行预测，得到标注有每个点云柱对应预测值的点云柱索引蒙板；所述点云柱索引蒙板上包括多个与点云柱一一对应的小格；当小格上标注的预测值为第一标识时，表征该小格对应的点云柱为非拖尾点云；当该小格上标注的预测值为第二标识时，表征该小格对应的点云柱为拖尾点云；所述第一标识和所述第二标识不同。3.根据权利要求1所述的方法，其特征在于，通过所述点云柱索引剔除单元根据每个点云柱对应的分类结果，对所述初始点云柱索引进行索引剔除，得到新点云柱索引的步骤，包括：通过所述点云柱索引剔除单元从所述点云柱索引蒙板中查找标注的预测值为第二标识的目标小格，将所述目标小格对应的点云柱确定为目标点云柱；从所述初始点云柱索引中查找所述目标点云柱对应的目标索引；将所述目标索引进行剔除，得到新点云柱索引。4.根据权利要求1所述的方法，其特征在于，所述预设车辆检测模型的训练过程如下：获取车辆拖尾点云样本集；所述数据集中的样本包括标注有车辆检测框和点云柱标签
的车辆点云数据；所述点云柱标签用于表征该点云柱是否为拖尾点云；将所述车辆拖尾点云样本集中的样本输入初始车辆检测模型进行训练，得到所述预设车辆检测模型。5.根据权利要求4所述的方法，其特征在于，所述训练过程中用到的将所述车辆拖尾点云样本集中的样本输入初始车辆检测模型进行训练，得到所述车辆检测模型的步骤，包括：基于所述车辆拖尾点云样本集，确定每轮训练对应的训练样本子集，对于每轮训练均执行以下操作：将当前训练样本子集中的样本输入所述初始车辆检测模型，得到每个所述样本的预测结果；所述预测结果包括：所述点云柱单元输出的每个点云柱对应的预测标签和所述目...

【专利技术属性】
技术研发人员：郭义波，韩志华，郭立群，
申请(专利权)人：苏州挚途科技有限公司，
类型：发明
国别省市：