基于激光雷达的3D车辆检测方法、装置及存储介质制造方法及图纸

本发明专利技术涉及一种基于激光雷达的3D车辆检测方法、装置及存储介质，基于激光雷达，采集自动驾驶车辆周围环境的3D数据；针对所述3D数据，对每帧3D数据中的目标车辆进行人工标注；针对人工标注后的3D数据，利用卷积和池化操作对3D数据的Z轴数据进行编码，将所述人工标注后的3D数据压缩成2D俯视图；针对所述压缩后的2D俯视图，利用图像检测网络进行训练，获得基于激光雷达的3D车辆检测模型。本发明专利技术直接通过3D激光雷达获取3D数据进行检测，省去现有检测方法的2D图像标定、投影步骤，有效减少检测步骤，进而提高检测效率。

3D vehicle detection method, device and storage medium based on lidar

【技术实现步骤摘要】
基于激光雷达的3D车辆检测方法、装置及存储介质
本专利技术涉及一种基于激光雷达的3D车辆检测方法、装置及存储介质。
技术介绍
自动驾驶卡车行驶的过程中需要感知周围环境,周围车辆的信息尤其重要，需要及时知道周围车辆的信息，检测出来，进行车辆的跟踪和预测，才能保证自动驾驶的正常运行。进行车辆检测时，传统的方法是依赖于2D图像信息，在2D图像上进行车辆的检测，再利用相关标定方法，将2D图像检测的结构投影到3D激光雷达上，再利用3D激光雷达数据进行分析，得到车辆的3D信息。车辆的3D信息包括车辆的3D位置，车辆大小和车辆的朝向。由此可以看出，现有获得车辆3D信息的方法流程较多，步骤繁琐，计算量相对较大。
技术实现思路
本专利技术的专利技术目的在于提供一种基于激光雷达的3D车辆检测方法及系统，有效减少检测步骤，进而提高检测效率。基于同一专利技术构思，本专利技术具有三个独立的技术方案：1、一种基于激光雷达的3D车辆检测方法，其特征在于，包括如下步骤：步骤1：基于激光雷达，采集自动驾驶车辆周围环境的3D数据；步骤2：针对所述3D数据，对每帧3D数据中的目标车辆进行人工标注；步骤3：针对人工标注后的3D数据，利用卷积和池化操作对3D数据的Z轴数据进行编码，将所述人工标注后的3D数据压缩成2D俯视图；步骤4：针对所述压缩后的2D俯视图，利用图像检测网络进行训练，获得基于激光雷达的3D车辆检测模型。进一步地，步骤2中，先利用多帧3D数据根据已知的位置进行融合后，再进行人工标注；人工标注后，再重新投影回单帧3D数据。进一步地，步骤4中，所述图像检测网络采用CenterNet或Faster-RCNN。进一步地，包括步骤5，利用人工标注数据，对3D车辆检测模型进行效果评估。进一步地，步骤5中，当评估效果达不到要求时，增加自动驾驶车辆周围环境的3D数据采集量，重复步骤1至步骤4，直至3D车辆检测模型的检测效果达到要求。2、一种基于激光雷达的3D车辆检测装置，其特征在于，包括：激光雷达，用于采集自动驾驶车辆周围环境的3D数据；检测模块，用于实现上述的方法，获得基于激光雷达的3D车辆检测模型。3、一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于：所述计算机程序在被处理器执行时实现上述的方法。本专利技术具有的有益效果：本专利技术基于激光雷达，采集自动驾驶车辆周围环境的3D数据；针对所述3D数据，对每帧3D数据中的目标车辆进行人工标注；针对人工标注后的3D数据，利用卷积和池化操作对3D数据的Z轴数据进行编码，将所述人工标注后的3D数据压缩成2D俯视图；针对所述压缩后的2D俯视图，利用图像检测网络进行训练，获得基于激光雷达的3D车辆检测模型。本专利技术直接通过3D激光雷达获取3D数据进行检测，省去现有检测方法的2D图像标定、投影步骤，有效减少检测步骤，进而提高检测效率。本专利技术采用先利用卷积和池化操作对3D数据的Z轴数据进行编码，然后将3D数据压缩成2D俯视图的方式进行检测，有效减少了计算量。相比于现有检测方法的2D图像检测，本专利技术直接在激光雷达上检测，可以得到360度无死角的感知结果，感知范围更大。本专利技术先利用多帧3D数据根据已知的位置进行融合后，再进行人工标注；人工标注后，再重新投影回单帧3D数据。因为融合后的点云比较稠密，相比于单帧的数据，目标车辆在周围环境中更加清晰可见，更便于人工标注，有效提高人工标注效率。本专利技术利用人工标注数据，对3D车辆检测模型进行效果评估。当评估效果达不到要求时，增加自动驾驶车辆周围环境的3D数据采集量，直至3D车辆检测模型的检测效果达到要求。本专利技术通过上述方法进一步保证了车辆检测的准确性。附图说明图1是本专利技术基于激光雷达的3D车辆检测方法的总体流程图。具体实施方式下面结合附图所示的各实施方式对本专利技术进行详细说明，但应当说明的是，这些实施方式并非对本专利技术的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本专利技术的保护范围之内。实施例一：基于激光雷达的3D车辆检测方法包括如下步骤：步骤1：基于激光雷达，采集自动驾驶车辆周围环境的3D数据。搭载了激光雷达的卡车在不同场景，城市运行，利用激光雷达采集数据，记录在移动硬盘当中.数据采集要尽可能覆盖尽量多的不同场景，保证数据的多样性。步骤2：针对所述3D数据，对每帧3D数据中的目标车辆进行人工标注，即，每帧3D数据中标出车辆的3D检测框。先利用多帧3D数据根据已知的位置进行融合后，再进行人工标注；人工标注后，再重新投影回单帧3D数据。由于激光雷达比较稀疏，3D车辆有时不好区分，将多帧数据根据已知的位置进行融合，融合成一个很稠密的点云数据后，再进行人工标注。因为融合后的点云比较稠密，相比于单帧的数据，目标车辆等物体更加清晰可见，更有利于标注。步骤3：针对人工标注后的3D数据，利用卷积和池化操作对3D数据的Z轴数据进行编码，将所述人工标注后的3D数据压缩成2D俯视图。不同于传统的图像上的2D深度学习检测网络，激光雷达的数据是3D形式的。虽然目前对3D数据可做类似3D卷积操作，但是因为3D计算量大和消耗内存多，所以本专利技术采用先利用卷积和池化操作对3D数据的Z轴数据进行编码，然后将3D数据压缩成2D俯视图的方式，有效减少计算量。具体实施时，先利用x,y轴对空间进行网格化，10厘米乘10厘米一个网格。每个网格包含10*10厘米空间上Z轴上的所有点。对每个网格中的所有点云进行多次卷积和池化操作，得到每个网格的表示向量，即完成了3D数据中Z轴的编码。每个网络都用向量进行表示，就成功的将3D数据压缩成了2D俯视图结构。步骤4：针对所述压缩后的2D俯视图，利用图像检测网络进行训练，获得基于激光雷达的3D车辆检测模型。具体实施时，采用CenterNet图像检测技术。CenterNet是一种无锚点的物体检测技术，利用对图像的多次卷积和池化操作，直接回归出物体的中心位置和检测框。实施例二：基于激光雷达的3D车辆检测方法实施例二中，还包括步骤5，利用人工标注数据，对3D车辆检测模型进行效果评估。当评估效果达不到要求时，增加自动驾驶车辆周围环境的3D数据采集量，重复步骤1至步骤4，直至3D车辆检测模型的检测效果达到要求。训练模型结束之后，利用一些人工标注的数据，我们可以测试本专利技术模型的效果如何，我们利用准确率和召回率来评估我们的网络模型.由于真实的驾驶场景复杂多样，模型不一定对所有场景都能得到一个比较好的效果.通过评估模型效果，本专利技术可以及时发现一些badcase，了解模型的实际使用情况.针对一些效果不好的场景，可以通过采集更多的数据，进行人工标注，再加入训练数据集中，来完善模型效果。步本文档来自技高网...

【技术保护点】
1.一种基于激光雷达的3D车辆检测方法，其特征在于，包括如下步骤：/n步骤1：基于激光雷达，采集自动驾驶车辆周围环境的3D数据；/n步骤2：针对所述3D数据，对每帧3D数据中的目标车辆进行人工标注；/n步骤3：针对人工标注后的3D数据，利用卷积和池化操作对3D数据的Z轴数据进行编码，将所述人工标注后的3D数据压缩成2D俯视图；/n步骤4：针对所述压缩后的2D俯视图，利用图像检测网络进行训练，获得基于激光雷达的3D车辆检测模型。/n

【技术特征摘要】
1.一种基于激光雷达的3D车辆检测方法，其特征在于，包括如下步骤：
步骤1：基于激光雷达，采集自动驾驶车辆周围环境的3D数据；
步骤2：针对所述3D数据，对每帧3D数据中的目标车辆进行人工标注；
步骤3：针对人工标注后的3D数据，利用卷积和池化操作对3D数据的Z轴数据进行编码，将所述人工标注后的3D数据压缩成2D俯视图；
步骤4：针对所述压缩后的2D俯视图，利用图像检测网络进行训练，获得基于激光雷达的3D车辆检测模型。


2.根据权利要求1所述的基于激光雷达的3D车辆检测方法，其特征在于：步骤2中，先利用多帧3D数据根据已知的位置进行融合后，再进行人工标注；人工标注后，再重新投影回单帧3D数据。


3.根据权利要求1所述的基于激光雷达的3D车辆检测方法，其特征在于：步骤4中，所述图像检测网络采用CenterNet或Faster-RCNN，或者复用Cen...

【专利技术属性】
技术研发人员：赵哲，王维，邓海林，韩升升，
申请(专利权)人：苏州智加科技有限公司，
类型：发明
国别省市：江苏;32