目标检测方法与装置、智能驾驶方法、设备及存储介质制造方法及图纸

本申请公开一种目标检测方法与装置、智能驾驶方法、设备及存储介质，所述目标检测方法包括获取点云数据，所述点云数据包括多个待检测点；对检测范围内的每个所述待检测点进行归一化处理；利用部署在神经网络处理器NPU上的目标检测模型对归一化处理后的多个待检测点进行特征提取，得到初始3D目标检测框；对所述初始3D目标检测框进行调整，得到最终3D目标检测框。本发明专利技术解决了传统方案的高性能、高效率与低成本、低功耗无法兼顾的问题。低功耗无法兼顾的问题。低功耗无法兼顾的问题。

【技术实现步骤摘要】
目标检测方法与装置、智能驾驶方法、设备及存储介质


[0001]本申请涉及目标检测
，具体地涉及一种目标检测方法与装置、智能驾驶方法、设备及存储介质。

技术介绍

[0002]智能驾驶3D点云目标检测中一个算法模型的产生到落地，包括训练和推理两个环节。在训练环节，通过大数据训练出一个复杂的神经网络模型；推理环节是指利用训练好的模型，在含有加速单元的低功耗设备上部署落地。
[0003]MVLidarNet(Multi
‑
view LidarNet，多视角激光雷达)算法将点云分别使用前视图和俯视图栅格特征映射，其中前视图特征使用语义分割网络提取语义信息，然后投影到俯视图栅格，结合俯视图栅格特征进行目标检测。MVLidarNet的多视图、多阶段、多类别方法能够检测和分类物体，使用单个激光雷达扫描作为输入，在一个有超过100辆车和行人的挑战场景中确定可行驶空间。论文描述该模型在为自动驾驶汽车设计的嵌入式GPU(Graphics Processing Unit，缩写：GPU)上以每秒150帧的速度高效运行。
[0004]但是，对于神经网络这种密集型运算，传统的CPU(centralprocessing unit，简称CPU)速度慢、性能低，而GPU成本高、功耗高、利用率低，在智能驾驶领域都无法投入商用。同时，由于MVLidarNet算法属于2.5D目标检测模型，其输入特征(例如432*496*3)少，相对于传统3D点云目标检测模型(输入特征432*496*10)在精度方面仍然有较大差距。r/>[0005]本
技术介绍
描述的内容仅为了便于了解本领域的相关技术，不视作对现有技术的承认。

技术实现思路

[0006]因此，本专利技术实施例意图提供一种目标检测方法与装置、智能驾驶方法、设备及存储介质，以解决传统MVLidarNet算法在3D目标检测中精度较低的问题，以及算法部署时传统方案的高性能、高效率与低成本、低功耗无法兼顾问题。
[0007]在第一方面，本专利技术实施例提供了一种目标检测方法，所述目标检测方法包括：
[0008]获取点云数据，所述点云数据包括多个待检测点；
[0009]对检测范围内的每个所述待检测点进行归一化处理；
[0010]利用部署在神经网络处理器NPU上的目标检测模型对归一化处理后的多个待检测点进行特征提取，得到初始3D目标检测框；
[0011]对所述初始3D目标检测框进行调整，得到最终3D目标检测框。
[0012]进一步地，将所述目标检测模型部署在神经网络处理器NPU上的具体实现过程为：
[0013]利用编译器对所述目标检测模型进行编译，生成所述神经网络处理器NPU可识别的多条指令；
[0014]将所述多条指令部署在所述神经网络处理器NPU上。
[0015]进一步地，所述目标检测模型包括Resnet50网络以及网络分支；其中，
[0016]所述Resnet50网络，用于对归一化处理后的多个待检测点进行特征提取，得到一组特征向量；
[0017]所述网络分支，用于对所述特征向量进行第一目标检测和第二目标检测，得到初始3D目标检测框。
[0018]进一步地，所述网络分支包括第一Anchor Free检测器和第二Anchor Free检测器；其中，
[0019]所述第一AnchorFree检测器，用于检测尺度大于预设阈值的第一目标；
[0020]所述第二AnchorFree检测器，用于检测尺度小于预设阈值的第二目标。
[0021]进一步地，对所述初始3D目标检测框进行调整的具体实现过程为：
[0022]利用Anchor Base检测器对所述初始3D目标检测框进行平移和大小调整操作，得到最终3D目标检测框。
[0023]进一步地，所述目标检测方法还包括：对所述最终3D目标检测框进行可视化处理，实现3D目标检测框的可视化。
[0024]在第二方面，本专利技术实施例提供了一种智能驾驶方法，应用于智能驾驶设备中，所述智能驾驶方法包括：
[0025]根据上述任一项所述的目标检测方法得到最终3D目标检测框；
[0026]根据所述最终3D目标检测框生成驾驶策略。
[0027]在第三方面，本专利技术实施例提供了一种目标检测装置，所述目标检测装置包括CPU以及神经网络处理器NPU；在所述CPU上部署有获取模块、归一化处理模块以及调整模块，在所述神经网络处理器NPU部署有目标检测模型；其中，
[0028]部署在CPU上的所述获取模块，用于获取点云数据，所述点云数据包括多个待检测点；
[0029]部署在CPU上的所述归一化处理模块，用于对检测范围内的每个所述待检测点进行归一化处理；
[0030]部署在神经网络处理器NPU上的所述目标检测模型，用于对归一化处理后的多个待检测点进行特征提取，得到初始3D目标检测框；
[0031]部署在CPU上的所述调整模块，用于对所述初始3D目标检测框进行调整，得到最终3D目标检测框。
[0032]在第四方面，本专利技术实施例提供一种电子设备，包括：处理器和存储有计算机程序的存储器，所述处理器包括主处理器和神经网络处理器NPU，所述处理器被配置为在运行计算机程序时执行上述任一本专利技术实施例的目标检测方法或智能驾驶方法。
[0033]在第五方面，本专利技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现上述任一本专利技术实施例的目标检测方法或智能驾驶方法。
[0034]本专利技术实施例中使用的目标检测方法中，将目标检测模型部署在专用的神经网络处理器NPU上进行推理，NPU由于其在神经网络运算时具有速度快、利用率高的特点，使目标检测中的推理具有高帧率，提高了检测效率；同时，嵌入式NPU具有小型化、低功耗和低成本优势，因此解决了传统方案的高性能、高效率与低成本、低功耗无法兼顾的问题。本专利技术通过编译器对目标检测模型进行编译后再部署在NPU上，高效且灵活，用来进行网络推理部署
具有更高的商业价值。
[0035]本专利技术的目标检测模型以MVLidarNet作为基础网络，采用更优的Resnet50网络进行特征提取，使模型的处理速度与处理精度达到最佳；将原始Anchor Free检测器改为Anchor Base检测器，提升了3D目标检测框的定位精度，进一步提高了检测精度。
[0036]本专利技术将改进的目标检测模型与NPU推理结合并完成场景的目标检测任务，实现端到端3D目标检测，对于高级别自动驾驶领域的落地应用具有重大意义。
[0037]本专利技术实施例的其他可选特征和技术效果一部分在下文描述，一部分可通过阅读本文而明白。
附图说明
[0038]以下，结合附图来详细说明本专利技术的实施例，所示出的元件不受附图所显示的比例限制，附图中相同或相似的附图标记表示相同或类似的元件，其中：
[0039]图1示出了根据本专利技术实施例的目标检测方法的示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测方法，其特征在于，所述目标检测方法包括：获取点云数据，所述点云数据包括多个待检测点；对检测范围内的每个所述待检测点进行归一化处理；利用部署在神经网络处理器NPU上的目标检测模型对归一化处理后的多个所述待检测点进行特征提取，得到初始3D目标检测框；对所述初始3D目标检测框进行调整，得到最终3D目标检测框。2.根据权利要求1所述的目标检测方法，其特征在于，将所述目标检测模型部署在神经网络处理器NPU上的具体实现过程为：利用编译器对所述目标检测模型进行编译，生成所述神经网络处理器NPU能够识别的多条指令；将所述多条指令部署在所述神经网络处理器NPU上。3.根据权利要求1或2所述的目标检测方法，其特征在于，所述目标检测模型包括Resnet50网络以及网络分支；其中，所述Resnet50网络用于对归一化处理后的多个所述待检测点进行特征提取，得到一组特征向量；所述网络分支用于对所述特征向量进行第一目标检测和第二目标检测，得到所述初始3D目标检测框。4.根据权利要求3所述的目标检测方法，其特征在于，所述网络分支包括第一Anchor Free检测器和第二Anchor Free检测器；其中，所述第一Anchor Free检测器用于检测尺度大于预设阈值的第一目标；所述第二Anchor Free检测器用于检测尺度小于预设阈值的第二目标。5.根据权利要求1所述的目标检测方法，其特征在于，对所述初始3D目标检测框进行调整的具体实现过程为：利用Anchor Base检测器对所述初始3D目标检测框进行平移和大小调整操作，得到所述最终3D目标检...

【专利技术属性】
技术研发人员：张晨晨，陆天翼，梁爽，
申请(专利权)人：北京超星未来科技有限公司，
类型：发明
国别省市：