目标检测方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了目标检测方法、装置、电子设备及存储介质，鸟瞰图中目标的尺寸不会随着距离视图的深度方向而改变，且目标之间的遮挡更少几乎不存在，利用2D鸟瞰图图像特征得到目标的3D检测框，目标检测精度高。并且为基于2D图像特征的预测，计算复杂度低，计算速度快，增加了目标检测的实时性，对设备算力要求低，能够通过车载电子设备实现，可以有效应用与车辆自动驾驶的场景。

【技术实现步骤摘要】
目标检测方法、装置、电子设备及存储介质
本申请涉及计算机
，特别是涉及目标检测方法、装置、电子设备及存储介质。
技术介绍
感知是自动驾驶系统的基础与核心，2D(二维)感知对于高级别自动驾驶远远不够，准确的3D(三维)感知尤为重要。在目前的3D检测方法中，主流方法大多数为基于体素的方法，如VoxelNet、SECOND等3D检测方法；或者基于点的方法，如PointRCNN(RegionConvolutionalNeuralNetworks，区域卷积神经网络)等。这些方法在众多公开数据集取得了较高的精度与领先地位。但是，这些方法在实际应用中存在如下问题。首先，由于这些方法采用了3D数据格式，运行速度较慢，无法满足实时性的要求。其次，这些方法的计算量大算法复杂对设备的要求很高，导致无法应用于嵌入式设备当中。因此，目前实际应用及研究的深度学习框架为2D图像的框架。相关技术中，将雷达采集的点云信息转换为2D距离视图，并在2D距离视图上确定anchor(锚点框)，从而实现目标检测。但是采用该方法，由于距离视图中物体尺寸随距离变化较大，且目标之间存在遮挡，会造成目标检测精度低。
技术实现思路
本申请实施例的目的在于提供一种目标检测方法、装置、电子设备及存储介质，以实现提高目标检测的精度。具体技术方案如下：第一方面，本申请实施例提供了一种目标检测方法，所述方法包括：获取雷达采集的点云数据，将所述点云数据转换为距离视图；利用预设深度学习模型对所述距离视图进行特征提取，得到2D距离图图像特征，其中，所述2D距离图图像特征包括所述距离视图中各像素的图像特征；根据所述距离视图中各像素与所述点云数据中各点的对应关系，将所述距离视图中各像素的图像特征映射到鸟瞰图上，得到2D鸟瞰图图像特征；利用预设深度学习模型对所述2D鸟瞰图图像特征进行分析，得到目标的3D检测框。在一种可能的实施方式中，所述预设深度学习模型包括特征提取网络，所述特征提取网络包括多个编码模块及多个解码模块；所述利用预设深度学习模型对所述距离视图进行特征提取，得到2D距离图图像特征，包括：利用所述特征提取网络的卷积层将所述距离视图转换为初始图像特征；利用所述特征提取网络的各编码模块对所述初始图像特征进行特征提取及下采样，得到图像编码特征；利用所述特征提取网络的各解码模块对所述下采样图像特征进行特征提取及上采样，得到2D距离图图像特征。在一种可能的实施方式中，所述编码模块包括第一卷积单元、多个膨胀卷积单元、特征级联单元、第二卷积单元、特征融合单元、随机失活单元及池化单元，其中，同一编码模块中各膨胀卷积单元的膨胀率不同；所述利用所述特征提取网络的各编码模块对所述初始图像特征进行特征提取及下采样，得到图像编码特征，包括：针对每一编码模块，利用该编码模块的第一卷积单元对输入该编码模块的图像特征进行更新，得到一次更新后的图像特征；利用该编码模块的膨胀卷积单元对一次更新后的图像特征进行特征提取，得到多种尺度的图像特征；利用该编码模块的特征级联单元对多种尺度的图像特征进行级联，得到级联后的图像特征；利用该编码模块的第二卷积单元对级联后的图像特征进行更新，得到二次更新后的图像特征；利用该编码模块的特征融合单元将一次更新后的图像特征与二次更新后的图像特征进行融合，得到融合图像特征；利用该编码模块的随机失活单元及池化单元对融合图像特征进行随机失活操作及下采样操作，得到输出的图像特征；其中，第一个编码模块的输入为所述初始图像特征，第i+1个编码模块的输入为第i个编码模块的输出，最后一个编码模块的输出为图像编码特征。在一种可能的实施方式中，，所述解码模块包括第一卷积单元、多个膨胀卷积单元、特征级联单元、第二卷积单元、特征融合单元、随机失活单元及池化单元，其中，同一解码模块中各膨胀卷积单元的膨胀率不同；所述利用所述特征提取网络的各解码模块对所述下采样图像特征进行特征提取及上采样，得到2D距离图图像特征，包括：针对每一解码模块，利用该解码模块的第一卷积单元对输入该解码模块的图像特征进行更新，得到一次更新后的图像特征；利用该解码模块的膨胀卷积单元对一次更新后的图像特征进行特征提取，得到多种尺度的图像特征；利用该解码模块的特征级联单元对多种尺度的图像特征进行级联，得到级联后的图像特征；利用该解码模块的第二卷积单元对级联后的图像特征进行更新，得到二次更新后的图像特征；利用该解码模块的特征融合单元将一次更新后的图像特征与二次更新后的图像特征进行融合，得到融合图像特征；利用该解码模块的随机失活单元及池化单元对融合图像特征进行随机失活操作及上采样操作，得到输出的图像特征；其中，第一个解码模块的输入为所述图像编码特征，第i+1个解码模块的输入为第i个解码模块的输出，最后一个解码模块的输出为2D距离图图像特征。在一种可能的实施方式中，所述根据所述距离视图中各像素与所述点云数据中各点的对应关系，将所述距离视图中各像素的图像特征映射到鸟瞰图上，得到2D鸟瞰图图像特征，包括：根据所述距离视图中各像素与所述点云数据中各点的对应关系，将所述距离视图中各像素的图像特征映射为所述点云数据中各点的图像特征；将所述点云数据中各点的图像特征投影到所述鸟瞰图的各像素上，得到2D鸟瞰图图像特征。在一种可能的实施方式中，所述利用预设深度学习模型对所述2D鸟瞰图图像特征进行分析，得到目标的3D检测框，包括：利用预设深度学习模型的多个卷积单元依次对所述2D鸟瞰图图像特征进行卷积操作，得到多个尺度的鸟瞰图图像特征；分别对多个尺度的鸟瞰图图像特征进行反卷积操作，得到多个尺度相同的鸟瞰图图像特征；将多个尺度相同的鸟瞰图图像特征进行级联，得到级联鸟瞰图图像特征；对所述级联鸟瞰图图像特征进行分析，得到目标的3D检测框。在一种可能的实施方式中，在所述利用预设深度学习模型对所述2D鸟瞰图图像特征进行分析，得到目标的3D检测框之后，所述方法还包括：根据所述3D检测框，按照预设步长，将所述3D检测框内的点划分为多个体素立方体；按照各所述体素立方体的位置，将各所述体素立方体排列为一维特征向量；利用预设深度学习模型对所述一维特征向量进行分析，得到校正后的3D检测框。第二方面，本申请实施例提供了一种目标检测装置，所述装置包括：距离视图转换模块，用于获取雷达采集的点云数据，将所述点云数据转换为距离视图；图像特征获取模块，用于利用预设深度学习模型对所述距离视图进行特征提取，得到2D距离图图像特征，其中，所述2D距离图图像特征包括所述距离视图中各像素的图像特征；图像特征转换模块，用于根据所述距离视图中各像素与所述点云数据中各点的对应关系，将所述距离视图中各像素的图像特征映射到鸟瞰图上，得到2D鸟瞰图图像特征；3D检测框获本文档来自技高网...

【技术保护点】
1.一种目标检测方法，其特征在于，所述方法包括：/n获取雷达采集的点云数据，将所述点云数据转换为距离视图；/n利用预设深度学习模型对所述距离视图进行特征提取，得到2D距离图图像特征，其中，所述2D距离图图像特征包括所述距离视图中各像素的图像特征；/n根据所述距离视图中各像素与所述点云数据中各点的对应关系，将所述距离视图中各像素的图像特征映射到鸟瞰图上，得到2D鸟瞰图图像特征；/n利用预设深度学习模型对所述2D鸟瞰图图像特征进行分析，得到目标的3D检测框。/n

【技术特征摘要】
1.一种目标检测方法，其特征在于，所述方法包括：
获取雷达采集的点云数据，将所述点云数据转换为距离视图；
利用预设深度学习模型对所述距离视图进行特征提取，得到2D距离图图像特征，其中，所述2D距离图图像特征包括所述距离视图中各像素的图像特征；
根据所述距离视图中各像素与所述点云数据中各点的对应关系，将所述距离视图中各像素的图像特征映射到鸟瞰图上，得到2D鸟瞰图图像特征；
利用预设深度学习模型对所述2D鸟瞰图图像特征进行分析，得到目标的3D检测框。


2.根据权利要求1所述的方法，其特征在于，所述预设深度学习模型包括特征提取网络，所述特征提取网络包括多个编码模块及多个解码模块；
所述利用预设深度学习模型对所述距离视图进行特征提取，得到2D距离图图像特征，包括：
利用所述特征提取网络的卷积层将所述距离视图转换为初始图像特征；
利用所述特征提取网络的各编码模块对所述初始图像特征进行特征提取及下采样，得到图像编码特征；
利用所述特征提取网络的各解码模块对所述下采样图像特征进行特征提取及上采样，得到2D距离图图像特征。


3.根据权利要求2所述的方法，其特征在于，所述编码模块包括第一卷积单元、多个膨胀卷积单元、特征级联单元、第二卷积单元、特征融合单元、随机失活单元及池化单元，其中，同一编码模块中各膨胀卷积单元的膨胀率不同；
所述利用所述特征提取网络的各编码模块对所述初始图像特征进行特征提取及下采样，得到图像编码特征，包括：
针对每一编码模块，利用该编码模块的第一卷积单元对输入该编码模块的图像特征进行更新，得到一次更新后的图像特征；
利用该编码模块的膨胀卷积单元对一次更新后的图像特征进行特征提取，得到多种尺度的图像特征；
利用该编码模块的特征级联单元对多种尺度的图像特征进行级联，得到级联后的图像特征；
利用该编码模块的第二卷积单元对级联后的图像特征进行更新，得到二次更新后的图像特征；
利用该编码模块的特征融合单元将一次更新后的图像特征与二次更新后的图像特征进行融合，得到融合图像特征；
利用该编码模块的随机失活单元及池化单元对融合图像特征进行随机失活操作及下采样操作，得到输出的图像特征；
其中，第一个编码模块的输入为所述初始图像特征，第i+1个编码模块的输入为第i个编码模块的输出，最后一个编码模块的输出为图像编码特征。


4.根据权利要求2所述的方法，其特征在于，所述解码模块包括第一卷积单元、多个膨胀卷积单元、特征级联单元、第二卷积单元、特征融合单元、随机失活单元及池化单元，其中，同一解码模块中各膨胀卷积单元的膨胀率不同；
所述利用所述特征提取网络的各解码模块对所述下采样图像特征进行特征提取及上采样，得到2D距离图图像特征，包括：
针对每一解码模块，利用该解码模块的第一卷积单元对输入该解码模块的图像特征进行更新，得到一次更新后的图像特征；
利用该解码模块的膨胀卷积单元对一次更新后的图像特征进行特征提取，得到多种尺度的图像特征；
利用该解码模块的特征级联单元对多种尺度的图像特征进行级联，得到级联后的图像特征；
利用该解码...

【专利技术属性】
技术研发人员：梁志栋，张明，张泽瀚，赵显，
申请(专利权)人：上海高德威智能交通系统有限公司，
类型：发明
国别省市：上海;31