基于加权采样和多分辨率特征提取的三维目标检测方法技术

本发明专利技术公开了一种基于加权采样和多分辨率特征提取的三维目标检测方法，第一阶段中将原始点云进行体素网格划分，以体素特征来表征；通过稀疏卷积操作编码空间稀疏特征图；进一步重塑为二维俯视图特征，在此特征上进行感兴趣区域的提取并进行粗糙分类和粗糙的框回归定位；第二阶段中，通过设计一个语义分割网络来区分点的类别，通过加权最远点采样方法在对原始点采样时，给与前景点更大的权重，增大采样关键点时前景点被获取得几率，进一步提取第一阶段的中间体素特征，进行候选框的二次细化回归。本发明专利技术通过设计语义分割网络和加权最远点采样方法显著提高了无人驾驶中三维目标检测的精度，同时应用多分辨率特征聚合方法降低了时间的损耗。低了时间的损耗。低了时间的损耗。

【技术实现步骤摘要】
基于加权采样和多分辨率特征提取的三维目标检测方法


[0001]本专利技术涉及无人驾驶、深度学习以及激光点云
，具体地指一种基于加权采样和多分辨率特征提取的三维目标检测方法。
技术背景
[0002]随着工业智能化时代的到来，无人驾驶汽车得到了飞速的发展。目前工业界应用可行的大部分为L4级自动驾驶，即在特定场景下的自动驾驶。自动驾驶中最为难以攻克的核心技术主要集中在感知模块，也即汽车对于外界环境障碍物的识别和理解。三维目标检测作为主要的感知任务之一具有重大的研究意义，三维目标检测算法研究的核心旨在提高三维目标检测的精度，并且降低检测所需要的时间，从而保证目标检测的实时性和实现更高的准确性。基于深度学习的三维的目标检测也可以分为两大主要的流派，一类是双阶段检测，另一类是单阶段检测。前者在检测精度上相对较高，是一种由粗到精的检测过程；后者在检测速度上相对较快，是一种一步到位的检测。根据点云数据的处理方式不同，三维目标检测又分为基于点云Point
‑
based的方法和 voxel
‑
based的方法两大类。
[0003]PointNet最先提出直接使用神经网络模型来处理原始点云数据，使得网络能够学习点与点之间的关系特征。但是由于其是对全部点云进行多尺度特征提取，所消耗的时间是非常大的。PointNet++创新性的提出一种多分辨率局部特征提取方法在不一样的尺度范围获取特征，并且运用多层的网络构架获得深层次的特征，大大节约了所需要的时间。3DSSD提出了融合采样策略，融合特征判断最远点，从而在降采样时保留更多的边框内部的前景点，由此就可以将特征传播安全的移除。3DSSD为单阶段检测器，因此它去掉的第二阶段的边框的回归，极大地减少了推理所需要的时间，但是其检测精度相对不高。 PointRCNN采用Pointnet++作为RPN阶段的主干网络，采用 Point
‑
based方式在第一阶段得到特征和感兴趣区域，在第二阶段为了更好地学习局部空间特征将候选区域池化得到的点转化为规范坐标，提高了鲁棒性。但是其推理所消耗的时间远高于单阶段方法并且对行人的检测效果也较差。
[0004]基于体素的方法因其能够保留点云的三维空间信息，所以广泛用于很多三维目标检测方法中。Voxelnet第一次把原始三维点云划分为很多的体素网格，然后通过Pointnet网络进行特征提取，紧接着用三维卷积来聚合空间特征。但是因为在卷积操作中有很多空的体素，所以会消耗很多的时间做无效的特征提取。SECOND基于Voxelnet网络推理速度慢，方位评估性能差等问题，提出子流形稀疏卷积提高了训练和推理速度，也引入角损失回归改善了方位评估和一种数据增强方法来增加网络收敛速度和性能。SASSD针对在采样过程中不断的稀疏卷积导致的空间信息损失问题，设计了一个可拆卸的辅助网络充分的利用了多尺度特征图的来弥补丢失的空间结构信息，提高了网络检测的精度并且提出了敏感翘曲方法来解决置信度和边界框预测不对齐的问题。STD结合了Point
‑
based和Voxel
‑
based方法在第一阶段使用 Point
‑
based策略对特征进行提取，在第二阶段使用Voxel
‑
based策略对感兴趣区域进行体素化和池化再经全连接层输出最后的类别和候选框位置。大大提高了
检测精度，但是也增加了耗时。因此平衡好目标检测精度和检测的速度是三维目标检测的核心问题。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的不足，针对在采集关键点的过程中背景点较多从而不能充分聚合体素信息的问题，而提出一种融合语义分割网络的权重分配采样和多分辨率特征提取的三维目标检测方法，显著提高了无人驾驶中三维检测的精度。
[0006]为实现上述目的，本专利技术所设计的一种基于加权采样和多分辨率特征提取的三维目标检测方法，其特殊之处在于，所述方法包括如下步骤：
[0007]S1)对空间中的原始点云划分均匀体素网格，对非空的体素网格中的点云进行均值计算得到每个非空体素网格的特征，利用三维稀疏卷积对体素空间特征进行下采样；
[0008]S2)根据获取的感兴趣区域进行目标粗分类和粗回归；将降采样后的体素特征重塑为二维俯视图，在此基础上通过RPN网络进行感兴趣区域的提取，然后对检测目标进行粗糙回归和粗糙分类；
[0009]S3)通过语义分割网络对下采样体素网格中的每个点云预测，判断其是属于前景点还是背景点；
[0010]S4：使用最远点采样方法采集关键点，并通过权重分配操作给予前景点更大的权重，从而增大前景点被采集的概率；
[0011]S5：根据采集到的关键点通过多分辨率特征提取操作来聚合体素特征，通过池化操作进行特征融合，通过检测网络获取更加精细的分类和边框定位。
[0012]优选地，所述步骤1)的具体步骤为：将原始点云空间表示为 L*H*W，对划分好的非空的体素网格中的点云对其坐标x,y,z和反射强度i做平均池化，获取每个体素的特征；使用一系列3
×3×
3的三维稀疏卷积对体素特征进行下采样，使用的卷积通道分别为16,32,64,64，将原始体素空间降采样为原来的1,1/2,1/4,1/8倍。
[0013]优选地，所述步骤2)中将降采样输出的最后一层沿x轴压缩为俯视图特征，二维特征图通过一个四维张量进行表示，在每个俯视图像素点上设置2个互相垂直的锚框，通过RPN网络进行感兴趣区域的提取，对目标候选框进行粗糙分类和粗糙定位。
[0014]优选地，所述步骤3)中以第一层的稀疏卷积作为输入，通过两个卷积操作输出通道均为64，再经过反卷积操作将两个结果拼接在一起，经过卷积核为1的网络层输出通道为256，根据此操作预测出每个点是属于前景点还是背景点。
[0015]优选地，所述步骤4)的具体步骤为：在原始点云中M选取一个点M1，计算M中其余点和M1的欧式距离，选取距离最大的点为M2，然后把M1和M2加入点集合U；再计算其余剩余点到集合U的欧式距离，M中任何一个点到集合的距离记为再根据语义分割网络预测出来的点的类别进行权重分配。
[0016]优选地，两点间的欧式距离的具体计算公式如下：
[0017][0018]其中L为两点间欧式距离，(X,Y)为任意两点，n为点的坐标维度。
[0019]优选地，所述步骤5)中根据采集到的关键点，使用多分辨率特征聚合方法来聚合体素内的特征，在低水平层使用若干个小的感受域，在高水平层使用大的感受域将低水平的特征进一步提取，再通过 Pointnet网络分别将低水平层和高水平层特征结合起来。
[0020]优选地，所述步骤S2重塑的俯视图的长宽分别为原始空间的1/8 倍，并且在每个位置设置两个互为90度的锚框。
[0021]优选地，所述感受域采用球形，以采集到的关键点作为球心。
[0022]优选地，所述步骤S5)中池化操作将每个目标候选框平均分为若干个网格，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于加权采样和多分辨率特征提取的三维目标检测方法，其特征在于：所述方法包括如下步骤：S1)对空间中的原始点云划分均匀体素网格，对非空的体素网格中的点云进行均值计算得到每个非空体素网格的特征，利用三维稀疏卷积对体素空间特征进行下采样；S2)根据获取的感兴趣区域进行目标粗分类和粗回归；将降采样后的体素特征重塑为二维俯视图，在此基础上通过RPN网络进行感兴趣区域的提取，然后对检测目标进行粗糙回归和粗糙分类；S3)通过语义分割网络对下采样体素网格中的每个点云预测，判断其是属于前景点还是背景点；S4：使用最远点采样方法采集关键点，并通过权重分配操作给予前景点更大的权重，从而增大前景点被采集的概率；S5：根据采集到的关键点通过多分辨率特征提取操作来聚合体素特征，通过池化操作进行特征融合，通过检测网络获取更加精细的分类和边框定位。2.根据权利要求1所述的基于加权采样和多分辨率特征提取的三维目标检测方法，其特征在于：所述步骤1)的具体步骤为：将原始点云空间表示为L*H*W，对划分好的非空的体素网格中的点云对其坐标x,y,z和反射强度i做平均池化，获取每个体素的特征；使用一系列3
×3×
3的三维稀疏卷积对体素特征进行下采样，使用的卷积通道分别为16,32,64,64，将原始体素空间降采样为原来的1,1/2,1/4,1/8倍。3.根据权利要求2所述的基于加权采样和多分辨率特征提取的三维目标检测方法，其特征在于：所述步骤2)中将降采样输出的最后一层沿x轴压缩为俯视图特征，二维特征图通过一个四维张量进行表示，在每个俯视图像素点上设置2个互相垂直的锚框，通过RPN网络进行感兴趣区域的提取，对目标候选框进行粗糙分类和粗糙定位。4.根据权利要求1所述的基于加权采样和多分辨率特征提取的三维目标检测方法，其特征在于：所述步骤3)中以第一层的稀疏卷积作为输入，通过两个卷积操...

【专利技术属性】
技术研发人员：胡杰，安永鹏，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：