面向自动驾驶基于伪标签的点云3D目标检测方法技术

本发明专利技术公开了一种面向自动驾驶基于伪标签的点云3D目标检测方法，对点云数据进行预处理，并对点云数据进行体素化操作，获得训练数据；通过训练数据构建神经网络；通过所述训练数据集进行神经网络的前向传播并且确定体素的伪标签数据，通过真实标签数据和伪标签数据确定一、二阶段检测Loss函数、和伪标签分类Loss函数，通过所述一、二阶段检测Loss函数、和伪标签分类Loss函数加权求和作为最终的损失函数；通过最终的损失函数对神经网络的参数进行反向传播，获得训练好的神经网络；通过训练好的神经网络对预测数据集进行目标检测预测确定点云3D目标。本发明专利技术利用伪标签针对性地对体素特征的提取能力进行了增强，获得了更高的检测精度。检测精度。检测精度。

【技术实现步骤摘要】
面向自动驾驶基于伪标签的点云3D目标检测方法


[0001]本专利技术属于自动驾驶领域和深度学习领域，具体涉及一种面向自动驾驶基于伪标签的点云3D目标检测方法。

技术介绍

[0002]近年来随着摄像头、毫米波雷达、激光雷达等多种传感器成本的不断降低以及深度学习及其配套算力硬件的高速发展，加快了自动驾驶技术的进步，使自动驾驶任务具有可行性，自动驾驶任务可分为目标检测、目标跟踪、决策判断等多个子任务，其中目标检测实现了对车辆附近空间的信息感知，为后续的跟踪和决策提供了信息基础，是非常关键的先决条件，在众多传感器中，激光雷达可以获得点云格式的数据，具有分辨率高、识别准确、测量速度快、抗干扰能力强等诸多优点，成为了实现目标检测的最佳选择。围绕激光雷达展开的关于点云3D目标检测受到学术界和工业界的高度重视。
[0003]点云3D目标检测任务是指将传感器将获取的信号转换成点云的格式对周围空间的指定目标进行分类和定位，是3D场景感知中的基本任务之一。随着激光雷达、4D毫米波雷达的发展和自动驾驶技术的逐步成熟，基于点云的3D目标检测任务获得了越来越多的关注。在众多的检测方法中，随着神经网络的高速发展，一系列以深度学习为基础的检测算法凭借更高的精度和鲁棒性脱颖而出，该类方法可以归纳为三类，分别是基于投影或图像的3D检测算法、基于体素的3D检测算法以及基于点的3D检测算法。
[0004]基于图像的3D检测算法将3D空间信息投影到2D空间中进行检测，在投影过程中会有一定的空间信息丢失，基于点的3D检测算法需要对点的领域进行查询，运算速度不高，基于体素的3D检测算法将点云粗化得到均匀大小的体素，保留了一定3D空间信息，并利用卷积网络(CNN)和多层感知机(MLP)进行运算，极大地提升了运算的速度。
[0005]在众多基于体素的3D目标检测算法中，仍然存在一些挑战，例如：(1)相较于图像，体素数据是稀疏结构的数据，传统的卷积运算量大，复杂度高(2)在点云体素化的过程中，物体的外形细节信息丢失，识别能力下降；(3)随着神经网络的深度加深，体素的大小不断增加，对小目标检测性能不佳。
[0006]因此需要设计一种能处理稀疏数据格式且对小目标检测性能突出的具有实用价值的检测算法。

技术实现思路

[0007]有鉴于此，本专利技术的主要目的在于提供一种面向自动驾驶基于伪标签的点云3D目标检测方法。
[0008]为达到上述目的，本专利技术的技术方案是这样实现的：
[0009]本专利技术实施例提供一种面向自动驾驶基于伪标签的点云3D目标检测方法，该方法为：
[0010]对点云数据进行预处理，并对点云数据进行体素化操作，获得训练数据；
[0011]通过训练数据构建神经网络；
[0012]通过所述训练数据集进行神经网络的前向传播并且确定体素的伪标签数据，通过真实标签数据和伪标签数据确定一阶段检测Loss函数、二阶段检测Loss函数和伪标签分类Loss函数，通过所述一阶段检测Loss函数、二阶段检测Loss函数和伪标签分类Loss函数加权求和作为最终的损失函数；
[0013]通过最终的损失函数对神经网络的参数进行反向传播，获得训练好的神经网络；
[0014]通过训练好的神经网络对预测数据集进行目标检测预测确定点云3D目标。
[0015]上述方案中，所述对点云数据进行预处理，具体为：给定空间范围Range＝[x
min
，y
min
，z
min
，x
max
，y
max
，z
max
]，保留k
i
∈[k
min
，k
max
)，k＝x，y，z范围内的点云数据，以每个点云数据为中心，统计半径为R
querry
的球形邻域内其他点云数据的个数N
querry
，若N
querry
＜N
th
，则滤除该点云，否则保留该点云，获得参与运算的点云集合S
pc
＝{(x
i
，y
i
，z
i
，F
i
)|i＝1，2，3，...，N)。
[0016]上述方案中，所述对点云数据进行体素化操作，获得训练数据，具体为：给定最大的体素数目voxel_num
max
、每个体素中最多包含的点云个数K
max
和每个体素的空间大小[g
x
，g
y
，g
z
]，依据原始点云的特征维度C0，C0≥3，通过采样将点云数据体素化，构建训练数据。
[0017]上述方案中，所述点云体素化，具体为：将点云空间分割成指定的均匀大小的长方体，即体素，每个体素中最多保留K
max
个点云数据，不足的部分用0补足，最终从所有的体素中选择至多voxel_num
max
个体素，不足的部分用0补足，最终获得体素点云关系张量及其对应的体素坐标序号
[0018]上述方案中，所述通过训练数据构建神经网络，具体为：依次构建神经网络中的素编码模块、鸟瞰图映射网络模块、2D卷积网络模块、3D卷积网络模块、体素更新模块、体素分类器、一阶段检测头、二阶段检测头。
[0019]上述方案中，通过真实标签数据和伪标签数据确定一阶段检测Loss函数、二阶段检测Loss函数和伪标签分类Loss函数，具体为：定义最大训练周期E
max
，训练的批尺寸(batchsize)B
n
，训练样本总数为S,则每个周期内训练的批数设置一阶段检测Loss函数(L1Loss)，对于类别概率使用交叉熵(CELoss)，对于预测框的中心位置、尺寸大小、旋转角度、预测框的朝向采用L1Loss；设置二阶段检测Loss函数，对于类别概率采用二分类交叉熵(BCELoss)，对于预测框的中心位置、尺寸大小、旋转角度采用L1Loss；通过所述一阶段检测Loss函数、二阶段检测Loss函数和伪标签分类Loss函数加权求和作为最终的损失函数。
[0020]上述方案中，所述通过最终的损失函数对神经网络的参数进行反向传播，获得训练好的神经网络，利用Xaiver均匀分布初始化器初始化神经网络中所有卷积层、线性连接层的权重。将所有批规范化层的均值权重设置为0，方差权重设置为1；利用Adam优化器优化所述网络所有参数，设置初始学习率为lr0；读入1个批次的训练数据，输入网络前向传播，计算损失函数并反向传播；判断总训练步数step能否被一个周期内训练的批数k整除。若成立，下一次从头开始读取训练数据；若不成立，下一次依次读取训练数据；判断总训练步数step是否等于B
n
×
k，若成立，结束训练，获得训练好的神经网络，否则继续训练神经网络。
[0021]上述方案中，所述通过训练好的神经网络对预测数据集进行目标检测预测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向自动驾驶基于伪标签的点云3D目标检测方法，其特征在于，该方法为：对点云数据进行预处理，并对点云数据进行体素化操作，获得训练数据；通过训练数据构建神经网络；通过所述训练数据集进行神经网络的前向传播并且确定体素的伪标签数据，通过真实标签数据和伪标签数据确定一阶段检测Loss函数、二阶段检测Loss函数和伪标签分类Loss函数，通过所述一阶段检测Loss函数、二阶段检测Loss函数和伪标签分类Loss函数加权求和作为最终的损失函数；通过最终的损失函数对神经网络的参数进行反向传播，获得训练好的神经网络；通过训练好的神经网络对预测数据集进行目标检测预测确定点云3D目标。2.根据权利要求1所述的面向自动驾驶基于伪标签的点云3D目标检测方法，其特征在于，所述对点云数据进行预处理，具体为：给定空间范围，保留范围内的点云数据，以每个点云数据为中心，统计半径为的球形邻域内其他点云数据的个数，若，则滤除该点云，否则保留该点云，获得参与运算的点云集合。3.根据权利要求2所述的面向自动驾驶基于伪标签的点云3D目标检测方法，其特征在于，所述对点云数据进行体素化操作，获得训练数据，具体为：给定最大的体素数目、每个体素中最多包含的点云个数和每个体素的空间大小，依据原始点云的特征维度，通过采样将点云数据体素化，构建训练数据。4.根据权利要求3所述的面向自动驾驶基于伪标签的点云3D目标检测方法，其特征在于，所述点云体素化，具体为：将点云空间分割成指定的均匀大小的长方体，即体素，每个体素中最多保留个点云数据，不足的部分用0补足，最终从所有的体素中选择至多个体素，不足的部分用0补足，最终获得体素点云关系张量及其对应的体素坐标序号。5.根据权利要求1
‑
4任意一项所述的面向自动驾驶基于伪标签的点云3D目标检测方法，其特征在于，所述通过训练数据构建神经网络，具体为：依次构建神经网络中的素编码模块、鸟瞰图映射网络模块、2D卷积网络模块、3D卷积网络模块、体...

【专利技术属性】
技术研发人员：刘军，曾子轩，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：