时序融合的点云3D目标检测方法、系统、终端及介质技术方案

本发明专利技术提供一种时序融合的点云3D目标检测方法、系统、终端及介质，包括：获取一时序的点云数据；将所述点云数据对齐到同一个坐标系下；在训练过程中，使用时序一致的数据增强进行训练来解决物体分布不均的情况；将点云编码成鸟瞰图特征图后，使用可变形注意力机制为当前帧的特征图动态的融合过去时刻的特征；将融合的特征图送入到检测头中预测物体。本发明专利技术显著的增强了检测的性能，并且该方法可以适用于任何鸟瞰图检测方法，并且可以扩展到任意长度的时间序列。的时间序列。的时间序列。

【技术实现步骤摘要】
时序融合的点云3D目标检测方法、系统、终端及介质


[0001]本专利技术涉及目标检测
，具体地，涉及一种时序融合的点云3D目标检测方法、系统、终端及介质。

技术介绍

[0002]3D目标检测是自动驾驶场景下的一个关键模块，对后续的决策和路径规划至关重要。3D目标检测旨在3D空间中识别处物体，预测出物体的类别和3D包围框。通常现在的自动驾驶车辆配备激光雷达传感器去感知周围的环境，通过激光反射采集点云数据，拥有准确的3D空间位置，但是点云通常是稀疏且分布不均匀，远处物体和小物体只能采集到极少数的点。现如今的很多算法都是将某一个时刻采集到的点云数据作为输出来来预测周围环境的物体，虽然这些算法取得了不错的性能，但是单帧的算法都忽略了时序信息的重要性。在实际情况中，由于遮挡等情况，很多时候物体很难依靠在本时刻采集到的点云数据来成功识别，例如，在当前时刻，前方一行人被前车遮挡，未被激光雷达采集到，只依靠本时刻采集到的点云无法检测出前方有行人，这对安全驾驶是重大的隐患。然而在过去的时刻该行人完整的出现在激光采集范围内，算法能够很好的识别出该行人。因此,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时序融合的点云3D目标检测方法，其特征在于，包括：获取一时序的点云数据；将所述点云数据对齐到同一个坐标系下；在目标检测模型的训练过程中，使用时序一致的数据增强方法对所述点云数据进行增强；将数据增强后的所述点云数据编码成鸟瞰图特征图后，使用可变形注意力机制为当前帧的特征图动态的融合过去时刻的特征；将融合的特征图送入到检测头中预测物体。2.根据权利要求1所述的时序融合的点云3D目标检测方法，其特征在于，所述将所述点云数据对齐到同一个坐标系下，包括：使用参数矩阵将过去时刻的点云数据转换到当前帧的激光雷达坐标系，使得所述目标检测模型专注于学习物体在时序移动中的相关性。3.根据权利要求1所述的时序融合的点云3D目标检测方法，其特征在于，所述将所述点云数据对齐到同一个坐标系下，具体如下：其中，是t
‑
1帧时刻将点云从激光雷达坐标系转换到自车坐标系的转换矩阵，是t
‑
1帧时刻将点云从自车坐标系转换到全局坐标系的转换矩阵；相反的，是t时刻将点云从全局坐标系转到当前自车坐标系的转换矩阵，是t时刻将点云从自车坐标系转到激光雷达坐标系，p
t
为当前帧的点云数据，p
t
‑1为过去时刻的点云数据。4.根据权利要求1所述的时序融合的点云3D目标检测方法，其特征在于，所述在目标检测模型的训练过程中，使用时序一致的数据增强方法对所述点云数据进行增强，是指：在目标检测模型训练时为当前场景粘贴额外的物体，将数据增强后的所述点云数据作为训练的数据集。5.根据权利要求4所述的时序融合的点云3D目标检测方法，其特征在于，所述在训练时为当前场景粘贴额外的物体，包括：首先，从训练数据集中生成一个数据库，其中包含所有人工标注的标签及其人工标注的3D边界框内的点；然后，在目标检测模型训练过程中从该数据库中为每个类别随机选择一些人工标注的标签及其人工标注的3D边界框内的点，通过拼接的方式引入到当前训练点云及其人工标注的标签中；最后，在时序维度扩展单帧的数据增强。6.根据权利要求5所述的时序融合的点云3D目标检测方法，其特征在于，所述在时序维度扩展单帧的数据增强，具体为：在时序的设定下，训练场景序列为{p
t
‑
Δt
,Δt＝0,1,2
…
n},从{p
t
′‑
Δt
}中选择一个物体序列{O
t
′‑
Δt
}；其中，转换该物体序列到当前训练场景序列下：O
′
t
′‑
Δt
＝T
t
→
(t
‑
Δt)
×
T
(t
′‑
Δt)
→
t
′
×
O
t
′‑
Δt
上式中，T
(t

【专利技术属性】
技术研发人员：马超，翟进宇，杨小康，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：