一种多模态融合的3D目标检测方法技术

本发明专利技术涉及一种多模态融合的3D目标检测方法，首先构建整体网络，所述整体网络包括是激光雷达特征提取分支、4D毫米波特征提取分支、特征融合模块、2D骨干网和RPN检测头，然后获取自动驾驶的真实数据对整体网络进行训练，最后将当前采集的激光雷达点云数据和4D毫米波点云数据输入训练好的整体网络，输出检查结果。通过实验证明该方法的有效性，并通过与其他方法在Astyx HiRes2019数据集上进行对比实验，展示了本发明专利技术具有最佳的性能表现。展示了本发明专利技术具有最佳的性能表现。展示了本发明专利技术具有最佳的性能表现。

【技术实现步骤摘要】
一种多模态融合的3D目标检测方法


[0001]本专利技术涉及自动驾驶
，特别涉及一种多模态融合的3D目标检测方法。

技术介绍

[0002]自动驾驶技术是现代科技高速发展的产物之一，也是汽车行业对创新不懈追求的体现。作为现代交通领域的重要参与者，汽车行业一直在积极探索和应用各种高科技技术。随着人工智能技术和计算机视觉等领域的不断进步，自动驾驶技术已经成为汽车行业未来发展的趋势，吸引着越来越多的厂商竞相投入。此外，智能化、新能源和联网化也是汽车行业发展的关键目标，这些新技术的应用将极大地改变我们的出行方式和生活方式。随着各种新技术的涌现，汽车行业将不断推动产业革命的加速，为人类出行带来更多的便利和安全。
[0003]自动驾驶汽车通过搭载多种先进传感器在汽车平台上收集数据，结合计算机视觉和其他人工智能技术，使汽车能够自主驾驶，协助驾驶员安全高效地完成驾驶任务。
[0004]在自动驾驶感知系统中，3D目标检测任务是其中最重要的环节之一。它能够快速、准确地识别和定位三维空间中的目标，为智能驾驶提供关键支持。传统的3D目标检测方法通常本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态融合的3D目标检测方法，其特征在于：包括如下步骤：S1：构建整体网络，所述整体网络包括是激光雷达特征提取分支、4D毫米波特征提取分支、特征融合模块、2D骨干网和RPN检测头；所述激光雷达特征提取分支和4D毫米波特征提取分支采用相同的特征提取模块；S2：获取自动驾驶的真实数据对整体网络进行训练：激光雷达特征提取分支对激光雷达的点云数据进行特征提取得到雷达特征，4D毫米波特征提取分支对4D毫米波的点云数据进行特征提取得到毫米波特征，雷达特征和毫米波特征输入特征融合模块得到伪图像，再将伪图像输入2D骨干网提取伪图像特征，最后将伪图像特征输入RPN检测头回归出最终的检测结果；采用深度学习框架进行训练，当损失函数的值不再变化，则得到训练好的整体网络；S3：将当前采集的激光雷达点云数据和4D毫米波点云数据输入训练好的整体网络，输出检查结果。2.如权利要求1所述的多模态融合的3D目标检测方法，其特征在于：所述S2中激光雷达特征提取分支对激光雷达的点云数据进行特征提取的过程如下：激光雷达点云输入N
×
4维的向量数据，首先将原始点云体素化转换成立柱pillar的形式，接着将每个立柱中的点从4个维度(x,y,z,r)扩展到10个维度(x,y,z,r,x
c
,y
c
,z
c
,x
p
,y
p
,z
p
)，其中下标c表示对立柱中所有点的算术平均值的偏差，下标p表示对立柱中心的偏差，r表示反射率；每一帧激光雷达的点云数据只选择p个非空立柱，在每个立柱中选择N个点作为抽样，如果小于N个点的立柱用零填充，得到了一个大小为(D,P,N)的立柱特征作为雷达特征，其中D是一个点的维数。3.如权利要求2所述的多模态融合的3D目标检测方法，其特征在于：所述S2中特征融合模块得到伪图像的过程如下：特征融合模块采用基于自注意力机制的多模态融合模块LR
‑
Fusion，特征融合模块的输入特征是之前提取(D,P,N)，首先降低输入特征的维数来降低计算量：其中，O
L
和O
R
分别表示输入特征即雷达特征和毫米波特征，F
L
，F
R
分别表示雷达特征和毫米波特征的输出特征；化简后如式(2)所示；其中，U
L
和U
R
分别表示化简后雷达特征和毫米波特征的输出特征，LN(
·
)、MP(
·
)、Conv(
·
)分别表示全连接层、最大池化层和卷积层；然后式(3)计算两组注意权重来融合两种模态特征，使用Softmax来计算注意力权重，其中W
R
←
L
为激光雷达向毫米波传输的特征，W
L
←
R
为相反方向的特征；其中Softmax(
·
)为激活函数；
式(4)将关联注意权重W
R
←
L
右乘以特征U
R
，再减去特征U
L
，然后经过线性层、归一化层和激活函数，生成激光雷达特征的...

【专利技术属性】
技术研发人员：冯欣，曾俊贤，单玉梅，何桢苇，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：