基于自注意力机制的4D毫米波三维目标检测方法及系统技术方案

本发明专利技术公开了一种基于自注意力机制的4D毫米波三维目标检测方法，包括：实时采集4D毫米波雷达点云数据并进行预处理；将预处理后的4D毫米波雷达点云数据输入预先训练好的三维目标检测模型，输出目标检测结果；三维目标检测模型包括：鸟瞰视图体素化模块、立柱自注意力特征提取模块、CNN主干网络和PRN检测头；鸟瞰视图体素化模块，用于对4D毫米波雷达点云数据在鸟瞰图视角进行体素化操作，提取整个空间的特征信息F；立柱自注意力特征提取模块，用于利用特征信息F，基于自注意力机制提取点云全局特征，生成一个BEV伪图像；CNN主干网络，用于对BEV伪图像进行特征提取，输出特征图；PRN检测头，用于对特征图进行目标检测，输出3D目标检测结果。检测结果。检测结果。

【技术实现步骤摘要】
基于自注意力机制的4D毫米波三维目标检测方法及系统


[0001]本专利技术涉及自动驾驶领域，具体涉及基于自注意力机制的4D毫米波三维目标检测方法及系统。

技术介绍

[0002]3D目标检测是自主驾驶感知系统中最具挑战性的问题之一，主要的传感器有RGB摄像头、激光雷达和毫米波雷达。传统相机可以显示较为细致的环境信息，拥有色彩信息和明显的物体轮廓，在目标检测中可以达到比较高的识别精度，但是缺少目标的深度信息，且检测结果易受环境光照变化影响；激光雷达(LiDAR)有较好的分辨率，可以较为准确地进行短距离物体测距,但其受天气影响较为严重，尤其能见度低的雨雪天气，探测精度迅速降低，因此在应对极端驾驶场景时具有一定局限性。毫米波雷达(RaDAR)恰好补足了激光雷达的劣势，毫米波在应对极端恶劣天气也具有良好的鲁棒性，探测精度不会因天气的变化而急速下降，同时价格较激光雷达更低，体积更加小巧轻盈，在自动驾驶车辆的传感器配置中具有较高性价比。
[0003]为了满足深度学习网络的输入格式，雷达数据被划分为网格或转换为鸟瞰图。然而，由于3D毫米波雷达数据没有垂直方向的信息，同时加上毫米波雷达点云的稀疏性，使得其在数据处理上具有一定挑战。而4D毫米波雷达具有一定的垂直方向分辨率，可以获得空间的点云信息。工业界和科学界都在积极使用4D毫米波雷达传感器提供物体的三维坐标，从而提升3D目标检测的精度和效果。4D毫米波雷达可以在极端的天气下工作，并且比传统的3D毫米波雷达具有更好的性能，可以全天候、全天时工作，可实现远距离感知与探测。以16线激光雷达为例，数据主要集中在0～70m的范围内，而4D毫米波在0～100m的范围内都会产生有效的数据，但由于传感器角度分辨较弱，远距离点云的垂直信息模糊。目前，基于激光雷达的端到端3D目标检测方法中,点云通常被转换为体素特征，或者直接从点云中提取特征。
[0004]4D毫米波雷达传感器属于新兴技术，且数据集较少。目前大部分的公开数据集中均使用3D毫米波数据，缺少垂直方向的信息，仅包含水平信息和速度信息。本专利技术利用4D毫米波数据的特点，选用Astyx数据集作为训练和测试集，其包含的4D毫米波雷达数据，可以进一步提升单模态毫米波数据在3D目标检测的效果。然而，通用的方法直接应用于4D毫米波雷达点云会造成局部特征在稀疏数据中的表现并不理想。

技术实现思路

[0005]本专利技术的目的在于克服上述技术缺陷，提出了一种基于自注意力机制的4DRaDAR三维物体检测网络RPFA
‑
Net(RaDAR Pillar Feature Attention Network)，旨在调整毫米波数据的输入特征，通过自注意力机制提取点云的全局特征，提高网络对物体方向角的回归能力，进而提高3D目标检测效果。
[0006]为实现上述目的，本专利技术的实施例1提出了一种基于自注意力机制的4D毫米波三
维目标检测方法，所述方法包括：
[0007]实时采集4D毫米波雷达点云数据，并进行预处理；
[0008]将预处理后的4D毫米波雷达点云数据输入预先训练好的三维目标检测模型，输出目标检测结果；所述三维目标检测模型包括：鸟瞰视图体素化模块、立柱自注意力特征提取模块、CNN主干网络和PRN检测头；
[0009]所述鸟瞰视图体素化模块，用于对4D毫米波雷达点云数据在鸟瞰图视角进行体素化操作，提取整个空间的特征信息F；
[0010]所述立柱自注意力特征提取模块，用于利用特征信息F，基于自注意力机制提取点云全局特征，生成一个BEV伪图像；
[0011]所述CNN主干网络，用于对BEV伪图像进行特征提取，输出特征图；
[0012]所述PRN检测头，用于对特征图进行目标检测，输出三维目标检测结果。
[0013]进一步的，所述鸟瞰视图体素化模块的具体实现过程为：
[0014]对4D毫米波雷达点云数据进行映射，投影到水平坐标平面；
[0015]在水平坐标平面划分出的网格设立立柱，每个立柱内都存在点云数据点；每个点云数据点包含4个维度，即x、y、z、r；其中，前三个代表坐标系的三个方向，r代表物体的反射强度。
[0016]进一步的，所述立柱自注意力特征提取模块的具体实现过程包括：
[0017]步骤S1)对输入特征F进行取最大值运算，即找到最能代表立柱的特征，通过全连接层将特征维度扩展到64维：
[0018]F
64
＝Linear(f
max
(F))
[0019]其中，f
max
()是立柱的最大化运算，Linear()是全连接层；F
64
是64维特征矩阵；
[0020]步骤S2)将64维特征矩阵F
64
降至16维特征矩阵F
16
：
[0021]F
16
＝Conv(F
64
)
[0022]其中，Conv()是卷积层；
[0023]步骤S3)将转置得到的16维特征矩阵与原16维特征矩阵做矩阵乘法运算，之后对运算结果进行归一化，得到注意力权重矩阵F
w
：
[0024]F
w
＝Softmax((F
16
)
T
F
16
)
[0025]其中，Softmax()表示归一化函数；
[0026]步骤S4)将注意力权重矩阵F
w
和64维特征矩阵F
64
阵相乘，然后减去F
64
，经过线性层、归一化层和激活函数后得到全局信息特征F
t
：
[0027]F
t
＝ReLU(BN(LN(F
w
F
64
‑
F
64
)))
[0028]其中，BN()和Relu()表示批量归一化层和激活函数；
[0029]步骤S5)将全局信息特征F
t
与64维特征矩阵F
64
相加，得到最终的区域内点云特征矩阵F
out
：
[0030]F
out
＝F
t
+F
64
[0031]步骤S6)按照输入特征F和区域内点云特征矩阵F
out
的具体位置，将F和F
out
映射到水平坐标平面，形成一个BEV伪图像。
[0032]进一步的，所述方法还包括：对所述三维目标检测模型进行训练的步骤，具体包括：
[0033]根据KITTI数据集格式对Astyx数据集进行格式转换；
[0034]对Astyx数据集的4D毫米波雷达点云数据进行旋转压缩处理：
[0035][0036]其中，x和z是4D毫米波雷达点云数据的源坐标，而x
t
和z
t
是4D毫米波雷达点云数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自注意力机制的4D毫米波三维目标检测方法，所述方法包括：实时采集4D毫米波雷达点云数据并进行预处理；将预处理后的4D毫米波雷达点云数据输入预先训练好的三维目标检测模型，输出目标检测结果；所述三维目标检测模型包括：鸟瞰视图体素化模块、立柱自注意力特征提取模块、CNN主干网络和PRN检测头；所述鸟瞰视图体素化模块，用于对4D毫米波雷达点云数据在鸟瞰图视角进行体素化操作，提取整个空间的特征信息F；所述立柱自注意力特征提取模块，用于利用特征信息F，基于自注意力机制提取点云全局特征，生成一个BEV伪图像；所述CNN主干网络，用于对BEV伪图像进行特征提取，输出特征图；所述PRN检测头，用于对特征图进行目标检测，输出三维目标检测结果。2.根据权利要求1所述的基于自注意力机制的4D毫米波三维目标检测方法，其特征在于，所述鸟瞰视图体素化模块的具体实现过程为：对4D毫米波雷达点云数据进行映射，投影到水平坐标平面；在水平坐标平面划分出的网格设立立柱，每个立柱内都存在点云数据点；每个点云数据点包含4个维度，即x、y、z、r；其中，前三个代表坐标系的三个方向，r代表物体的反射强度。3.根据权利要求1所述的基于自注意力机制的4D毫米波三维目标检测方法，其特征在于，所述立柱自注意力特征提取模块的具体实现过程包括：步骤S1)对输入特征F进行取最大值运算，即找到最能代表立柱的特征，通过全连接层将特征维度扩展到64维：F
64
＝Linear(f
max
(F))其中，f
max
()是立柱的最大化运算，Linear()是全连接层；F
64
是64维特征矩阵；步骤S2)将64维特征矩阵F
64
降至16维特征矩阵F
16
：F
16
＝Conv(F
64
)其中，Conv()是卷积层；步骤S3)将转置得到的16维特征矩阵与原16维特征矩阵做矩阵乘法运算，之后对运算结果进行归一化，得到注意力权重矩阵F
w
：F
w
＝Softmax((F
16
)
T
F
16
)其中，Softmax()表示归一化函数；步骤S4)将注意力权重矩阵F
w
和64维特征矩阵F
64
阵相乘，然后减去F
64
，经过线性层、归一化层和激活函数后得到全局信息特征F
t
：F
t
＝ReLU(BN(LN(F
w
F
64
‑
F
64
)))其中，BN()和Relu()表示批量归一化层和激活函数；步骤S5)将全局信息特征F
t
与64维特征矩阵F
64
相加，得到最终的区域内点云特征矩阵F
out
：F
out
＝F
t
+F
64
步骤S6)按照输入特征F和区域内点云特征矩阵F
out
的具体位置，将F和F
out
映射到水平坐标平面，形成一个BEV伪图像。
4.根据权利要求1所述的基于自注意力机制的4D毫米波三维目标检测方法，其特征在于，所述方法还包括：对所述三维目标检测模型进行训练的步骤，具体包括：根据KITTI数据集格式对Astyx数据集进行格式转换；对Astyx数据集的4D毫米波雷达点云数据进行旋转压缩处理：其中，x和z是4D毫米波雷达点云数据的源坐标，而x
t
和z
t
是4D毫米波雷达点云数据旋转压缩后的坐标；β＝0.1035倍；将旋转压缩处理后的Astyx数据集的4D毫米波雷达点云数据作为训练集，对三维目标检测模型进行训练。5.一种基于自注意力机制的4D毫米波三维目标检测...

【专利技术属性】
技术研发人员：张新钰，王力，李骏，徐保伟，胡晓梅，由智文，李志伟，
申请(专利权)人：清华大学，
类型：发明
国别省市：