一种基于4D毫米波雷达点云的3D目标检测方法技术

本发明专利技术公开了一种基于4D毫米波雷达点云的3D目标检测方法，通过4D毫米波雷达点云增密模块和多尺度注意力特征提取模块解决当前4D毫米波雷达点云较为稀疏，缺少目标语义信息等问题。该方法包括对输入的4D毫米波雷达点云进行增密，然后将点云空间的体素中的点做特征平均，并将体素中的点送入3D骨干网络进行卷积处理，进而得到不同尺度不同高度下的3D特征，最后得到BEV的特征数据后进行特征提取，实现目标物体的3D框位置大小、分类、方向的预测。方向的预测。方向的预测。

【技术实现步骤摘要】
一种基于4D毫米波雷达点云的3D目标检测方法


[0001]本专利技术属于自动驾驶感知领域，具体涉及一种基于4D毫米波雷达点云的3D目标检测方法，尤其是涉及一种基于深度学习的4D毫米波雷达点云特征提取与目标检测技术。

技术介绍

[0002]近年来，自动驾驶因其减轻驾驶员负担、提高行车安全的潜力而受到越来越多的关注。在现代自动驾驶系统中，感知系统是不可或缺的组成部分，旨在准确估计周围环境的状态，并为预测和规划提供可靠的观察结果。自动驾驶场景下的3D目标检测的主要任务是通过对不同传感器输入数据的处理,输出目标物体的类别和精确位置。一般来说用到的传感器主要有，激光雷达，毫米波雷达，摄像头等。
[0003]目前的3D目标检测算法的研究主要集中在lidar和camera和他们的融合方面，主要是因为lidar生成的点云能够提供目标物体的精确的位置，形状信息。然而激光雷达受限于其高昂的成本以及对雨、雾强光等恶劣天气条件影响大的原因，并不是一个很好的解决方案。基于摄像头所提供图片的2D目标检测的研究目前已经发展的较为成熟。但是摄像头仅仅能够提供2D平面的语义特征，对3D目标检测所需要的深度、方位等空间信息帮助很小，并且同激光雷达一样受光线和天气的影响大。传统低成本的毫米波Radar(x,y,v)对恶劣天气条件鲁棒性高，而且能够提供自动驾驶环境下重要的目标物体速度信息，但是受限于当时雷达技术水平的原因，传统的雷达角分辨率底且缺少高度信息其产生的点云十分稀疏，因此很少用作3D目标检测。新一代的4DRadar有望解决这个问题。/>[0004]4D毫米波雷达的四个维度是距离，方位角、仰角和多普勒速度，通过公式转换可以将其转换到常用的3D坐标系下(x,y,z,v)表示。新一代的高分辨率4D毫米波成像雷达的出现弥补了传统毫米波雷达的低清晰度、缺少高度信息的短板，有着于激光雷达相似的点云输出能力。4D毫米波雷达与激光雷达相比，量产成本接近于传统毫米波雷达，并且受天气影响小，能够实现全天候安全、高速的运行，另外利用毫米波雷达的多普勒效应能够精确地估计目标的速度，方向。为此，对其开展深入研究具有非常重要的研究价值和应用前景。

技术实现思路

[0005]专利技术目的：本专利技术提供一种基于4D毫米波雷达的目标检测方法，使用4D毫米波雷达点云增密模块和多尺度注意力特征提取模块解决当前4D毫米波雷达点云较为稀疏，缺少目标语义信息等问题。
[0006]技术方案：一种基于4D毫米波雷达点云的3D目标检测方法，所述方法通过4D毫米波雷达点云增密模块和多尺度注意力特征提取模块进行4D毫米波雷达点云特征的提取，实现目标物体3D包围框的回归，包括如下步骤：
[0007](1)输入的4D毫米波雷达点云进行增密操作，将每一个原始雷达点作为关键点，每一个关键点都有相应的三维位置向量v
i
和特征向量f
i
，对于每个关键点进行偏移处理，随后将关键点和原始点云进行相加，得到密集的4D毫米波雷达点云数据；
[0008](2)用步骤(1)得到的点云数据将整个点云空间分为L*W*H的体素，然后对每个体素中的点做特征平均，得到每一个体素的特征，并将体素中的点送入3D骨干网络；
[0009](3)基于三维稀疏卷积对3D骨干网络进行3d稀疏特征的采样，包括基于Spatially Sparse Convolution执行步长以1、或2的整数倍进行采样，还包括在3d稀疏特征的融合处理上，将体素的特征采样划分为两个及以上的分支进行处理，最后将不同的分支下的3D稀疏特征转为体素下的3D特征，并在高度的维度上拼接，得到不同尺度不同高度下的3D特征；
[0010](4)根据步骤(3)得到的3D特征利用SEattention中的Squeeze and excitation操作，提取全局信息并生成权重向量，接着将权重向量与原始3D特征在高度的维度上相乘，包括对其中的部分特征进行增强，得到特征增强后的3D特征；
[0011](5)将含有高度的3D特征压缩为2D的BEV特征，在获得BEV的特征数据后，对该特征在BEV的视角上进行特征提取、拼接，最后送入检测头；
[0012](6)检测头RPN网络生成三个分支，分别对目标物体的3D框位置大小、分类、方向进行预测。
[0013]进一步的，步骤(1)对于关键点的处理包括如下具体步骤：
[0014](11)对每个关键点的三维位置向量和特征向量执行偏移计算，得到新的特征向量f'
i
，计算表达式如下所示：
[0015][0016]其中，ReLU为激活函数，W
offset
为一个可学习的权重矩阵，N(i)为第i个关键点的相邻点云；
[0017](12)计算经步骤(11)处理得到的新的关键点的位置向量v'
i
：
[0018]v
′
i
＝v
i
+tanh(W
align
[f
′
i
])
[0019]其中，tanh为激活函数，W
align
为一个可学习的权重矩阵，对点云空间中每一个关键点做偏移并与原始点云相加，得到密集的4D毫米波雷达点云数据。
[0020]步骤(3)所述的三维稀疏卷积包括Spatially Sparse Convolution和Submanifold Sparse Convolution两种方式。
[0021]更进一步的说，步骤(3)对于3D骨干网络包括采用3x3x3的三维稀疏卷积对网络进行下采样为1x,2x,4x,8x的3d稀疏特征，然后选择2x，4x,8x三个尺度的特征进行融合；
[0022]分支一：将2x特征先进行一次步长为2的Spatially Sparse Convolution下采样，接着分支一的特征再进行一次步长为1的稀疏卷积，获得尺度与4x相同稀疏特征；
[0023]分支二：将4x特征使用一次步长为1的稀疏卷积获得更为密集的稀疏特征；
[0024]分支三：使用Sparse Inverse Convolution上采样，得到与分支一和分支二二相同尺度的3d稀疏特征，然后将三个分支得到的3D稀疏特征转为体素下的3D特征，并将三者在高度的维度上拼接，得到不同尺度不同高度下的3D特征。
[0025]进一步的，步骤(5)具体是对特征图进行不同尺度的下采样，接着对不同尺度的进行多次卷积提取信息，然后再进行上采用后在通道维度进行拼接。
[0026]有益效果：与现有技术相比，本专利技术所提供的方法首先是对于4D毫米波雷达点云进行增密操作，然后在体素特征的提取上进行三维的稀疏卷积和压缩至二维空间进行处理，其中还进行了三维空间下稀疏特征的增强，不仅仅是4D毫米波雷达点云对于3D目标检
测能力和质量的提升，还相比现有技术在精度和网络模型的运行效率上也有很大的提升，具有较佳的应用前景和应用意义。
附图说明
[0027]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于4D毫米波雷达点云的3D目标检测方法，其特征在于：所述方法通过4D毫米波雷达点云增密模块和多尺度注意力特征提取模块进行4D毫米波雷达点云特征的提取，实现目标物体3D包围框的回归，包括如下步骤：(1)输入的4D毫米波雷达点云进行增密操作，将每一个原始雷达点作为关键点，每一个关键点都有相应的三维位置向量v
i
和特征向量f
i
，对于每个关键点进行偏移处理，随后将关键点和原始点云进行相加，得到密集的4D毫米波雷达点云数据；(2)用步骤(1)得到的点云数据将整个点云空间分为L*W*H的体素，然后对每个体素中的点做特征平均，得到每一个体素的特征，并将体素中的点送入3D骨干网络；(3)基于三维稀疏卷积对3D骨干网络进行3d稀疏特征的采样，包括基于Spatially Sparse Convolution执行步长以1、或2的整数倍进行采样，还包括在3d稀疏特征的融合处理上，将体素的特征采样划分为两个及以上的分支进行处理，最后将不同的分支下的3D稀疏特征转为体素下的3D特征，并在高度的维度上拼接，得到不同尺度不同高度下的3D特征；(4)根据步骤(3)得到的3D特征利用SE attention中的Squeeze and excitation操作，提取全局信息并生成权重向量，接着将权重向量与原始3D特征在高度的维度上相乘，包括对其中的部分特征进行增强，得到特征增强后的3D特征；(5)将含有高度的3D特征压缩为2D的BEV特征，在获得BEV的特征数据后，对该特征在BEV的视角上进行特征提取、拼接，最后送入检测头；(6)检测头RPN网络生成三个分支，分别对目标物体的3D框位置大小、分类、方向进行预测。2.根据权利要求1所述的基于4D毫米波雷达点云的3D目标检测方法，其特征在于：步骤(1)对于关键点的处理包括如下具体步骤：(11)对每个关键点的三维位置向量和特征向量执行偏移计算，得到新的特征向量f
′
i
，计算表达式如下所示：其中，ReL...

【专利技术属性】
技术研发人员：郝洁，周一男，吴强，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：