基于车载4D雷达点云的深度学习网络制造技术

本发明专利技术提出了一种基于车载4D雷达点云的深度学习网络，包含以下步骤：S1、采集场景数据以形成4D雷达点云数据集，并划分为训练集、验证集及测试集；S2、将训练集中场景点云数据划分为多个空间区域，并通过密度感知PointRCNN网络学习不同空间区域内的点云分布特征；S3、逐点学习点的全局语义特征，搜索遍历空间区域后从输入点云中分割出前景点，并生成3D提议框，以估计车辆目标位置与尺寸；S4、通过局部坐标转换学习局部特征，优化3D提议框的位置和方向，从而生成检测车辆目标的3D边界框；S5、设置网络损失函数，并结合验证集训练密度感知PointRCNN网络模型直至其收敛。本发明专利技术可以获得更稳健的网络模型和更强的目标检测能力。得更稳健的网络模型和更强的目标检测能力。得更稳健的网络模型和更强的目标检测能力。

【技术实现步骤摘要】
基于车载4D雷达点云的深度学习网络


[0001]本专利技术涉及4D雷达点云车辆目标检测技术，尤其涉及一种基于车载4D雷达点云的深度学习网络。

技术介绍

[0002]在先进驾驶辅助系统(Advanced Driving Assistance System，ADAS)快速发展的大环境下，4D毫米波雷达系统因其低成本和不受恶劣环境影响的优势受到研究人员广泛关注，具有重要研究意义，考虑到4D毫米波雷达的种种优势，对该系统的车辆目标检测技术研究迫在眉睫，目前相关研究尚少，单独依靠4D雷达对环境进行感知也是一次重要尝试。
[0003]以往毫米波雷达主要利用在车辆目标处产生的散射场特征，如回波幅值、相位、极化等，通过回波建模等方案实现车辆目标检测。然而此类检测方案中信息表征较复杂，如在行驶过程中车辆目标姿态变化复杂，车辆引擎震动、行人肢体摆动等会使多普勒特征产生非线性变化，导致成像模糊，且以往方案检测分辨力、泛化能力待提升，很难满足ADAS技术的实时性需求。
[0004]相比于雷达传统回波特征，点云数据能提供更准确的车辆目标几何形状，受车辆目标运动影响较小，且与Mesh、体素等类型相比表达简单，便于满足ADAS系统端到端的应用需求，提高车辆感知系统的可靠性和稳定性。故将4D雷达回波信号处理输出为点云形式，简洁有力地表征空间车辆目标信息，并与现有点云车辆目标检测技术相结合展开研究。目前基于激光雷达3D点云的车辆目标检测方案取得较大进展，但4D毫米波雷达点云数据远稀疏于激光雷达，且系统常在复杂道路交通环境下工作，如何利用4D雷达点云捕获到实时准确的车辆目标信息仍需深入研究。

技术实现思路

[0005]本专利技术提出了一种基于车载4D雷达点云的深度学习网络，以解决目前4D毫米波雷达车辆目标检测方案匮乏、检测准确度较低的难题，具有探索车载4D毫米波雷达独立开展环境感知工作的潜能。
[0006]为了达到上述目的，本专利技术提出了一种基于车载4D雷达点云的深度学习网络，具体包含以下步骤：
[0007]S1、采集场景数据以形成4D雷达点云数据集，并划分为训练集、验证集及测试集；
[0008]S2、基于雷达点云分布特性，将训练集中场景点云数据划分为多个空间区域，并通过密度感知PointRCNN网络学习不同空间区域内的点云分布特征；
[0009]S3、逐点学习点云全局语义特征，搜索遍历空间区域后从输入点云中分割出前景点，并根据前景点分布特点生成与前景点对应的3D提议框，以估计车辆目标位置与尺寸；
[0010]S4、通过局部坐标转换学习前景点云局部特征，以此优化3D提议框的位置和方向，从而生成检测车辆目标的3D边界框；
[0011]S5、设置网络损失函数，并结合验证集训练密度感知PointRCNN网络模型，直至其
收敛；
[0012]S6、采用测试集上对步骤S5训练得到的密度感知PointRCNN网络模型进行测试，实现车辆目标的检测。
[0013]进一步地，采用数据采集系统采集场景数据，以形成4D雷达点云数据集；所述数据采集系统包含4D毫米波雷达、激光雷达、相机，所述4D毫米波雷达、激光雷达及相机同时采集场景数据。
[0014]进一步地，所述4D雷达点云数据集的生成方法，具体包含以下步骤：
[0015]S1.1、对4D毫米波雷达所采集的4D雷达点云场景进行筛选，并对点云场景中的数据帧进行采样；
[0016]S1.2、对齐4D毫米波雷达、激光雷达以及相机所采集的数据的时间戳，以实现时间同步；
[0017]S1.3、将4D毫米波雷达、激光雷达所采集的关键帧数据转换至同一坐标系中，以实现空间同步；
[0018]S1.4、参照激光雷达、相机所拍摄的场景，开展4D毫米波雷达点云标注工作，最终生成4D雷达点云数据集。
[0019]进一步地，所述步骤S2中，基于训练集中4D雷达点云数据的分布特性，将各场景中点云数据按距离范围划分成三个空间区域，分别为：近区域、中区域及远区域，相邻区域间允许有重叠。
[0020]进一步地，所述步骤S2中，基于训练集中4D雷达点云数据的分布特性，将各场景中点云数据按距离范围划分成三个空间区域，分别为近区域、中区域及远区域，相邻区域间允许有重叠。
[0021]进一步地，所述步骤S2中，所述密度感知PointRCNN网络的主干网络包含有三个分支网络，所述三个空间区域内的点云数据分别对应输入到所述三个分支网络；采用不确定度的采样方法合理设定每个分支网络的输入点数，以均衡各区域内车辆目标的检测效果。
[0022]进一步地，所述不确定度的采样方法为：
[0023]统计获得近区域、中区域和远区域内点云数据平均值为m1、m2、m3；
[0024]统计得到近区域、中区域和和远距离区域内点云数据的标准偏差σ1、σ2、σ3；
[0025]采用划分规则：m1+α
·
σ1、m2+β
·
σ2、m3+γ
·
σ3分别从所述近区域、中区域及远区域中采样。
[0026]进一步地，所述步骤S3中根据3D提议框估计车辆目标位置与尺寸的方法，包含以下步骤：
[0027]S3.1、对前景点的X、Z方向限制搜索距离，并按一定长度将搜索距离划分为均匀的区域段；
[0028]S3.2、使用基于区域段的交叉熵损失函数进行车辆目标定位优化；
[0029]S3.3、将方向2π划分为n个均匀区间，并沿X、Z方向分别计算残差回归角度和区域分类角度以此估计车辆目标朝向θ；
[0030]S3.4、计算车辆目标平均尺寸残差回归获得车辆目标尺寸(h,w,l)；
[0031]所述车辆目标定位的公式如下：
[0032][0033][0034][0035]式中，(x
(p)
,y
(p)
,z
(p)
)表示感兴趣的前景点位置，(x
p
,y
p
,z
p
)为车辆目标中心，是点在X和Z方向的位置，为区域段中的残差，用于优化定位准确性，为y方向的估计误差。
[0036]进一步地，所述步骤S4具体包含以下步骤：
[0037]S4.1、放大3D提议框以对前景点及对应局部特征进行池化操作；
[0038]S4.2、对于每个前景点，判断前景点是否包含在放大后的新的3D提议框内；若包含，则保留该前景点及其特征以微调3D提议框；
[0039]S4.3、将新的3D提议框内的池化点进行局部坐标系转换；
[0040]S4.4、基于局部坐标系对3D提议框局部空间特征进行学习；
[0041]S4.5、通过编码使提议框的局部空间特征维度与全局语义特征相同，连接局部、全局特征并送入点云编码器中进行学习，用于微调边界框及优化置信度分类；
[0042]S4.6、利用非极大值抑制作边界框去重，得到车辆目标准确3D边界框。
...

【技术保护点】

【技术特征摘要】
1.一种基于车载4D雷达点云的深度学习网络，其特征在于，包含以下步骤：S1、采集场景数据以形成4D雷达点云数据集，并划分为训练集、验证集及测试集；S2、基于雷达点云分布特性，将训练集中场景点云数据划分为多个空间区域，并通过密度感知PointRCNN网络学习不同空间区域内的点云分布特征；S3、逐点学习点云全局语义特征，搜索遍历空间区域后从输入点云中分割出前景点，并根据前景点分布特点生成与前景点对应的3D提议框，以估计车辆目标位置与尺寸；S4、通过局部坐标转换学习前景点云局部特征，以此优化3D提议框的位置和方向，从而生成检测车辆目标的3D边界框；S5、设置网络损失函数，并结合验证集训练密度感知PointRCNN网络模型，直至其收敛。2.如权利要求1所述的基于车载4D雷达点云的深度学习网络，其特征在于，还包含以下步骤：S6、采用测试集上对步骤S5训练得到的密度感知PointRCNN网络模型进行测试，实现车辆目标的检测。3.如权利要求1所述的基于车载4D雷达点云的深度学习网络，其特征在于，采用数据采集系统采集场景数据，以形成4D雷达点云数据集；所述数据采集系统包含4D毫米波雷达、激光雷达、相机，所述4D毫米波雷达、激光雷达及相机同时采集场景数据。4.如权利要求3所述的基于车载4D雷达点云的深度学习网络，其特征在于，所述4D雷达点云数据集的生成方法，具体包含以下步骤：S1.1、对4D毫米波雷达所采集的4D雷达点云场景进行筛选，并对点云场景中的数据帧进行采样；S1.2、对齐4D毫米波雷达、激光雷达以及相机所采集的数据的时间戳，以实现时间同步；S1.3、将4D毫米波雷达、激光雷达所采集的关键帧数据转换至同一坐标系中，以实现空间同步；S1.4、参照激光雷达、相机所拍摄的场景，开展4D毫米波雷达点云标注工作，最终生成4D雷达点云数据集。5.如权利要求1所述的基于车载4D雷达点云的深度学习网络，其特征在于，所述步骤S2中，基于4D雷达点云数据的分布特性，将各场景中点云数据按距离范围划分成三个空间区域，分别为近区域、中区域及远区域，相邻区域间允许有重叠。6.如权利要求5所述的基于车载4D雷达点云的深度学习网络，其特征在于，所述步骤S2中，所述密度感知PointRCNN网络的主干网络包含有三个分支网络，所述三个空间区域内的点云数据分别对应输入到所述三个分支网络；采用不确定度的采样方法合理设定每个分支网络的输入点数，以均衡各空间区域内车辆目标的检测效果。7.如权利要求6所述的基于车载4D雷达点云的深度学习网络，其特征在于，所述不确定度的采样方法为：统计获得近区域、中区域和远区域内点云数据平均值为m1、m2、m3；统计得到近区域、中区域和和远距离区域内点云数据的标准偏差σ1、σ2、σ3；采用划分规则：m1+α
·
σ1、m2+β
·
σ2、m3+γ
·
σ3分别从所述近区域、中区域及远区域中采样；其中，α、β、γ均为系数。
8.如权利要求1所述的基于车载4D雷达点云的深度学习网络，其特征在于，所述步骤S3中根据3D提议框估计车辆目标位置与尺寸的方法，包含以下步骤：S3.1、对前景点的X、Z方向限制搜索距离，并按一定长度将搜索距离划分为均匀的区域段；S3.2、使用基于区域段的交叉熵损失函数进行车辆目标...

【专利技术属性】
技术研发人员：李小柳，魏维伟，付朝伟，席光荣，李由之，尹洁珺，柯文雄，郑成鑫，张中泽，
申请(专利权)人：上海无线电设备研究所，
类型：发明
国别省市：