毫米波雷达点云降噪方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种毫米波雷达点云降噪方法、装置、设备及存储介质，属于图像处理技术领域。该方法包括：将若干帧毫米波雷达点云进行叠加，得到毫米波雷达稠密点云，其中，所述若干帧毫米波雷达点云均位于同一车辆坐标系下；通过点云二分类网络，对所述毫米波雷达稠密点云进行分类，确定所述毫米波雷达稠密点云中每个点属于有效点或者噪点；从所述毫米波雷达稠密点云中剔除属于噪点的点，得到降噪后的毫米波雷达稠密点云。本申请旨在提升多帧叠加得到的毫米波稠密点云的质量，解决现有多帧叠加得到的毫米波稠密点云中存在较多的噪点，质量较低的技术问题。的技术问题。的技术问题。

【技术实现步骤摘要】
毫米波雷达点云降噪方法、装置、设备及存储介质


[0001]本申请涉及图像处理
，尤其涉及一种毫米波雷达点云降噪方法、装置、设备及存储介质。

技术介绍

[0002]在自动驾驶过程中，通过获取设置在车身上不同传感器(相机、激光雷达、超声波雷达和毫米波雷达)的传感数据，来实现自动驾驶不同的任务及级别。相较于其他三种传感器，毫米波雷达在恶劣天气下，鲁棒性较强，可以协助多种自动驾驶任务，但是相较于激光雷达点云，毫米波点云较为稀疏，在实际应用时，需叠加多帧毫米波点云来得到毫米波稠密点云。然而单帧毫米波点云中通常存在噪点，在将多帧毫米波点云叠加得到毫米波稠密点云的同时，会将噪点也一起进行叠加，使得毫米波稠密点云中存在较多的噪点，质量较低。

技术实现思路

[0003]有鉴于此，本申请提供一种毫米波雷达点云降噪方法、装置、设备及存储介质，旨在提升多帧叠加得到的毫米波稠密点云的质量，解决现有多帧叠加得到的毫米波稠密点云中存在较多的噪点，质量较低的技术问题。
[0004]本申请提供一种毫米波雷达点云降噪方法，包括以下步骤：
[0005]将若干帧毫米波雷达点云进行叠加，得到毫米波雷达稠密点云，其中，所述若干帧毫米波雷达点云均位于同一车辆坐标系下；
[0006]通过点云二分类网络，对所述毫米波雷达稠密点云进行分类，确定所述毫米波雷达稠密点云中每个点属于有效点或者噪点；
[0007]从所述毫米波雷达稠密点云中剔除属于噪点的点，得到降噪后的毫米波雷达稠密点云。
[0008]在本申请的一种可能的实施方式中，所述通过点云二分类网络，对所述毫米波雷达稠密点云进行分类，确定所述毫米波雷达稠密点云中每个点属于有效点或者噪点的步骤，包括：
[0009]对所述毫米波雷达稠密点云进行体素化处理，得到若干体素；
[0010]提取每一体素的体素特征，其中，所述体素特征包括所述体素中包含的毫米波雷达点云在体素坐标系下的位置坐标、所述体素中包含的毫米波雷达点云所对应的质心在车辆坐标系下的位置坐标、以及所述体素中包含的毫米波雷达点云与所述质心的距离；
[0011]将每一所述体素的体素特征输入至点云二分类网络中，输出得到每一所述体素对应的概率预测值，其中，所述点云二分类网络是基于稀疏卷积的神经网络；
[0012]若所述概率预测值大于预设概率阈值，则确定所述体素中包含的毫米波雷达点云均属于有效点；
[0013]若所述概率预测值小于等于预设概率阈值，则确定所述体素中包含的毫米波雷达点云均属于噪点。
[0014]在本申请的一种可能的实施方式中，所述对所述毫米波雷达稠密点云进行体素化处理，得到若干体素的步骤之前，还包括：
[0015]将所述毫米波雷达稠密点云的位置坐标中的Z轴值，更新为预设Z轴阈值，得到更新后的毫米波雷达稠密点云；
[0016]所述对所述毫米波雷达稠密点云进行体素化处理，得到若干体素的步骤，包括：
[0017]对更新后的毫米波雷达稠密点云进行体素化处理，得到若干体素。
[0018]在本申请的一种可能的实施方式中，所述点云二分类网络通过如下方式训练得到：
[0019]构建基于稀疏卷积的预设点云二分类网络；
[0020]获取同一时刻的原始毫米波雷达稠密点云和激光雷达点云，其中，所述原始毫米波雷达稠密点云和所述激光雷达点云均位于同一车辆坐标系下；
[0021]基于所述激光雷达点云，对所述原始毫米波雷达稠密点云进行标注，得到所述原始毫米波雷达稠密点云的实际类别标签；
[0022]对标注后的原始毫米波雷达稠密点云进行体素化处理，得到若干体素；
[0023]提取所述体素的体素特征，作为训练样本数据，其中，所述体素特征包括：所述体素中包含的原始毫米波雷达稠密点云在体素坐标系下的位置坐标、所述体素中包含的原始毫米波雷达稠密点云所对应的质心在车辆坐标系下的位置坐标、以及所述体素中包含的原始毫米波雷达稠密点云与所述质心的距离；
[0024]将所述训练样本数据输入至所述预设点云二分类网络，输出所述训练样本数据对应的概率预测值；
[0025]根据所述概率预测值，确定所述训练样本数据对应的体素中包含的原始毫米波雷达稠密点云的预测类别标签；
[0026]判断根据所述实际类别标签和所述预测类别标签计算的网络损失是否收敛，若所述网络损失未收敛，则依据所述网络损失，对所述预设点云二分类网络进行更新，并返回执行将所述训练样本数据输入至所述预设点云二分类网络，输出所述训练样本数据对应的概率预测值的步骤及后续步骤，直至所述网络损失收敛，以得到训练好的点云二分类网络。
[0027]在本申请的一种可能的实施方式中，所述基于所述激光雷达点云，对所述原始毫米波雷达稠密点云进行标注的步骤，包括：
[0028]对所述激光雷达点云和所述原始毫米波雷达稠密点云进行聚类，并对聚类后的激光雷达点云和原始毫米波雷达稠密点云进行关键点提取，得到激光雷达点云关键点集和原始毫米波雷达稠密点云关键点集，其中，所述关键点为每一聚类簇中包含的点云所对应的质心；
[0029]对所述激光雷达点云关键点集和原始毫米波雷达稠密点云关键点集中，存在对应关系的激光雷达点云关键点和原始毫米波雷达稠密点云关键点，进行两点之间的距离计算，若所述距离小于预设第一距离阈值，则对所述激光雷达点云关键点和所述原始毫米波雷达稠密点云关键点之间的对应关系进行保留，反之，则对所述激光雷达点云关键点和所述原始毫米波雷达稠密点云关键点之间的对应关系不予保留；
[0030]基于保留对应关系的激光雷达点云关键点和原始毫米波雷达稠密点云关键点，从所述激光雷达点云中提取所述激光雷达点云关键点对应聚类簇中的激光雷达点云，从所述
原始毫米波雷达稠密点云中提取所述原始毫米波雷达稠密点云关键点对应聚类簇中的原始毫米波雷达稠密点云；
[0031]计算同一聚类中的激光雷达点云和原始毫米波雷达稠密点云之间的距离，若所述距离大于预设第二距离阈值，则将所述原始毫米波雷达稠密点云标注为噪点，反之，则将所述原始毫米波雷达稠密点云标注为有效点。
[0032]在本申请的一种可能的实施方式中，所述预设第一距离阈值，与所述激光雷达点云关键点或者所述原始毫米波雷达稠密点云关键点与所述车辆坐标系的原点之间的距离成正比。
[0033]本申请还提供一种毫米波雷达点云降噪装置，所述装置包括：
[0034]预处理模块，用于将若干帧毫米波雷达点云进行叠加，得到毫米波雷达稠密点云，其中，所述若干帧毫米波雷达点云均位于同一车辆坐标系下；
[0035]分类模块，用于通过训练得到的点云二分类网络，对所述毫米波雷达稠密点云进行分类，确定所述毫米波雷达稠密点云中每个点属于有效点或者噪点；
[0036]降噪模块，用于从所述毫米波雷达稠密点云中剔除属于噪点的点，得到降噪后的毫米波雷达稠密点云。
[0037]在本申请的一种可能的实施方式中，所述分类模块包括：体素化单元，用于对所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种毫米波雷达点云降噪方法，其特征在于，所述毫米波雷达点云降噪方法包括以下步骤：将若干帧毫米波雷达点云进行叠加，得到毫米波雷达稠密点云，其中，所述若干帧毫米波雷达点云均位于同一车辆坐标系下；通过点云二分类网络，对所述毫米波雷达稠密点云进行分类，确定所述毫米波雷达稠密点云中每个点属于有效点或者噪点；从所述毫米波雷达稠密点云中剔除属于噪点的点，得到降噪后的毫米波雷达稠密点云。2.如权利要求1所述的毫米波雷达点云降噪方法，其特征在于，所述通过点云二分类网络，对所述毫米波雷达稠密点云进行分类，确定所述毫米波雷达稠密点云中每个点属于有效点或者噪点的步骤，包括：对所述毫米波雷达稠密点云进行体素化处理，得到若干体素；提取每一体素的体素特征，其中，所述体素特征包括所述体素中包含的毫米波雷达点云在体素坐标系下的位置坐标、所述体素中包含的毫米波雷达点云所对应的质心在车辆坐标系下的位置坐标、以及所述体素中包含的毫米波雷达点云与所述质心的距离；将每一所述体素的体素特征输入至点云二分类网络中，输出得到每一所述体素对应的概率预测值，其中，所述点云二分类网络是基于稀疏卷积的神经网络；若所述概率预测值大于预设概率阈值，则确定所述体素中包含的毫米波雷达点云均属于有效点；若所述概率预测值小于等于预设概率阈值，则确定所述体素中包含的毫米波雷达点云均属于噪点。3.如权利要求2所述的毫米波雷达点云降噪方法，其特征在于，所述对所述毫米波雷达稠密点云进行体素化处理，得到若干体素的步骤之前，还包括：将所述毫米波雷达稠密点云的位置坐标中的Z轴值，更新为预设Z轴阈值，得到更新后的毫米波雷达稠密点云；所述对所述毫米波雷达稠密点云进行体素化处理，得到若干体素的步骤，包括：对更新后的毫米波雷达稠密点云进行体素化处理，得到若干体素。4.如权利要求1所述的毫米波雷达点云降噪方法，其特征在于，所述点云二分类网络通过如下方式训练得到：构建基于稀疏卷积的预设点云二分类网络；获取同一时刻的原始毫米波雷达稠密点云和激光雷达点云，其中，所述原始毫米波雷达稠密点云和所述激光雷达点云均位于同一车辆坐标系下；基于所述激光雷达点云，对所述原始毫米波雷达稠密点云进行标注，得到所述原始毫米波雷达稠密点云的实际类别标签；对标注后的原始毫米波雷达稠密点云进行体素化处理，得到若干体素；提取所述体素的体素特征，作为训练样本数据，其中，所述体素特征包括：所述体素中包含的原始毫米波雷达稠密点云在体素坐标系下的位置坐标、所述体素中包含的原始毫米波雷达稠密点云所对应的质心在车辆坐标系下的位置坐标、以及所述体素中包含的原始毫米波雷达稠密点云与所述质心的距离；
将所述训练样本数据输入至所述预设点云二分类网络，输出所述训练样本数据对应的概率预测值；根据所述概率预测值，确定所述训练样本数据对应的体素中包含的原始毫米波雷达稠密点云的预测类别标签；判断根据所述实际类别标签和所述预测类别标签计算的网络损失是否收敛，若所述网络损失未收敛，则依据所述网络损失，对所述预设点云二分类网络进行更新，并返回执行将所述训练样本数据输入至所述预设点云二分类网络，输出所述训练样本数据对应的概率预测值的步骤及后续步骤，直至所述网络损失收敛，以得到训练好的点云二分类网络。5.如权利要求4所述的毫米波雷达点云降噪方法，其特征在于，所述基于所述激光雷达点云，对所述原始毫米波雷达稠密点云进行标注的步骤，包括：对所述激光雷达点云和所述原始毫米波雷达稠密点云进行聚类，并对聚类后的激光雷达点云和原始毫米波雷达稠密点云进行关键点提取，得到激光雷达点云关键点集和原始毫米波雷达稠密点云关键点集，其中，所述关键点为每一聚类簇中包含的点云所对应的质心；对所述激光雷达点云关键点集和原始毫米波雷达稠密点云关键点集中，存在对应关系的激光雷达点云关键点和原始毫米波雷达稠密点云关键点，进行两点之间的距离计算，若所述距离小于预设第一距离阈值，则对所述激光雷达点云关键点和所述原始毫米波雷达稠密点云关键点之间的对应关系进行保留，反之，则对所述激光雷达点云关键点和所述原始毫米波雷达稠密点云关键点之间的对应关系不予保留；基于保留对应关系的激光雷达点云关键点和原始毫米波雷达稠密点云关键点，从所述激光雷达点云中提取所述激光雷达点云关键点对应聚类簇中的激光雷达点云，从所述原始毫米波雷达稠密点云中提取所述原始毫米波雷达稠密点云关键点对应聚类簇中的原始毫米波雷达稠密点云；计算同一聚类中的激光雷达点云和原始毫米波雷达稠密点云之间的距离，若所述距离大于预设第二距离阈值，则将所述原始毫米波雷达稠密点云标注为噪点，反之，则将所述原始毫米波雷达稠密点云标注为有效点。6.如权利要求5所述的毫米波雷达点云降噪方法，其特征在于，所述预设第一距离阈值，与所述激光雷达点云关键点或者所述原始毫米波雷达稠密点云关键点与所述车辆坐标系的原点之间的距离成正比。7.一种毫米波雷达点云降噪装置，其特征在于，所述装置包括：预处理模块，用于将若干帧毫米波雷达点云进行叠加，得到毫米波雷达稠密点云，其中...

【专利技术属性】
技术研发人员：马静远，张经纬，赵显，
申请(专利权)人：上海高德威智能交通系统有限公司，
类型：发明
国别省市：