【技术实现步骤摘要】
本专利技术属于自动驾驶领域和深度学习领域，具体涉及一种基于图神经网络的毫米波雷达点云的3d目标检测方法。
技术介绍
1、感知是自动驾驶场景中的核心环节，而3d目标检测是其中关键的组成部分。交通场景的3d目标检测任务根据图像或点云等数据，借助检测算法实现对目标位置、朝向和尺寸等信息的估计。不同于2d目标检测任务，3d目标检测模型能够获取物体的深度信息，这将更有利于后续决策等过程的实施。
2、传统汽车雷达已经在自动驾驶领域得到广泛应用，并且在未来的多模态感知系统中也具备潜在的应用前景。然而，与基于激光雷达的感知技术相比，传统雷达感知技术存在一些不足，如缺乏高度信息和低分辨率等。这些不足制约了传统雷达在准确检测和定位周围环境中物体的能力。近年来，4d成像雷达的发展成为克服这些限制的一种有希望解决方案。不同于传统汽车雷达，4d毫米波雷达能够测量俯仰角，从而获取高度信息。这个额外的维度增强了对环境的理解，并显著提高了物体检测和定位的准确性。
3、当前，针对4d毫米波雷达点云的3d目标检测算法大多由基于激光雷达的方法迁移而来，这些方法存在两个明显不足：第一，未能对毫米波雷达的多维信息进行有效利用。尽管激光雷达和4d毫米波雷达点云有一些相似之处，但后者提供了诸如多普勒和rcs等独特而丰富的信息，针对激光雷达点云设计的3d检测算法未对毫米波雷达点云的独有信息进行有捕捉和挖掘。第二，难以应对数据的稀疏性。由于有限的天线数量的制约，4d毫米波雷达点云更为稀疏。相比激光雷达，4d毫米波雷达捕捉到的几何和语义信息更少，而将针对密
4、因此，基于图神经网络设计针对4d毫米波雷达点云数据3d目标检测算法，能克服毫米波雷达数据的稀疏性，增强稀疏数据的局部感知。
技术实现思路
1、本专利技术的主要目的是客服上述现有技术的缺点，提供一种基于图神经网络的毫米波雷达点云的3d目标检测方法。
2、为达到上述目的，本专利技术的技术方案是这样实现的：
3、一种基于图神经网络的毫米波雷达点云的3d目标检测方法，用于自动驾驶，该方法包括以下步骤：
4、对毫米波雷达点云数据进行预处理，构建图状数据结构的点云数据，获得训练数据；
5、初始化训练数据的节点特征嵌入和边特征嵌入，构建基于邻域感知的图神经网络nagnn，提取训练数据的特征表示；
6、基于所述提取到的特征表示，通过多任务头部检测网络预测目标类别、回归目标位置以及目标检测置信度，确定多任务头部检测网络的每个分支的损失函数，训练图神经网络nagnn；
7、通过完成训练的图神经网络nagnn对点云预测数据集进行目标检测，对预测结果进行加权框融合，确定毫米波雷达点云的3d目标位置、尺寸和朝向。
8、上述方案中，所述对毫米波雷达点云数据进行预处理，构建图状数据结构的点云数据，具体为：对原始的毫米波雷达点云进行界外点的滤除，对车辆前部视角进行裁剪；从原始点云中提取坐标、速度特征和雷达的反射截面积(rcs)，进行归一化，作为节点特征，对所提取的节点特征通过k近邻算法和约束因子对点云进行邻居搜索，确定点云的邻接关系，连接属于邻接关系的点云形成图状数据的边，确定边的特征，完成点云图状数据结构的构建。
9、上述方案中，所述从原始点云中提取坐标、速度特征和雷达的反射截面积(rcs)，进行归一化，作为节点特征，具体为：每一个节点特征可表示为xi＝[x，y，z，v，vr，r]t，(x，y，z)为点云的空间三维坐标，ν和vr分别表示目标相对于车的速度和经过补偿后的速度值，r表示rcs值，一帧含有n个点云节点特征矩阵表示为：
10、上述方案中，所述对所提取的节点特征通过k近邻算法和约束因子对点云进行邻居搜索，确定点云的邻接关系，连接属于邻接关系的点云形成图状数据的边，确定边的特征，具体为：对所提取的特征进行标准化后，使用k近邻算法搜索出点云的邻居，同时对点云和搜索出的邻居计算特征距离，约束因子用于滤除满足邻居条件但特征距离较远的邻居，利用约束因子确定点云的邻接关系的过程为：ε＝{(vi，vj)|||xi-xj||2＜σ}，连接满足滤除后的邻接点云，最终构成边的集合ε。
11、上述方案中，所述初始化训练数据的节点特征嵌入和边特征嵌入，构建基于邻域感知的图神经网络nagnn，提取训练数据的特征表示，具体为：对具有图状数据结构的点云进行嵌入初始化，通过多层感知机(mlp)为归一化的低维点云特征和边的特征分别构建高维的嵌入表示；构建基于邻域感知的图神经网络，包括节点信息传递和更新两个模块；将节点嵌入和边嵌入输入到所构建的基于邻域感知的图神经网络nagnn提取特征。
12、上述方案中，所述对具有图状数据结构的点云进行嵌入初始化，通过多层感知机(mlp)为归一化的低维点云特征和边的特征分别构建高维的嵌入表示，具体为：构建节点和边嵌入初始化模块，使用多层感知机(mlp)分别生成节点嵌入hi和边嵌入sj→i，构建节点嵌入生成mlp模块f(·)、边嵌入生成mlp模块g(·)，最终生成高维嵌入的过程如下所示；
13、上述方案中，所述基于所述提取到的特征表示，通过多任务头部检测网络预测目标类别、回归目标位置以及目标检测置信度，确定多任务头部检测网络的每个分支的损失函数，训练图神经网络nagnn，具体为：对所述通过基于邻域感知的图神经网络nagnn提取的特征向量输入到两个并列的边框回归分支和分类分支中，边框回归分支预测相对平均值的偏差值，分类分支预测目标所属类别的概率，对边框回归分支建立损失函数lloc(huberloss)，对分类分支建立带权损失函数lcls(celoss)，加入l2正则化损失函数lreg，将三个部分的损失函数加权求和，得到网络总损失函数：ltotal＝β1lloc+β2lcls+β3lreg，其中β1，β2，β3为调节损失比例的常数因子，使用总损失函数ltotal对图神经网络进行反向传播，训练设置基于汽车目标的图神经网络和基于行人和骑行者目标的图神经网络，获得完成训练的网络。
14、上述方案中，通过完成训练的图神经网络对点云预测数据集进行目标检测，对预测结果进行加权框融合，确定毫米波雷达点云的3d目标位置，尺寸和朝向，具体为：把毫米波雷达点云数据输入到已训练的基于邻域感知的图神经网络nagnn中，对点云在多任务头部检测网络的输出进行非背景点云的筛选，再进行解码操作，通过加权融合后处理对非背景点云解码产生的包围盒进行融合，得到最终的毫米波雷达点云的3d检测结果。
15、与现有技术相比，本专利技术利用4d毫米波雷达点云数据中速度、雷达的反射截面积(rcs本文档来自技高网...
【技术保护点】
1.一种基于图神经网络的毫米波雷达点云的3D目标检测方法，用于自动驾驶，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于图神经网络的毫米波雷达点云的3D目标检测方法，其特征在于，所述对毫米波雷达点云数据进行预处理，构建图状数据结构的点云数据，具体为：对原始的毫米波雷达点云进行界外点的滤除，对车辆前部视角进行裁剪；从原始点云中提取坐标、速度特征和雷达的反射截面积(RCS)，进行归一化，作为节点特征，对所提取的节点特征通过k近邻算法和约束因子对点云进行邻居搜索，确定点云的邻接关系，连接属于邻接关系的点云形成图状数据的边，确定边的特征，完成点云图状数据结构的构建。
3.根据权利要求2所述的基于图神经网络的毫米波雷达点云的3D目标检测方法，其特征在于，所述从原始点云中提取坐标、速度特征和雷达的反射截面积(RCS)，进行归一化，作为节点特征，具体为：每一个节点特征可表示为xi＝[x，y，z，ν，vr，r]T，(x，y，z)为点云的空间三维坐标，v和vr分别表示目标相对于车的速度和经过补偿后的速度值，r表示RCS值，一帧含有N个点云节点特征矩阵表示为：<...
【技术特征摘要】
1.一种基于图神经网络的毫米波雷达点云的3d目标检测方法，用于自动驾驶，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的基于图神经网络的毫米波雷达点云的3d目标检测方法，其特征在于，所述对毫米波雷达点云数据进行预处理，构建图状数据结构的点云数据，具体为：对原始的毫米波雷达点云进行界外点的滤除，对车辆前部视角进行裁剪；从原始点云中提取坐标、速度特征和雷达的反射截面积(rcs)，进行归一化，作为节点特征，对所提取的节点特征通过k近邻算法和约束因子对点云进行邻居搜索，确定点云的邻接关系，连接属于邻接关系的点云形成图状数据的边，确定边的特征，完成点云图状数据结构的构建。
3.根据权利要求2所述的基于图神经网络的毫米波雷达点云的3d目标检测方法，其特征在于，所述从原始点云中提取坐标、速度特征和雷达的反射截面积(rcs)，进行归一化，作为节点特征，具体为：每一个节点特征可表示为xi＝[x，y，z，ν，vr，r]t，(x，y，z)为点云的空间三维坐标，v和vr分别表示目标相对于车的速度和经过补偿后的速度值，r表示rcs值，一帧含有n个点云节点特征矩阵表示为：
4.根据权利要求3所述的基于图神经网络的毫米波雷达点云的3d目标检测方法，其特征在于，所述对所提取的节点特征通过k近邻算法和约束因子对点云进行邻居搜索，确定点云的邻接关系，连接属于邻接关系的点云形成图状数据的边，确定边的特征，具体为：对所提取的特征进行标准化后，使用k近邻算法搜索出点云的邻居，同时对点云和搜索出的邻居计算特征距离，约束因子用于滤除满足邻居条件但特征距离较远的邻居，利用约束因子确定点云的邻接关系的过程为：ε＝{vi，vj)|||xi-xx||2＜σ}，连接满足滤除后的邻接点云，最终构成边的集合ε。
5.根据权利要求1-4任意一项所述的基于图神经网络的毫米波雷达点云的3d目标检测方法，其特征在于，所述初始化训练数据的节点特征嵌入和边特征嵌入，构建基于邻域感知的图神经网络nagnn，提取训练数据的特征表示，具体为：对具有图状数据结构的点云进行嵌入初始化，通过多层感知机(mlp)为归一化的低维点云特征和边的特征分别构建高维的嵌入表示；构建基于邻域感知的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。