【技术实现步骤摘要】
本专利技术涉及自动驾驶，具体涉及一种基于图神经网络的4d毫米波雷达目标检测与语义分割方法。
技术介绍
1、目前，旨在提供安全、便捷、舒适的交通体验的自动驾驶技术正在快速发展，而要实现高水平自动驾驶，环境感知技术至关重要。精确有效的环境感知技术是自动驾驶系统完成障碍识别、控制决策、路径规划等任务的重要基础。车载环境感知传感器中，毫米波雷达因其具有体积小、成本低、全天候运行、测速能力强、距离分辨率高等优势，被广泛应用于自动驾驶。然而，传统毫米波雷达(2+1d雷达)由于信号处理体制的局限性，存在角分辨力较差、不具备测高功能等问题，由此限制了其信息获取的有效性。多输入多输出(multipleinput multiple output,mimo)技术的引入显著提升了雷达角分辨率，从而明显增强了雷达点云密度，进而推动了可提供高精度距离、速度、方位角和俯仰角的4d毫米波雷达的出现。当前4d毫米波雷达点云密度已经达到低线数激光雷达相当水平，其数据形式类似于激光雷达点云，且在恶劣天气条件下表现出较好的环境感知性能。基于此，许多研究人员致力于将用于激光雷达的深度模型迁移至4d毫米波雷达领域以实现目标检测、场景分割等任务。然而，由于毫米波雷达点云具有稀疏性和低信噪比等特性，处理密集激光雷达点云的相关模型无法直接应用于毫米波雷达点云。因此，需要基于毫米波雷达点云具体特点进行针对性的模型设计。
2、基于点云目标检测以及语义分割等环境感知方法主要可分为如下三类：基于点、网格以及图的方法。
3、基于点的方法直接处理点云，无需对其进行形
4、基于网格的方法则通过网格化场景空间，将点云投影至二维鸟瞰图(bird's eyeview,bev)或3d体素(voxel)，而后使用点云特征抽取模块抽取各单元格内点云信息并对该单元格进行嵌入表示，从而张量化点云数据。该方法优势在于可基于卷积神经网络(convolutional neural networks,cnn)等广泛应用于图像及视觉领域的深度模型有效提取投影后点云数据的本质特征并使用区域生成网络(region proposal network,rpn)等模块完成后续目标框分类及回归。此类方法为毫米波雷达目标检测领域的主流，如palffy等人率先将基于激光雷达点云的目标检测模型pointpillars应用于4d毫米波雷达点云以检测三维道路目标，实验结果表明网格方法应用于4d毫米波雷达点云具有可行性。同样基于pointpillars框架，b.xu等人引入支柱特征注意力(pillar featur eattention,pfa)模块，利用自注意力机制有效提升目标框回归中角度估计精度。tan等人则考虑了多帧雷达点云时序信息，基于pointpillars模型引入时间池化模块聚合连续多帧雷达点云信息以改善目标检测性能。然而，基于网格的方法通常在点云投影后利用简易点云编码器提取各单元格内点云信息，仅关注单元格内局部点云信息，忽略了原始点云的拓扑关系，从而导致其在稀疏毫米波点云上检测效果不佳。
5、基于图的方法构图于原始点云，通过图神经网络实现节点信息交换以及特征提取。w.shi等人提出一种用于激光雷达点云的检测模型pointgnn，该模型首先基于点云空间坐标构图并使用图神经网络传播更新节点特征，而后基于所得前景点构建目标候选框并利用非极大抑制(non max suppression,nms)方法进一步筛选以实现框分类以及回归，实验表明该模型具有较好的检测性能。基于该模型，svenningsson等人基于nuscenes数据集进行车辆目标检测实验，此为图神经网络模型用于毫米波雷达领域的首次尝试，然而效果不佳。felix fent等人则在pointgnn基础上进行改进，提出一种新的节点更新机制，此方法在基于公开数据集radarscenes的语义分割实验中获得了较好的结果。需要注意的是，上述工作皆改进于适用于激光雷达的相关模型，对毫米波雷达的处理流程雷同于激光雷达，即聚焦于点云坐标信息。然而，上述处理流程无法基于毫米波雷达点云获得较好效果，这是由于密集激光雷达点云可提供明显轮廓信息，图神经网络仅通过点云空域信息即可获取优良的目标特征，而稀疏且不均匀的毫米波雷达点云无法提供可供区分的空域特征，因而还需结合目标动态及反射特性(即雷达散射截面(radar cross section,rcs))方可能获取较好的可分特征。
技术实现思路
1、本专利技术的目的在于，提出一种融合图及网格的4d毫米波雷达目标检测与语义分割模型，其同时关注拓扑及特征空间，并融合两空间信息以更新节点嵌入，所提模型具有较高的检测精度及稳健性。
2、为实现上述目的，本申请提出的一种融合图及网格的4d毫米波雷达目标检测与语义分割模型，包括：
3、ramgnn模块，即点云特征编码器(radar adaptive multi-channel graph neuralnetwork，ramgnn)，通过雷达点云坐标信息分别基于拓扑空间、初始特征(动态及反射特性)空间对原始点云构图，利用两个消息传递神经网络传播更新节点特征于坐标空间、特征空间以获取两个特定嵌入，并基于共享图神经网络提取两空间之间共同嵌入，基于注意力机制自动学习嵌入权重并融合两个特定嵌入、共同嵌入以获得点云高维表征；
4、语义分割模块，以ramgnn模块输出特征作为输入，通过分类器输出各点预测结果；
5、目标检测模块，以ramgnn模块输出特征作为输入，将点云投影至二维鸟瞰图并汇聚各单元格内点云信息以获取高维特征，把点云数据转换为多通道伪图像；主干网络基于伪图像提取多尺度特征并于通道维度融合多层次及不同感受野信息以获得融合特征图；基于融合特征图，通过检测头模块对目标三维检测框进行回归和估计从而实现目标有效检测。
6、本专利技术采用本文档来自技高网...
【技术保护点】
1.一种融合图及网格的4D毫米波雷达目标检测与语义分割模型，其特征在于，包括：
2.根据权利要求1所述一种融合图及网格的4D毫米波雷达目标检测与语义分割模型，其特征在于，通过雷达点云坐标信息分别基于拓扑空间、初始特征空间对原始点云构图，具体为：
3.根据权利要求1所述一种融合图及网格的4D毫米波雷达目标检测与语义分割模型，其特征在于，利用两个消息传递神经网络传播更新节点特征于坐标空间、特征空间以获取两个特定嵌入，并基于共享图神经网络提取两空间之间共同嵌入，具体为：通过图神经网络GNNs和GNNf传播更新拓扑图Gs和特征图Gf的节点嵌入，具有参数共享策略的图神经网络GNNc则用于学习拓扑图、特征图的共同嵌入；
4.根据权利要求3所述一种融合图及网格的4D毫米波雷达目标检测与语义分割模型，其特征在于，基于注意力机制自动学习嵌入权重并融合两个特定嵌入、共同嵌入以获得点云高维表征，具体为：利用tanh(·)函数对其嵌入hsiL∈R1×h进行非线性变换，可学习的共享注意力向量q∈Rh′×1与变换后特征内积以获得如式(10)所示注意力值ωsi；进而获得节点
5.根据权利要求4所述一种融合图及网格的4D毫米波雷达目标检测与语义分割模型，其特征在于，所述语义分割模块包括层数为三的MLP，该模块以RAMGNN模块输出高维嵌入H为输入，输出特征Ypcls∈Rn×m，其经由Softmax函数输出点云置信度，各点类别取决于最高置信度。
6.根据权利要求1所述一种融合图及网格的4D毫米波雷达目标检测与语义分割模型，其特征在于，将点云投影至二维鸟瞰图并汇聚各单元格内点云信息，把点云数据转换为多通道伪图像，具体为：
7.根据权利要求1所述一种融合图及网格的4D毫米波雷达目标检测与语义分割模型，其特征在于，主干网络基于伪图像提取多尺度特征并于通道维度融合多层次及不同感受野信息以获得融合特征图，具体为：
8.根据权利要求1所述一种融合图及网格的4D毫米波雷达目标检测与语义分割模型，其特征在于，基于融合特征图，通过检测头模块对目标三维检测框进行回归和估计从而实现目标有效检测，具体为：使用SSD的检测模块作为检测头，该检测头以主干网络输出融合特征图为输入，输出各单元格分类置信度以及回归参数估计；融合特征图中各像素单元格设置D×2个尺寸不同的先验框，D是目标类别数，每类包含两种航向角0°和90°。
9.根据权利要求3所述一种融合图及网格的4D毫米波雷达目标检测与语义分割模型，其特征在于，设计损失函数以实现前向传播和梯度更新：基于式(14)构造关于嵌入HcsL的相关矩阵Cs，及关于嵌入HcfL的相关矩阵Cf；利用如式(15)所示的二者之差的L2范数平方表征HcsL及HcfL的相似性；
...【技术特征摘要】
1.一种融合图及网格的4d毫米波雷达目标检测与语义分割模型，其特征在于，包括：
2.根据权利要求1所述一种融合图及网格的4d毫米波雷达目标检测与语义分割模型，其特征在于，通过雷达点云坐标信息分别基于拓扑空间、初始特征空间对原始点云构图，具体为：
3.根据权利要求1所述一种融合图及网格的4d毫米波雷达目标检测与语义分割模型，其特征在于，利用两个消息传递神经网络传播更新节点特征于坐标空间、特征空间以获取两个特定嵌入，并基于共享图神经网络提取两空间之间共同嵌入，具体为：通过图神经网络gnns和gnnf传播更新拓扑图gs和特征图gf的节点嵌入，具有参数共享策略的图神经网络gnnc则用于学习拓扑图、特征图的共同嵌入；
4.根据权利要求3所述一种融合图及网格的4d毫米波雷达目标检测与语义分割模型，其特征在于，基于注意力机制自动学习嵌入权重并融合两个特定嵌入、共同嵌入以获得点云高维表征，具体为：利用tanh(·)函数对其嵌入hsil∈r1×h进行非线性变换，可学习的共享注意力向量q∈rh′×1与变换后特征内积以获得如式(10)所示注意力值ωsi；进而获得节点i在嵌入矩阵hfl中的注意力值ωfi以及嵌入矩阵hcl中的注意力值ωci；接着，基于softmax函数归一化上述注意力值以获得通过式(11)所示权重；而后，组合n个节点对应权重，即：αs＝[αs1,…,αsn],αf＝[αf1,…,αfn],αc＝[αc1,…,αcn]，并将其对角化为式(12)所示矢量；最后，累加基于所得注意力矩阵的嵌入加权结果即得如式(13)所示最终嵌入h：
【专利技术属性】
技术研发人员：王洪雁，黄梓峰，马嘉康，杨凯，彭俊，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。