一种相机与4D毫米波雷达融合的目标检测方法技术

本发明专利技术公开了一种相机与4D毫米波雷达融合的目标检测方法，首次提出了用图神经网络辅助4D毫米波雷达点云特征表达的方法，首次提出了用图神经网络辅助4D毫米波雷达点云特征表达的方法，该方法能有效提取非结构化的点云特征，解决了因稀疏性造成的目标检测丢失；搭建了融合模块，用于实现图片特征在几何空间上对齐并融合；本发明专利技术的方法和以往的方法相比，在mAP上取得了更好的精度性能。

【技术实现步骤摘要】

本专利技术属于自动驾驶，具体涉及一种相机与4d毫米波雷达融合的目标检测方法。

技术介绍

1、在自动驾驶领域，感知技术扮演着举足轻重的角色，其在随后的诸多流程，如轨迹预测、运动规划与控制层面，皆以精准无误的环境感知为基石。在这一领域中，关键使命包括图像分割、目标检测以及目标跟踪等，其中三维对象检测问题成为最为引人瞩目且得到广泛研究的议题。

2、3d物体检测方法的选择与所采用传感器类型密切相关，涵盖lidar、相机和雷达等多种选择，每种传感器均呈现独特的数据结构和特性。lidar所提供的数据以点云的形式呈现，从而精准地反映物体的三维几何属性，包括其形状、尺寸和位置等关键信息。相应地，相机图像则以密集而规律的数据呈现，携带着丰富的语义信息。尽管如此，lidar由于昂贵的成本因素，受限于在个人车辆领域的广泛应用，而相机则容易受到挑战性的光照和气候条件的制约。相对而言，雷达则因其经济性和对外界干扰的适应性而成为当前高级驾驶员辅助系统(adas)中不可或缺的强大检测工具。此外，雷达在未来的合作感知应用方向也展现出极大潜力。然而，传统的汽车雷达在独立使用时存本文档来自技高网...

【技术保护点】

1.一种相机与4D毫米波雷达融合的目标检测方法，其特征在于，包括：

2.如权利要求1所述的一种相机与4D毫米波雷达融合的目标检测方法，其特征在于，所述图像分支模块采用去除了末端的展平操作和全连接分类层的ResNet50网络结构。

3.如权利要求1所述的一种相机与4D毫米波雷达融合的目标检测方法，其特征在于，所述图片卷积模块Image Conv和点卷积模块Point Conv的参数如表1所示：

【技术特征摘要】

1.一种相机与4d毫米波雷达融合的目标检测方法，其特征在于，包括：

2.如权利要求1所述的一种相机与4d毫米波雷达融合的目标检测方法，其特征在于，所述图像分支模块采用去除了末端的展平操作和全连接分类...

【专利技术属性】
技术研发人员：范丽丽，王飞跃，曹东璞，曾昌贤，范晶晶，李云杰，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：