基于混合策略的雷视融合目标感知方法、系统、装置、处理器及其计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种基于混合策略的雷视融合目标感知方法，包括：设置相机与4D毫米波雷达传感器同步触发；基于端到端无NMS的2D目标关键点检测网络模型获取相机图像数据中目标的类别、12关键点‑2D Box结果；利用经IPM方法求得的单应矩阵H，将关键点中的接地点投影至道路bev视角；利用外参标定结果将点云映射到二维图像数据中；根据二维图像中的目标12关键点‑2D Box结果信息在二维图像空间对4D毫米波雷达点云进行过滤处理；对经过过滤处理后的点云在三维空间进行数据后处理。本发明专利技术还涉及一种相应的系统、装置、处理器及其存储介质。采用了本发明专利技术的该方法、系统、装置、处理器及其存储介质，能够提供高准确性、高鲁棒性、高冗余性的雷视融合目标感知结果。

【技术实现步骤摘要】

本专利技术涉及智能驾驶，尤其涉及车辆目标融合感知领域，具体是指一种基于混合策略的雷视融合目标感知方法、系统、装置、处理器及其计算机可读存储介质。

技术介绍

1、在自动驾驶和车路协同领域，通常需要对道路上的车辆目标进行感知，为了保证感知结果的准确性，弥补单一传感器的性能不足，通常需要融合多种传感器数据进行车辆目标感知。

2、以申请号为202310723468.2的专利为例，其主要利用激光雷达和相机进行雷视融合感知，激光雷达虽然相对传统3d毫米波雷达(只能提供目标的距离、角度、速度信息)点云准确度和密度较高，但是激光雷达目前普遍存在成本高、易受雨雪天气等影响等缺点，感知鲁棒性相对毫米波雷达较差；同时，该方法同时针对图像数据和三维激光雷达点云数据分别运用深度学习网络进行目标检测，会带来算力消耗较大的问题，增加系统成本的同时也不利于方法在边缘计算平台的部署。

3、以申请号为202310109166.6和202310932152.4的专利为例，其主要采用传统3d毫米波雷达进行雷视融合的思路，分别得到雷达设备和相机设备的目标轨迹数据，然后在目标本文档来自技高网...

【技术保护点】

1.一种基于混合策略的雷视融合目标感知方法，其特征在于，所述的方法包括以下步骤：

2.根据权利要求1所述的基于混合策略的雷视融合目标感知方法，其特征在于，所述的步骤(2)具体包括以下步骤：

3.根据权利要求2所述的基于混合策略的雷视融合目标感知方法，其特征在于，所述的步骤(2.1)具体包括以下步骤：

4.根据权利要求2所述的基于混合策略的雷视融合目标感知方法，其特征在于，所述的步骤(2.2)中端到端无NMS的2D目标关键点检测网络模型具体包括以下步骤：

5.根据权利要求4所述的基于混合策略的雷视融合目标感知方法，其特征在于，所述的步骤(2....

【技术特征摘要】

1.一种基于混合策略的雷视融合目标感知方法，其特征在于，所述的方法包括以下步骤：

2.根据权利要求1所述的基于混合策略的雷视融合目标感知方法，其特征在于，所述的步骤(2)具体包括以下步骤：

3.根据权利要求2所述的基于混合策略的雷视融合目标感知方法，其特征在于，所述的步骤(2.1)具体包括以下步骤：

4.根据权利要求2所述的基于混合策略的雷视融合目标感知方法，其特征在于，所述的步骤(2.2)中端到端无nms的2d目标关键点检测网络模型具体包括以下步骤：

5.根据权利要求4所述的基于混合策略的雷视融合目标感知方法，其特征在于，所述的步骤(2.3)具体包括以下步骤：

6.根据权利要求5所述的基于混合策略的雷视融合目标感知方法，其特征在于，所述的步骤(3)具体包括以下步骤：

7.根据权利要求6所述的基于混合策略的雷视融合目标感知方法，其特征在于，所述的步骤(4)具体包括以下步骤：

8.根据权利要求7所述的基于混合策略的雷视融合目标感知方法，其特征在于，所述的步骤(4.1)具体包括以下步骤：

9.根据权利要求8所述的基于混合策略的雷视融合目标感知方法，其特征在于，所述的步骤(4.2)具体包括以下步骤：

【专利技术属性】
技术研发人员：王鑫，范增，郭干城，
申请(专利权)人：上海千映智能科技有限公司，
类型：发明
国别省市：