激光雷达点云2D-3D双模态交互增强的目标检测方法技术

本发明专利技术提供了一种激光雷达点云2D‑3D双模态交互增强的目标检测方法，包括以下步骤：将每帧激光雷达3D点云以激光雷达为视点做透视投影并渲染成2D透视图像；对2D透视图像提取特征；将2D透视图像提取的特征和其他模态数据提取的特征进行融合；通过上述方案让模型学习到2D透视图像呈现的物体轮廓特征细节以弥补点云体素化带来的特征信息的损失，能显著提升模型的目标检测能力；通过生成2D‑3D对应关系查找表，将提取的特征做特征空间对齐时直接查找2D‑3D对应关系查找表获取像素对应的3D点，既提升了特征融合时空间转换对齐的计算速度，还不会出现常规2D到3D转换办法存在的计算误差或者预测不准的问题。

【技术实现步骤摘要】

本专利技术涉及目标检测，特别是涉及一种激光雷达点云2d-3d双模态交互增强的目标检测方法。

技术介绍

1、目前自动驾驶系统中基于相机、激光雷达、毫米波雷达等一种或多种传感器的目标检测深度学习模型(含目标分割，目标分割其实是一种细粒度的目标检测，所以，此处所提到的目标检测是广义的，包含了通常所说的目标检测和目标分割)通常是使用相机图像、激光雷达点云、毫米波雷达点云中的一种或多种模态的数据输入深度学习模型进行目标检测，用多模态数据提取特征并融合的多模态融合模型的检测效果一般要比使用单一模态数据的模型的检测效果好且有更好的可靠性。而多模态融合模型中基于激光雷达点云加相机图像或者激光雷达点云加毫米波雷达点云或者激光雷达点云加相机图像加毫米波雷达点云的多模态融合模型使用较多，这些都用到激光雷达点云，因为通过激光雷达点云不仅能探测到障碍物而且能比较准确地测距，而且其点云远比毫米波雷达点云稠密，能一定粒度上展示目标障碍物的外形轮廓和大小甚至朝向，虽然不及相机图像的成像清晰，但是其点云成像能力是毫米波雷达所不能及的，毫米波雷达的点云只是毫米波打在物体上返回的非常稀疏的点，本文档来自技高网...

【技术保护点】

1.激光雷达点云2D-3D双模态交互增强的目标检测方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的激光雷达点云2D-3D双模态交互增强的目标检测方法，其特征在于：步骤S1中，将每帧激光雷达3D点云以激光雷达为视点做透视投影到2D平面时，直接把此3D点坐标(x,y,z)和2D平面上投影点的索引值(r,c)的一一对应关系记录到一个2D-3D对应关系查找表，多个3D点投影到平面上的同一个点时，只记录z值最小的3D点的坐标。

3.根据权利要求2所述的激光雷达点云2D-3D双模态交互增强的目标检测方法，其特征在于：步骤S2中，使用检测普通2D图像的骨干网络对输入的...

【技术特征摘要】

1.激光雷达点云2d-3d双模态交互增强的目标检测方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的激光雷达点云2d-3d双模态交互增强的目标检测方法，其特征在于：步骤s1中，将每帧激光雷达3d点云以激光雷达为视点做透视投影到2d平面时，直接把此3d点坐标(x,y,z)和2d平面上投影点的索引值(r,c)的一一对应关系记录到一个2d-3d对应关系查找表，多个3d点投影到平面上的同一个点时，只记录z值最小的3d点的坐标。

【专利技术属性】
技术研发人员：陈飞雁，王吉胜，
申请(专利权)人：北京合悦智行科技有限公司，
类型：发明
国别省市：