一种自动驾驶3D目标检测方法技术

本发明专利技术涉及自动驾驶技术领域，公开了一种自动驾驶3D目标检测方法。方法包括：确定待检测图像和预设文本查询特征；将待检测图像和预设文本查询特征输入至3D感知模型，基于3D感知模型实现3D目标检测及3D场景描述；其中，3D感知模型基于3D坐标编码特征和大语言模型，将大语言模型与待检测图像进行实例级融合和对齐，并确定待检测图像中3D目标与预设文本查询特征各向量的匹配关系，生成对每个3D目标及相邻3D目标的空间关系描述。本发明专利技术可实现对3D场景中任意已知类别或未知类别3D物体的感知；提升了车载自动驾驶系统对复杂驾驶场景的理解，并使得自动驾驶系统对周围世界物体的感知更接近人类思维逻辑。

【技术实现步骤摘要】

本专利技术涉及自动驾驶，尤其涉及一种自动驾驶3d目标检测方法。

技术介绍

1、当前自动驾驶领域，车辆依赖于各种车载传感器作为输入，如相机、激光雷达、毫米波雷达，实时感知周围环境并预测各行为体的动作对整个系统至关重要。而根据输入数据的来源，可分为基于激光雷达的3d场景感知，基于bev(bird’s eye view)表示的视觉感知方案和多模态融合感知方案。

2、现有方法petr(position embedding transformation for multi-view3dobject detection)，通过2d图像特征提取网络(swin-transformer)提取车载相机图像的多视图2d特征，后将3d位置编码嵌入到多视图特征中，生成3d位置-感知输入特征，检测部分则通过detr3d类似的transformer解码器，对查询特征query和输入特征迭代优化，以获取目标特征，最后通过预测网络实现端到端的3d目标检测。

3、但上述方法只能检测到已标注的障碍物体类别，对未标注的物体没有检测能力，真实场景下，不可能穷尽所有标注类别，本文档来自技高网...

【技术保护点】

1.一种自动驾驶3D目标检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，还包括：预先构建并训练所述3D感知模型的步骤，具体包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述2D图像特征和文本特征，进行图像文本查询特征初始化及匹配优化，得到相互匹配的图像查询特征和文本查询特征，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述查询特征相似度对所述优化后的图像查询特征和文本查询特征进行更新，得到相互匹配的图像查询特征和文本查询特征，包括：

5.根据权利要求2所述的方法，其特征在于，所述基于所述2D...

【技术特征摘要】

1.一种自动驾驶3d目标检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，还包括：预先构建并训练所述3d感知模型的步骤，具体包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述2d图像特征和文本特征，进行图像文本查询特征初始化及匹配优化，得到相互匹配的图像查询特征和文本查询特征，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述查询特征相似度对所述优化后的图像查询特征和文本查询特征进行更新，得到相互匹配的图像查询特征和文本查询特征，包括：

5.根据权利要求2所述的方法，其特征在于，所述基于所述2d图像特征、3d坐标编码特征、文本特征及文本位置编码特征进行图像文本特征融合，得到融合图像特征和融合文本特征，包括：

6.根据权利要求5所述的方法，其特征在于，所述对经过位置标定后的...

【专利技术属性】
技术研发人员：肖华辉，陈佳，安家锐，
申请(专利权)人：元橡科技北京有限公司，
类型：发明
国别省市：