【技术实现步骤摘要】
本申请一般涉及目标检测领域，尤其涉及用于2d和3d目标信息融合的方法和系统。
技术介绍
1、随着自动驾驶技术的飞速发展，基于图像、雷达的感知技术在工业中应用愈发广泛。感知技术是指在智能驾驶或/和辅助驾驶中，对传感器所感知的数据进行分析处理，从而获取影响自车进行智能驾驶和辅助驾驶规划的目标信息(如关于自车周围的车辆、行人、柱子等的信息)。
2、目前，主流的技术方案都以深度学习为基础来实现目标检测。目标检测主要分为2d目标检测、3d目标检测两个方向。2d目标检测起步较早，技术相对成熟，具有推理速度快、目标检出率高等优点。然而，2d目标检测提供的信息量较少，不利于下游模块根据检出的目标信息对车辆进行控制。3d目标检测旨在预测3d空间中关键目标的位置、大小和类别，与仅在图像上生成2d边界框并忽略目标与自车的实际距离的2d目标检测相比，3d目标检测侧重于对真实世界3d坐标系中目标的定位和识别。然而，由于从平面到立体空间的映射关系的复杂性，3d目标检测在一部分场景下目标信息与真实值会产生较大误差。对于智能驾驶或/和辅助驾驶而言，需要获得大量信息丰富、数值准确且稳定的目标信息，当前单独的2d目标检测方案或3d目标检测方案都不能完全满足上述需求。
3、针对单独的2d、3d目标检测存在的缺陷，现有技术提出了各种改进方式。目前通常存在以下几种改进方案：(1)改变卷积神经网络结构，使得模型可以更好地学习传感器信息；(2)提取特征的方式由卷积神经网络切换到transform的方式；(3)采用鸟瞰图的方式进行目标检测。然而，上述方
4、有鉴于此，本申请提供了一种用于2d和3d目标信息融合的方法和系统，从信息融合的角度来弥补单独的2d、3d目标检测存在的缺陷且不会大幅增加运行花销。
技术实现思路
1、以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在标识出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是以简化形式给出一个或多个方面的一些概念以作为稍后给出的更详细描述之序言。
2、本申请提供了一种用于2d和3d目标信息融合的方法，包括：获取来自多个传感器的多路图像数据；基于该多路图像数据进行2d目标检测以获得初始2d检测结果，该初始2d检测结果包括检测到的2d目标；基于该多路图像数据进行3d目标检测以获得初始3d检测结果，该初始3d检测结果包括检测到的3d目标；对该初始2d检测结果中的2d目标和该初始3d检测结果中的3d目标进行匹配；以及基于匹配结果对该初始2d检测结果和该初始3d检测结果进行信息融合，以获得最终2d检测结果和最终3d检测结果。
3、在一些实施例中，该多路图像数据包括以下至少一者：环视鱼眼图像数据、周视图像数据、点云数据。
4、在一些实施例中，该多个传感器包括以下至少一者：鱼眼相机、周视相机、雷达。
5、在一些实施例中，该初始2d检测结果中的2d目标和该初始3d检测结果中的3d目标包括以下至少一者：目标id、目标类型、目标航向角。
6、在一些实施例中，对该初始2d检测结果中的2d目标和该初始3d检测结果中的3d目标进行匹配进一步包括：确定所有2d目标的接地点与所有3d目标的中心点之间的距离；基于该距离构建匹配矩阵；以及在该匹配矩阵上执行目标匹配算法来对2d目标和3d目标进行匹配。
7、在一些实施例中，基于匹配结果对该初始2d检测结果和该初始3d检测结果进行信息融合包括执行以下至少一者：2d目标航向角赋值、3d目标航向角修正、目标类型修正、目标id维护。
8、在一些实施例中，该2d目标航向角赋值进一步包括：在检测到的2d目标的目标类型为车辆的情况下，确定2d目标是否含有车轮信息；如果该2d目标含有两个车轮信息，则使用基于两个车轮的接地点位置获得的航向角作为该2d目标的航向角；以及如果该2d目标仅含有单个车轮信息或不含车轮信息，则利用与该2d目标匹配的3d目标的航向角对该2d目标的航向角进行赋值。
9、在一些实施例中，该3d目标航向角修正进一步包括：确定检测到的2d目标与匹配的3d目标之间的航向角差值；将该航向角差值与预设阈值进行比较；如果该航向角差值超过该预设阈值且该2d目标含有两个车轮信息，则利用该2d目标的航向角对该3d目标的航向角进行修正；以及如果该航向角差值未超过该预设阈值或者该2d目标不含两个车轮信息，则不对该3d目标的航向角进行修正。
10、在一些实施例中，该目标类型修正进一步包括：确定检测到的2d目标与匹配的3d目标的目标类型是否相同；如果目标类型不同，则确定该2d目标和该3d目标的置信度差值；如果该置信度差值超过预设阈值，则将置信度较高的目标类型作为该2d目标和该3d目标的目标类型；以及如果该置信度差值未超过该预设阈值，则删除该2d目标和该3d目标。
11、在一些实施例中，该目标id维护进一步包括：在初次匹配时建立2d目标与匹配的3d目标的目标id之间的双向映射表；在后续目标检测过程中确定是否出现新的目标id；以及如果出现新的目标id且该新的目标id在该双向映射表中有相匹配的目标，则将该新的目标id重置为初次匹配时的目标id。
12、本申请还提供了一种用于2d和3d目标信息融合的系统，包括：图像数据获取模块，该图像数据获取模块被配置成获取来自多个传感器的多路图像数据；2d目标检测模块，该2d目标检测模块被配置成基于该多路图像数据进行2d目标检测以获得初始2d检测结果，该初始2d检测结果包括检测到的2d目标；3d目标检测模块，该3d目标检测模块被配置成基于该多路图像数据进行3d目标检测以获得初始3d检测结果，该初始3d检测结果包括检测到的3d目标；匹配模块，该匹配模块被配置成对该初始2d检测结果中的2d目标和该初始3d检测结果中的3d目标进行匹配；以及融合模块，该融合模块被配置成基于匹配结果对该初始2d检测结果和该初始3d检测结果进行信息融合，以获得最终2d检测结果和最终3d检测结果。
13、本申请还提供了一种设备，包括处理器和存储器，该存储器存储有程序指令；该处理器运行程序指令以实现前述用于2d和3d目标信息融合的方法。
14、本申请的技术方案对2d目标检测结果与3d目标检测结果进行融合，弥补了单独使用2d目标检测和3d目标检测效果欠佳的问题。本申请的技术方案在不影响系统实时性需求的前提下，使得目标检测结果具有更高的准确性和稳定性，从而更有利于提升自动驾驶和智能驾驶的性能。
本文档来自技高网...【技术保护点】
1.一种用于2D和3D目标信息融合的方法，包括：
2.根据权利要求1所述的方法，其中，所述多路图像数据包括以下至少一者：环视鱼眼图像数据、周视图像数据、点云数据。
3.根据权利要求1所述的方法，其中，所述多个传感器包括以下至少一者：鱼眼相机、周视相机、雷达。
4.根据权利要求1所述的方法，其中，所述初始2D检测结果中的2D目标和所述初始3D检测结果中的3D目标包括以下至少一者：目标ID、目标类型、目标航向角。
5.根据权利要求1所述的方法，其中，对所述初始2D检测结果中的2D目标和所述初始3D检测结果中的3D目标进行匹配进一步包括：
6.根据权利要求1所述的方法，其中，基于匹配结果对所述初始2D检测结果和所述初始3D检测结果进行信息融合包括执行以下至少一者：2D目标航向角赋值、3D目标航向角修正、目标类型修正、目标ID维护。
7.根据权利要求6所述的方法，其中，执行2D目标航向角赋值进一步包括：
8.根据权利要求6所述的方法，其中，执行3D目标航向角修正进一步包括：
9.根据权利要求6
10.根据权利要求6所述的方法，其中，执行目标ID维护进一步包括：
11.一种用于2D和3D目标信息融合的系统，包括：
12.一种设备，包括处理器和存储器，所述存储器存储有程序指令；所述处理器运行所述程序指令以实现如权利要求1至10中任一项所述的用于2D和3D目标信息融合的方法。
...【技术特征摘要】
1.一种用于2d和3d目标信息融合的方法，包括：
2.根据权利要求1所述的方法，其中，所述多路图像数据包括以下至少一者：环视鱼眼图像数据、周视图像数据、点云数据。
3.根据权利要求1所述的方法，其中，所述多个传感器包括以下至少一者：鱼眼相机、周视相机、雷达。
4.根据权利要求1所述的方法，其中，所述初始2d检测结果中的2d目标和所述初始3d检测结果中的3d目标包括以下至少一者：目标id、目标类型、目标航向角。
5.根据权利要求1所述的方法，其中，对所述初始2d检测结果中的2d目标和所述初始3d检测结果中的3d目标进行匹配进一步包括：
6.根据权利要求1所述的方法，其中，基于匹配结果对所述初始2d检测结果和所述初始...
【专利技术属性】
技术研发人员：宋京，吴子章，仝硕，王继征，蒋伟平，
申请(专利权)人：纵目科技上海股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。