【技术实现步骤摘要】
本专利技术涉及自动驾驶多模态3d障碍物处理领域，具体是一种用于自动驾驶3d障碍物的多模态融合方法。
技术介绍
1、随着自动驾驶技术的不断发展，自动驾驶汽车在道路上的普及率不断增加。然而，确保自动驾驶汽车安全行驶的核心问题之一是有效地识别和跟踪周围环境中的各种障碍物，包括其他车辆、行人、建筑物等。为了实现这一目标，自动驾驶系统通常采用多模态传感器，如激光雷达、摄像头、毫米波雷达等，以获得关于周围环境的多维信息。然而，不同传感器之间的数据融合和关联问题一直是一个挑战，特别是在复杂交通情况下。
2、与2d障碍物融合任务不同，3d障碍物融合任务涉及到三维空间内的障碍物，需要考虑目标的位置、形状、尺寸和朝向等多个维度信息。这增加了任务的复杂性，因为目标可以在三维空间中自由移动和旋转，引入更多的不确定性。不确定性可能是由传感器误差、遮挡、光照变化等因素引起的。与此不同，2d障碍物融合任务通常涉及到更低维度的目标融合，因此具有相对较小的不确定性。
技术实现思路
1、针对上述存在的问题，本专利技术提出一种用于自动驾驶3d障碍物的多模态融合方法，旨在提高障碍物检测和跟踪的准确性和鲁棒性。该方法能够在多种感知模态数据之间建立有效的关联，使得自动驾驶汽车能够更好地理解其周围环境，从而更安全地导航和决策。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种用于自动驾驶3d障碍物的多模态融合方法，将不同模态的3d障碍物，通过关联矩阵和最短路径算法融合在一起，所述方
4、s1：获取同一时间段下坐标系一致的多种模态3d障碍物数据，所述障碍物数据包括每个障碍物的中心点坐标、障碍物的长宽高和朝向角；
5、s2：从多种感知模态中选择主要模态，而其他模态则作为辅助模态；
6、s3：计算两种模态之间的关联矩阵，关联矩阵的行和列分别代表两种模态下的障碍物，矩阵中的元素表示两个障碍物之间的关联程度或者特征系数；
7、s4：逐次最短路径算法根据关联矩阵建立两种模态间障碍物之间的关联关系，对于匹配上的障碍物，消去辅助模态障碍物，对主要模态添加没有匹配上的辅助模态障碍物；
8、s5:将s4更新后的主要模态和其他辅助模态按照s3、s4循环处理，直到所有辅助模态都融合到主要模态之中。
9、作为本专利技术进一步的技术方案，两两障碍物之间的特征系数计算如下:
10、欧式距离：
11、朝向偏差：
12、bbox尺寸偏差： + +
13、重心距离：
14、bbox iou： ，其a、b是两个障碍物的投影到地面上的矩形，分子为两个矩形相交部分的面积，分母为两个矩形的并集面积；
15、再结合权重系数{0.4f,0.1f,0.1f,0.1f,0.3f}，计算出距离值。
16、作为本专利技术进一步的技术方案，在步骤s2中，从多种感知模态中选择主要模态，而其他模态则作为辅助模态的步骤包括：从多种感知模态中选择主要模态，主要模态通常根据实际自动驾驶业务运行环境和任务需求来确定，首先计算各个单模态在该业务场景下的3d障碍物检测的量化指标，通常选择量化指标表现最好的来作主要模态，而其他模态则作为辅助模态。
17、作为本专利技术进一步的技术方案，在步骤s4中，所述逐次最短路径算法根据关联矩阵建立两种模态间障碍物之间的关联关系，对于匹配上的障碍物，消去辅助模态障碍物，对主要模态添加没有匹配上的辅助模态障碍物的步骤包括：逐次最短路径算法，通过对关联矩阵计算最短路径来确定主要模态和辅助模态障碍物之间的最优匹配关系，当发现匹配成功的障碍物对时，将已经匹配成功的辅助模态障碍物从考虑范围中去除，如果存在主要模态下没有匹配成功的辅助模态障碍物，则将未匹配的辅助模态障碍物添加到主要模态中。
18、与现有技术相比，本专利技术的有益效果是：
19、本专利技术提供了一种用于自动驾驶3d障碍物的多模态融合方法。主要提高自动驾驶和感知系统的准确性、鲁棒性和安全性。通过整合来自多个传感器的信息，这种方法不仅增加了感知系统的可靠性，还降低了误报和漏报的风险。此外，多模态融合提供了更多环境信息，增强了系统的环境感知能力，同时也增加了系统的自适应性。
本文档来自技高网...【技术保护点】
1.一种用于自动驾驶3D障碍物的多模态融合方法，其特征在于，将不同模态的3D障碍物，通过关联矩阵和最短路径算法融合在一起，所述方法包括以下步骤：
2.根据权利要求1所述的一种用于自动驾驶3D障碍物的多模态融合方法，其特征在于，两两障碍物之间的特征系数计算如下:
3.根据权利要求1所述的一种用于自动驾驶3D障碍物的多模态融合方法，其特征在于，在步骤S2中，从多种感知模态中选择主要模态，而其他模态则作为辅助模态的步骤包括：从多种感知模态中选择主要模态，主要模态通常根据实际自动驾驶业务运行环境和任务需求来确定，首先计算各个单模态在该业务场景下的3D障碍物检测的量化指标，通常选择量化指标表现最好的来作主要模态，而其他模态则作为辅助模态。
4.根据权利要求1所述的一种用于自动驾驶3D障碍物的多模态融合方法，其特征在于，在步骤S4中，所述逐次最短路径算法根据关联矩阵建立两种模态间障碍物之间的关联关系，对于匹配上的障碍物，消去辅助模态障碍物，对主要模态添加没有匹配上的辅助模态障碍物的步骤包括：逐次最短路径算法，通过对关联矩阵计算最短路径来确定主要模态和辅助模
...【技术特征摘要】
1.一种用于自动驾驶3d障碍物的多模态融合方法，其特征在于，将不同模态的3d障碍物，通过关联矩阵和最短路径算法融合在一起，所述方法包括以下步骤：
2.根据权利要求1所述的一种用于自动驾驶3d障碍物的多模态融合方法，其特征在于，两两障碍物之间的特征系数计算如下:
3.根据权利要求1所述的一种用于自动驾驶3d障碍物的多模态融合方法，其特征在于，在步骤s2中，从多种感知模态中选择主要模态，而其他模态则作为辅助模态的步骤包括：从多种感知模态中选择主要模态，主要模态通常根据实际自动驾驶业务运行环境和任务需求来确定，首先计算各个单模态在该业务场景下的3d障碍物检测的量化指标，通...
【专利技术属性】
技术研发人员：王瑞圳，王智灵，
申请(专利权)人：安徽中科星驰自动驾驶技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。