基于多模态时空交互的三维遮挡目标跟踪方法技术

技术编号:46579976 阅读:2 留言:0更新日期:2025-10-10 21:20
本申请公开一种基于多模态时空交互的三维遮挡目标跟踪方法,涉及目标跟踪技术领域。该方法包括获取点云与图像并预处理,得全局融合特征;通过区域提议网络处理,得初始检测框及感兴趣区域特征;投影非空体素点云至图像特征,重建被遮挡目标特征;利用卷积与神经网络处理,得到细化检测框;通过距离计算与合法性判断,筛选合法检测框;采用二分图与自适应通道图卷积,计算外观关联分数;基于匈牙利算法匹配检测框与轨迹,实现全程跟踪。本申请提升了目标识别准确性和鲁棒性,处理了遮挡问题,确保了检测框准确性,用二分图和自适应卷积提升关联准确性,结合几何成本矩阵匹配节点,实现全程跟踪并校准误差。

【技术实现步骤摘要】

本申请属于目标跟踪,尤其涉及一种基于多模态时空交互的三维遮挡目标跟踪方法


技术介绍

1、在三维运动目标跟踪
,准确识别并建立一系列传感器各帧数据之间同一个目标的对应关系是核心任务。然而,在实际应用场景中,目标之间的互相重叠和遮挡现象极为普遍,这给三维运动目标跟踪带来了诸多严峻挑战。目标在遮挡状态下存在完全可见、部分遮挡、完全遮挡三种情况。在传感器数据采集过程中,被遮挡目标会引发一系列问题。对于激光传感器而言,被遮挡目标的激光光束会提前反射;对于相机而言,其光线会被截断。这些现象直接导致被遮挡区域的点云稀疏,目标的点云和图像状态缺失。由于目标状态不完整,遮挡目标的检测难度大幅增加。具体表现为检测框存在抖动问题,进而使得轨迹不稳定,检测框置信度低。不完整的空间状态还会降低目标之间的区分度,给目标之间的关联带来更大的困难。

2、大多数算法为了提高检测框的可信度,保证轨迹的质量,在跟踪的预处理模块,通常利用阈值对检测框置信度进行筛选,过滤掉置信度低的检测框。然而,遮挡目标检测框置信度通常较低,这种筛选方式会导致遮挡目标被过滤掉,从而无法对遮挡目本文档来自技高网...

【技术保护点】

1.一种基于多模态时空交互的三维遮挡目标跟踪方法,其特征在于,所述方法包括:

2.如权利要求1所述的基于多模态时空交互的三维遮挡目标跟踪方法,其特征在于,所述对所述原始点云和所述原始图像进行预处理,得到全局融合特征,包括:

3.如权利要求1所述的基于多模态时空交互的三维遮挡目标跟踪方法,其特征在于,所述对所述细化检测框进行过滤,得到第二细化检测框,对所述第二细化检测框进行距离计算与合法性判断,得到合法检测框,包括:

4.如权利要求1所述的基于多模态时空交互的三维遮挡目标跟踪方法,其特征在于,所述对所述合法检测框进行分组与密度计算,并根据所述密度筛选出合...

【技术特征摘要】

1.一种基于多模态时空交互的三维遮挡目标跟踪方法,其特征在于,所述方法包括:

2.如权利要求1所述的基于多模态时空交互的三维遮挡目标跟踪方法,其特征在于,所述对所述原始点云和所述原始图像进行预处理,得到全局融合特征,包括:

3.如权利要求1所述的基于多模态时空交互的三维遮挡目标跟踪方法,其特征在于,所述对所述细化检测框进行过滤,得到第二细化检测框,对所述第二细化检测框进行距离计算与合法性判断,得到合法检测框,包括:

4.如权利要求1所述的基于多模态时空交互的三维遮挡目标跟踪方法,其特征在于,所述对所述合法检测框进行分组与密度计算,并根据所述密度筛选出合法边界框,包括:

5.如权利要求4所述的基于多模态时空交互的三维遮挡目标跟踪方法,其特征在于,所述根据所述合法边界框进行目标标记与检测框删除,并进行轨迹置信度更新与合法轨迹标记,包括:

6.如权利要求1所述的基于多...

【专利技术属性】
技术研发人员:魏倩茹刘迪张涛
申请(专利权)人:西北工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1