【技术实现步骤摘要】
本专利技术涉及3d多目标跟踪，具体涉及一种考虑远帧依赖关系的多模态多目标3d跟踪方法及装置。
技术介绍
1、3d多目标跟踪任务旨在跟踪多帧3d场景中的各个目标，识别目标的3d位置和物体类别。3d多目标跟踪任务在自动驾驶、机器导航、智能安全、医疗诊断等领域发挥重要作用。多目标跟踪任务一个常见的问题是跨多帧跟踪时的目标遮挡和目标丢失现象，多目标在进入遮挡时难以通过有限的可视区域识别目标，多目标在离开遮挡时容易出现目标混淆和目标丢失现象。应对这一问题需要挖掘远帧特征依赖关系，即不仅依据当前帧和前后少量帧进行判断，而应结合更广泛的远帧上下文特征进行处理。
2、目前，基于卷积的多目标跟踪方法在3d多目标跟踪领域被广泛应用，受限于卷积核的局部窗口特性，挖掘远帧特征依赖关系具有昂贵的代价，通常仅采用先单帧检测后跟踪的方式。这导致有限层的卷积网络无法发现帧间的关联性，检测框的识别仅利用了当前帧的特征。不同于堆叠连续多个卷积层，transformer通过多头注意力机制挖掘各个特征的注意力权重，能有效应对远帧跟踪，但依然面临昂贵计算开销的问题。
3、同本文档来自技高网...
【技术保护点】
1.一种考虑远帧依赖关系的多模态多目标3D跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多模态多目标3D跟踪方法，其特征在于，所述步骤S2具体为：在3D滑动窗口内填充跟踪场景到固定窗口大小，若最后一个滑动窗口帧数t小于窗口大小n，则补充n-t帧。
3.根据权利要求1所述的多模态多目标3D跟踪方法，其特征在于，所述步骤S3具体为：
4.根据权利要求3所述的多模态多目标3D跟踪方法，其特征在于，所述步骤S4中，划分3D栅格前还包括对滑动窗口内的各帧3D坐标进行帧间位置编码和帧内位置编码，具体为：
5.根据权利...
【技术特征摘要】
1.一种考虑远帧依赖关系的多模态多目标3d跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多模态多目标3d跟踪方法，其特征在于，所述步骤s2具体为：在3d滑动窗口内填充跟踪场景到固定窗口大小，若最后一个滑动窗口帧数t小于窗口大小n，则补充n-t帧。
3.根据权利要求1所述的多模态多目标3d跟踪方法，其特征在于，所述步骤s3具体为：
4.根据权利要求3所述的多模态多目标3d跟踪方法，其特征在于，所述步骤s4中，划分3d栅格前还包括对滑动窗口内的各帧3d坐标进行帧间位置编码和帧内位置编码，具体为：
5.根据权利要求4所述的多模态多目标3d跟踪方法，其特征在于，所述步骤s4具体为：
6.根据权利要求5所述的多模态多目标3d跟踪方法，其特征在于，所述步骤s5具体为：
【专利技术属性】
技术研发人员：周思远，朱玉鹤，周春云，包敏，
申请(专利权)人：扬州万方科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。