一种长短期目标记忆的多目标追踪方法技术

本发明专利技术提供一种长短期目标记忆的多目标追踪方法，基于DETR结构的启发，首先拓展DETR中query的物理概念为检测query和追踪query，辅以追踪感知的标签匹配策略，实现检测和追踪任务的解耦；其次嵌入记忆模块，传递以及更新连续帧之间的标签匹配信息，提高模型对于长短期目标的记忆能力，使得模型足以解决复杂的时序建模问题。本发明专利技术在首帧图片缺乏追踪信息的前提下，依赖检测模型完成目标的定位以及索引的分配；对于后续帧的目标检测以及追踪而言，记忆模块可提供有效的追踪信息，且置信度进入阈值和置信度退出阈值可协同筛选出高质量的追踪信息，完成目标轨迹的空间建模；本发明专利技术显著提高在目标的不规则运动、目标的运动模糊以及目标遮挡场景下的多目标追踪性能。

【技术实现步骤摘要】

本专利技术涉及一般的图像数据处理或产生，具体涉及一种长短期目标记忆的多目标追踪方法。

技术介绍

1、多目标追踪方法旨在解决视频序列中目标运动轨迹的预测问题，现存在的方法常采取检测-追踪的范例，首先通过检测模型实现单帧图片的目标定位，然后基于简单的启发式策略，如空间和外观相似度，建立前后帧目标之间的关联，从而实现目标轨迹的预测，尽管上述方法已经取得不错的性能表现，但启发式策略仍不足以对复杂的时序变化进行建模，如目标的不规则运检索、目标的运动模糊以及目标之间的遮挡等。

2、因此，为提升多目标追踪方法的通用性，解决不同场景下，多目标追踪任务的时序建模问题，目标追踪方法
迫切需要一种长短期目标记忆的多目标追踪方法。

技术实现思路

1、本专利技术是为了解决多目标追踪方法的通用性，提供一种长短期目标记忆的多目标追踪方法，基于detr结构的启发，首先拓展detr中query的物理概念为检测query和追踪query，辅以追踪感知的标签匹配策略，实现检测和追踪任务的解耦；其次嵌入记忆模块，传递以及更新连续帧本文档来自技高网...

【技术保护点】

1.一种长短期目标记忆的多目标追踪方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种长短期目标记忆的多目标追踪方法，其特征在于：步骤S1中，所述图像预处理算法将视频序列中的图片逐帧依次调整尺寸大小并进行归一化；

3.根据权利要求1所述的一种长短期目标记忆的多目标追踪方法，其特征在于：步骤S3中，所述编码器由可变形卷积模块组成；

4.根据权利要求3所述的一种长短期目标记忆的多目标追踪方法，其特征在于：所述编码器为Deformable DETR的编码器；

5.根据权利要求4所述的一种长短期目标记忆的多目标追踪方法，其特征在于：匈牙利...

【技术特征摘要】

1.一种长短期目标记忆的多目标追踪方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种长短期目标记忆的多目标追踪方法，其特征在于：步骤s1中，所述图像预处理算法将视频序列中的图片逐帧依次调整尺寸大小并进行归一化；

3.根据权利要求1所述的一种长短期目标记忆的多目标追踪方法，其特征在于：步骤s3中，所述编码器由可变形卷积模块组成；

4.根据权利要求3所述的一种长短期目标记忆的多目标追踪方法，其特征在于：所述编码器为deformable detr的编码器；

5.根据权利要求4所述的一种长短期目标记忆的多目标追踪方法，其特征在于：匈牙利匹配阶段的方法为：

6.根据权利要求1所述的一种长短期目标记忆的多目标追踪方法，其特征在于：步骤s4中，所述记忆模块利用置信度进入阈值从筛选出追踪信...

【专利技术属性】
技术研发人员：李柏蕤，连荷清，武静威，
申请(专利权)人：北京小蝇科技有限责任公司，
类型：发明
国别省市：