一种目标跟踪方法、装置和电子系统制造方法及图纸

本发明专利技术提供了一种目标跟踪方法、装置和电子系统，应用于电子设备，电子设备预存有训练完成的目标追踪模型，目标追踪模型包括骨干网络、编码器、解码器和自注意力网络，该方法包括：通过骨干网络和编码器对待处理的视频帧序列中的视频帧进行处理，得到与视频帧对应的第一特征集；组合初始查询向量集和历史帧的跟踪查询向量集，得到查询向量合集；将查询向量合集和当前帧的第一特征集输入解码器，得到当前帧对应的跟踪查询向量初始集；通过自注意力网络对当前帧对应的跟踪查询向量初始集中的查询向量进行跟踪ID分配和维持ID判别，将带有跟踪ID的查询向量组成为当前帧的跟踪查询向量集，本发明专利技术有效提升了目标跟踪对象的识别效率和准确度。

【技术实现步骤摘要】
一种目标跟踪方法、装置和电子系统
本专利技术涉及图像识别
，尤其是涉及一种目标跟踪方法、装置和电子系统。
技术介绍
多目标追踪(Multi-ObjectTracking，MOT)是一类视觉目标检测技术，其任务是指网络模型对连续视频画面中多个目标进行检测以及跟踪，进行多目标追踪的网络模型通常基于tracking-by-detection(基于检测的跟踪模型)类方法实现。tracking-by-detection类方法的主要思想是先使用检测器如FasterR-CNN、CenterNet等检测出连续视频的所有目标，然后使用数据关联方法如匈牙利匹配、卡尔曼滤波、行人重识别等对属于同一个轨迹的目标进行连接形成轨迹。基于tracking-by-detection类方法实现多目标追踪技术比较典型的有：(1)DeepSort、Tracktor等方法，这些方法分别使用FasterR-CNN检测器和行人重识别模型进行目标检测以及跟踪；(2)JDE、FairMOT等方法，这些方法将检测器和行人重识别模型集成到同一个模型中进行联合训练优化，达到了比较好的本文档来自技高网...

【技术保护点】
1.一种目标跟踪方法，其特征在于，所述方法应用于电子设备，所述电子设备预存有训练完成的目标追踪模型，所述目标追踪模型包括骨干网络、编码器、解码器和自注意力网络，所述方法包括：/n通过所述骨干网络和所述编码器对待处理的视频帧序列中的视频帧进行处理，得到与所述视频帧对应的第一特征集；/n组合初始查询向量集和历史帧的跟踪查询向量集，得到查询向量合集；/n将所述查询向量合集和当前帧的第一特征集输入所述解码器，得到所述当前帧对应的跟踪查询向量初始集；/n通过所述自注意力网络对所述当前帧对应的跟踪查询向量初始集中的查询向量进行跟踪ID分配和维持ID判别，将带有跟踪ID的查询向量组成为所述当前帧的跟踪查询向...

【技术特征摘要】
1.一种目标跟踪方法，其特征在于，所述方法应用于电子设备，所述电子设备预存有训练完成的目标追踪模型，所述目标追踪模型包括骨干网络、编码器、解码器和自注意力网络，所述方法包括：
通过所述骨干网络和所述编码器对待处理的视频帧序列中的视频帧进行处理，得到与所述视频帧对应的第一特征集；
组合初始查询向量集和历史帧的跟踪查询向量集，得到查询向量合集；
将所述查询向量合集和当前帧的第一特征集输入所述解码器，得到所述当前帧对应的跟踪查询向量初始集；
通过所述自注意力网络对所述当前帧对应的跟踪查询向量初始集中的查询向量进行跟踪ID分配和维持ID判别，将带有跟踪ID的查询向量组成为所述当前帧的跟踪查询向量集。


2.根据权利要求1所述的方法，其特征在于，通过所述自注意力网络对所述当前帧对应的跟踪查询向量初始集中的查询向量进行跟踪ID分配和维持ID判别的步骤，包括：
对于所述当前帧对应的跟踪查询向量初始集中的第一类查询向量，基于预设的加入门限和所述第一类查询向量的分类得分进行跟踪ID分配；其中，所述第一类查询向量为所述初始查询向量集对应的查询向量；
对于所述当前帧对应的跟踪查询向量初始集中的第二类查询向量，基于预设的退出门限和所述第二类查询向量的分类得分进行维持ID判别；其中，所述第二类查询向量为所述历史帧的跟踪查询向量集对应的查询向量。


3.根据权利要求2所述的方法，其特征在于，基于预设的加入门限和所述第一类查询向量的分类得分进行跟踪ID分配的步骤，包括：
标记所述第一类查询向量中的分类得分大于预设的加入门限的查询向量；
判断被标记的查询向量在所述当前帧之前的历史帧中被标记的次数是否大于第一次数阈值，如果是，为所述被标记的查询向量分配跟踪ID。


4.根据权利要求2所述的方法，其特征在于，基于预设的退出门限和所述第二类查询向量的分类得分进行维持ID判别的步骤，包括：
标记所述第二类查询向量的分类得分小于预设的退出门限的查询向量；
判断被标记的查询向量在所述当前帧之前的历史帧中被标记的次数是否大于第二次数阈值，如果是，取消所述被标记的查询向量的跟踪ID。


5.根据权利要求1所述的方法，其特征在于，所述将带有跟踪ID的查询向量组成为所述当前帧的跟踪查询向量集的步骤之后，所述方法还包括：
将所述当前帧的跟踪查询向量集中的查询向量添加至跟踪ID对应的ID队列；其中，所述ID队列用于保存指定数目的连续帧中同一跟踪ID对应的查询向量；
对于每个所述ID队列，均根据该ID队列中的查询向量，更新所述当前帧中该ID队列的跟踪ID对应的查询向量。


6.根据权利要求5所述的方法，其特征在于，根据该ID队列中的查询向量，更新所述当前帧中该ID队列的跟踪ID对应的查询向量的步骤，包括：
融合所述该ID队列中的各个查询向量，得到融合查询向量；
将融合查询向量作为所述自注意力网络的Q向量和K向量，将所述当前帧中该ID队列的跟踪ID对应的查询向量作为所述自注意力网络的V向量；
将所述Q向量、K向量和V向量输入所述自注意力网络，得到所述当前帧中该ID队列的跟踪ID对应的...

【专利技术属性】
技术研发人员：董斌，曾凡高，汪天才，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11