一种基于时间记忆和GNN的多目标跟踪方法技术

本发明专利技术公开了一种基于时间记忆和GNN的多目标跟踪方法，包括训练LSTM、GhostNetV3、GCN模型，使用预训练的YOLOX对视频的每一帧进行目标检测得到检测框；将每一个跟踪到的方框送入对应的LSTM网路中得到预测框，拿YOLOX得到的检测框和LSTM得到的预测框做匹配，对当前帧的目标检测结果进行分类，分别做不同的处理；本发明专利技术使用YOLOX作为检测器、使用LSTM来进行预测、使用GCN高效地处理多节点之间复杂的关系，使用GhostNetV3保证特征提取效果的同时降低计算复杂度，使本发明专利技术方法在保证运行精度的前提下，能更快提取出特征，仍然保持着较高的帧率和舒适的视觉效果。

【技术实现步骤摘要】

本专利技术涉及目标跟踪，尤其涉及一种基于时间记忆和gnn的多目标跟踪方法。

技术介绍

1、目标检测和目标跟踪技术可以实时检测和跟踪视频流中的物体，识别目标位置和运动轨迹，为安全监控、交通管理、智能驾驶等提供重要支持。对于目标跟踪技术，一般有两种方案：一种是先检测后跟踪，另一种是同时检测和跟踪。

2、比如2022年发表在ieee conference on computer vision and patternrecognition上的《trackformer:multi-object tracking with transformers》和发表在ieee transactions on pattern analysis and machine intelligence上的《transcenter:transformers with dense representations for multiple-objecttracking》就是一种把检测和跟踪融合在一起的算法。而先检测后跟踪的算法有很多，比如2022年发表在ieee conference本文档来自技高网...

【技术保护点】

1.一种基于时间记忆和GNN的多目标跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于时间记忆和GNN的多目标跟踪方法，其特征在于，步骤(1)中，LSTM模型输入的是某个物体在视频序列出现的先后位置，按时间顺序排列，位置用方框表示，每个时刻的位置是一个向量，LSTM模型输出的是该物体对应时刻下一帧的位置。

3.根据权利要求1所述的基于时间记忆和GNN的多目标跟踪方法，其特征在于，步骤(2)中，GhostNetV3模型输入的是每一个物体的方框图，GhostNetV3模型输出的是一个表示属于哪个类别，即哪个物体的向量；将训练后的GhostNetV3的最...

【技术特征摘要】

1.一种基于时间记忆和gnn的多目标跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于时间记忆和gnn的多目标跟踪方法，其特征在于，步骤(1)中，lstm模型输入的是某个物体在视频序列出现的先后位置，按时间顺序排列，位置用方框表示，每个时刻的位置是一个向量，lstm模型输出的是该物体对应时刻下一帧的位置。

3.根据权利要求1所述的基于时间记忆和gnn的多目标跟踪方法，其特征在于，步骤(2)中，ghostnetv3模型输入的是每一个物体的方框图，ghostnetv3模型输出的是一个表示属于哪个类别，即哪个物体的向量；将训练后的ghostnetv3的最后一层移除，将移除后的ghostnetv3的输出作为该物体的特征向量。

4.根据权利要求1所述的基于时间记忆和gnn的多目标跟踪方法，其特征在于，步骤...

【专利技术属性】
技术研发人员：戴宇晗，王闻箫，林彬彬，蔡登，
申请(专利权)人：浙江大学，
类型：发明
国别省市：