一种基于交互时空特征的图神经网络的多目标跟踪方法技术

本发明专利技术公开了一种基于交互时空特征的图神经网络的多目标跟踪方法，包括以下步骤：S1、获取历史样本图像和当前搜索图像，将历史样本图像和当前搜索图像分别输入特征提取网络，得到SFP特征和SFC特征；所述特征提取网络包括相互连接的共享卷积网络和时空图注意力网络；S2、将当前搜索图像依次输入共享卷积网络、最大池化层和反卷积层，得到上下文特征；S3、通过上下文特征网络根据SFP特征、SFC特征和上下文特征生成自适应特征，得到当前搜索图像中每个目标的预测位置，完成多目标跟踪。本发明专利技术可以将目标的时空外观建模和目标间的交互以及上下文引导下的自适应学习结合起来，实现鲁棒目标定位与跟踪。

【技术实现步骤摘要】

本专利技术属于计算机视觉领域，具体涉及一种基于交互时空特征的图神经网络的多目标跟踪方法。

技术介绍

1、多目标跟踪是计算机视觉领域的一个关键任务，广泛应用于自动驾驶、智能监控、行为识别等领域。该任务以输入连续视频帧序列为开始，经过对视频帧的处理从而输出目标的跟踪结果，包括目标的边界框和相应的id号。传统的多目标跟踪方法如基于概率密度分布的跟踪方法、基于粒子滤波方法进行跟踪的方法等这些经典方法无法处理和适应复杂的跟踪变化，它们的鲁棒性和准确度都被前沿的算法所超越。随着深度学习的发展，深度学习技术也被成功应用于跟踪领域。在大数据背景下，利用深度学习训练网络模型，得到的卷积特征输出表达能力更强，从而得到更好的跟踪结果。

2、最近几年，基于孪生网络的跟踪在跟踪界引起了越来越多的关注，孪生网络在端到端框架中学习目标物体和当前搜索图像的候选补丁之间的相似性度量。凭借强大的深度网络和用于离线训练的大规模标记视频帧，基于孪生网络的跟踪器实现了良好的性能和效率。该网络把跟踪任务转换成一个模板匹配的问题而不是一个常见的二分类问题，孪生结构网络是卷积神经网络中的一种本文档来自技高网...

【技术保护点】

1.一种基于交互时空特征的图神经网络的多目标跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于交互时空特征的图神经网络的多目标跟踪方法，其特征在于，所述S1中，特征提取网络处理历史样本图像和当前搜索图像的方法相同，其中，特征提取网络处理历史样本图像的方法具体为：

3.根据权利要求2所述的一种基于交互时空特征的图神经网络的多目标跟踪方法，其特征在于，所述S11中，历史样本图像包括若干连续的视频帧；

4.根据权利要求2所述的一种基于交互时空特征的图神经网络的多目标跟踪方法，其特征在于，所述S12中，无向图包括节点集和边集，其中，节点集通...

【技术特征摘要】

1.一种基于交互时空特征的图神经网络的多目标跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于交互时空特征的图神经网络的多目标跟踪方法，其特征在于，所述s1中，特征提取网络处理历史样本图像和当前搜索图像的方法相同，其中，特征提取网络处理历史样本图像的方法具体为：

3.根据权利要求2所述的一种基于交互时空特征的图神经网络的多目标跟踪方法，其特征在于，所述s11中，历史样本图像包括若干连续的视频帧；

4.根据权利要求2所述的一种基于交互时空特征的图神经网络的多目标跟踪方法，其特征在于，所述s12中，无向图包括节点集和边集，其中，节点集通过特征集合的嵌入序列中的所有目标部分组成，边集包括第一～第二类边，第一类边为空间边，表示每帧的样例内连接；得到第二类边的方法为：通过连续帧中与时间边位置相同的部分连接。

5.根据权利要求2所述的一种基于交互时空特征的图神经网络的多目标跟踪方法，其特...

【专利技术属性】
技术研发人员：张翔，杜柏霖，唐梓皓，刘玉蝶，周茂樟，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：