【技术实现步骤摘要】
本专利技术涉及多目标跟踪技术，特别涉及基于图神经网络的多目标跟踪轨迹关联技术。
技术介绍
1、多目标跟踪的主要任务是检测视频帧中的多个目标，并将它们有效地跨帧关联，从而得到每个目标在视频中的连续运动轨迹。多目标跟踪为后续的高层任务如跨摄像头多目标跟踪、异常行为识别、生物计数等奠定了基础。目前，多目标跟踪已经在智能视频监控、体育分析、自动驾驶等多个领域展现出其发展潜力和经济效益。
2、近年来出现的一系列跟踪算法，仍然会因为目标运动复杂和目标之间相互遮挡等原因，错误地将不同目标的轨迹关联到一起，或者将来自同一目标的轨迹分配不同的身份标识。针对以上问题，一种轨迹关联方法被提出，该类方法应用于已经生成的轨迹，先截断错误关联的轨迹，确保每条短轨迹不再存在身份切换问题，再把所有短轨迹重新关联，从而最终减少身份切换问题的发生。但是现有方法采用以零补全或滑动窗口的方法，以保证网络输入的轨迹长度一致，可是由于轨迹长度并不是固定的，采用固定输入长度的方法并不合理。同时，现有方法将轨迹截断和轨迹拼接视为两个相互独立的任务，因此需要分别训练两个网络来执行这两项任务，这导致了训练成本的增加。
技术实现思路
1、本专利技术所要解决的技术问题是，提供一种使用同一轨迹关联模型既可完成轨迹截断又可完成轨迹拼接的多目标跟踪轨迹关联方法。
2、本专利技术为解决上述技术问题所采用的技术方案是，一种基于图神经网络的多目标跟踪轨迹关联方法，包括步骤：
3、训练数据构建步骤：构造四种轨迹类型
4、轨迹关联模型训练步骤：轨迹关联模型接收并从输入的轨迹中提取每帧中目标的图像特征，将图像特征与目标的位置特征、时间特征组成初始节点特征，轨迹中的每个目标作为节点，在前后相邻的两个目标间构造边，形成初始边特征，将输入的轨迹转化为图结构；再对图结构中的初始节点特征和初始边特征进行编码；初始节点特征编码和初始边特征编码通过图卷积网络迭代执行一系列消息传递得到包括感知连接边的信息的节点特征以及感知两端节点的信息的边特征，再利用边特征进行边预测得到预测分数，通过预测分数确定图结构中的每条边的关联状态，从而确定对当前边是否进行截断或拼接；在训练过程中，以训练数据集的真实关联状态为训练目标对轨迹关联模型的训练过程进行约束；
5、跟踪轨迹关联步骤：将需要进行预测的轨迹数据输入完成训练的轨迹关联模型，轨迹关联模型输出轨迹对应的图结构中的边的预测分数，通过预测分数确定图结构中的每条边的关联状态，从而确定对边所在的轨迹是否进行截断或拼接操作。
6、本专利技术构建了一种用于由四种的轨迹类型构成的用于图神经网络训练的数据集，该数据集能够使网络学习到目标移动时的各种状况模式，从而在轨迹被遮挡或漏检时仍然可以关联。采用图神经网络能够充分聚合前后多帧的目标信息，表达目标和目标间的潜在关联。当已有轨迹出现身份切换问题时，网络可以找出截断的位置以及两条轨迹是否需要拼接在一起的指示。
7、具体的，四种轨迹类型的具体构造方式如下：
8、1)时间连续的身份一致轨迹：
9、1-1)随机选取一个视频中的一条轨迹；
10、1-2)在第一设定帧长度范围内随机截取这条轨迹；所述第一设定帧长度为设置的训练过程中的轨迹所对应的帧长度；
11、1-3)轨迹对应的图结构中每条边的关联状态设置为连续；
12、2)时间不连续的身份一致轨迹：
13、2-1)随机选取一个视频中的一条轨迹；
14、2-2)在第一设定帧长度一半的范围内随机截取这条轨迹；
15、2-3)在截取的轨迹尾部帧跳过第二设定帧长度，再选取第一设定帧长度一半的轨迹，并将这两个轨迹拼接为一个轨迹；第二设定帧长度为设置的轨迹断裂长度的经验值；
16、2-4)拼接的轨迹对应的图结构中每条边的关联状态设置为连续；
17、3)时间不连续的身份不一致轨迹：用于表现当出现明显的时空断层，且前后外观差异巨大的，已经出现了身份切换的轨迹类型。轨迹关联模型学习到这类轨迹不需要进行截断。
18、构造方式如下：
19、3-1)随机选取一个视频；
20、3-2)先从视频中随机选取一条长度在第一设定帧长度一半的范围内的轨迹，再随机选取另一条长度在第一设定帧长度一半的范围内的轨迹，修改两条轨迹的时间信息，保证两条轨迹首尾不超过第二设定帧长度范围，再将两条轨迹拼接为一条轨迹；
21、3-3)拼接的轨迹在拼接处对应的图结构中边的关联状态设置为截断，其他边的关联状态设置为连续；
22、4)时间连续的身份不一致轨迹：
23、4-1)依据遮挡率筛选出遮挡率大于遮挡比例阈值的单帧单个目标；
24、4-2)以筛选出的目标为基准，找寻其被覆盖面积最大的另一个目标；
25、4-3)基准目标和覆盖目标随机地一个向前截取第一设定帧长度一半的范围内的轨迹，一个向后截取第一设定帧长度一半的范围内的轨迹，再将两条轨迹拼接在一起作为一个轨迹；
26、4-4)拼接的轨迹在拼接处对应的图结构中边的关联状态设置为截断，其他边的关联状态设置为连续。
27、跟踪轨迹关联步骤中，当轨迹关联模型用于轨迹截断的预测时，先将输入待预测轨迹构建为图结构，通过对图结构中各边的预测分数得到每条边的关联状态，在关联状态为截断所对应的位置处进行轨迹截断。
28、跟踪轨迹关联步骤中，当轨迹关联模型用于轨迹拼接的预测时，先将待预测两条轨迹按时间顺序被首尾连接形成一条拼接轨迹并记录拼接位置后输入轨迹关联模型，轨迹关联模型将拼接的轨迹构建为图结构，通过对图结构中各边的预测分数得到每条边的关联状态，最后通过判断拼接位置的关联状态来确定是否需要将两条轨迹拼接在一起。
29、本专利技术的有益效果是，利用同一个图神经网络来处理轨迹截断和轨迹拼接，减少了轨迹关联模型的训练次数，解除了需要输入固定轨迹长度至图神经网络的限制。在mot17公开数据集上联合多个跟踪器的实验表明，本专利技术方法能够提升现有跟踪器的性能。
本文档来自技高网...【技术保护点】
1.一种基于图神经网络的多目标跟踪轨迹关联方法，其特征在于，包括步骤：
2.如权利要求1所述方法，其特征在于，四种轨迹类型的具体构造方式如下：
3.如权利要求2所述方法，其特征在于，每条轨迹都会分配一个唯一的标识ID；四种轨迹类型在构造时，图结构中节点设置的训练目标为所在位置在轨迹拼接前所对应的ID。
4.如权利要求2所述方法，其特征在于，第一设定帧长度范围为[10,30]，第二设定帧长度范围为[2,50]。
5.如权利要求2所述方法，其特征在于，遮挡比例阈值为0.5。
6.如权利要求1所述方法，其特征在于，跟踪轨迹关联步骤中，当轨迹关联模型用于轨迹截断的预测时，先将输入待预测轨迹构建为图结构，通过对图结构中各边的预测分数得到每条边的关联状态，在关联状态为截断所对应的位置处进行轨迹截断。
7.如权利要求1所述方法，其特征在于，跟踪轨迹关联步骤中，当轨迹关联模型用于轨迹拼接的预测时，先将待预测两条轨迹按时间顺序被首尾连接形成一条拼接轨迹并记录拼接位置后输入轨迹关联模型，轨迹关联模型将拼接的轨迹构建为图结构，通过
8.如权利要求1所述方法，其特征在于，通过卷积神经网络CNN每帧中目标的图像特征，时间特征为目标在视频中的所处帧数，目标的位置特征为目标在图像中的横纵坐标。
9.如权利要求1所述方法，其特征在于，使用多层感知机MLP对图结构中的初始节点特征和初始边特征进行编码。
...【技术特征摘要】
1.一种基于图神经网络的多目标跟踪轨迹关联方法，其特征在于，包括步骤：
2.如权利要求1所述方法，其特征在于，四种轨迹类型的具体构造方式如下：
3.如权利要求2所述方法，其特征在于，每条轨迹都会分配一个唯一的标识id；四种轨迹类型在构造时，图结构中节点设置的训练目标为所在位置在轨迹拼接前所对应的id。
4.如权利要求2所述方法，其特征在于，第一设定帧长度范围为[10,30]，第二设定帧长度范围为[2,50]。
5.如权利要求2所述方法，其特征在于，遮挡比例阈值为0.5。
6.如权利要求1所述方法，其特征在于，跟踪轨迹关联步骤中，当轨迹关联模型用于轨迹截断的预测时，先将输入待预测轨迹构建为图结构，通过对图结构中各边的预测分数得到每条...
【专利技术属性】
技术研发人员：周雪，唐瀚林，邹见效，朱树元，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。