基于时空轨迹关联的多目标跟踪方法及系统技术方案

本发明专利技术提供一种基于时空轨迹关联的多目标跟踪方法及系统，该方法包括：对多目标跟踪视频中相邻帧之间的目标进行匹配，更新每一帧图片中的各个目标以及各个目标对应的历史轨迹状态，并根据匹配结果构建当前帧候选轨迹序列和历史候选轨迹序列；对当前帧候选轨迹序列进行特征提取，得到每一帧图片对应的底层特征，并根据历史轨迹片段和历史帧底层特征，对当前帧底层特征进行特征增强处理，得到轨迹特征；基于视觉相似度、空间相似度和时间相似度，根据轨迹特征，将当前帧候选轨迹序列中的候选轨迹与历史候选轨迹序列中的候选轨迹进行轨迹关联匹配，获取多目标跟踪视频中的目标跟踪结果。本发明专利技术提高了多目标跟踪的准确率，降低了误匹配和身份跳变。了误匹配和身份跳变。了误匹配和身份跳变。

【技术实现步骤摘要】
基于时空轨迹关联的多目标跟踪方法及系统


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于时空轨迹关联的多目标跟踪方法及系统。

技术介绍

[0002]多目标跟踪是计算机视觉中具有吸引力的任务之一，其旨在自动生成运动目标的轨迹。现有的多目标跟踪方法可以分为两类：基于检测的跟踪(Tracking
‑
by
‑
Detecton，简称TBD)，与检测无关的跟踪(Detection
‑
Free Tracking，简称DFT)。
[0003]随着多目标检测的快速发展，TBD算法已成为目前有效的多目标跟踪范式，TBD算法将多目标跟踪分成四个独立的模块，包括目标检测，特征提取，相似度计算以及数据关联。由于现有TBD算法仅利用视觉相似度匹配不同的轨迹，容易引起误匹配，并且场景中的目标时刻发生着变化，也会导致身份跳变，例如，错误关联在时空上有距离但视觉特征相似的轨迹，导致现有多目标跟踪的准确率还有待进一步提升。
[0004]因此，现在亟需一种基于时空轨迹关联的多目标跟踪方法及系统来解决上述问题。

技术实现思路

[0005]针对现有技术存在的问题，本专利技术提供一种基于时空轨迹关联的多目标跟踪方法及系统。
[0006]本专利技术提供一种基于时空轨迹关联的多目标跟踪方法，包括：
[0007]对多目标跟踪视频中相邻帧之间的目标进行匹配，更新所述多目标跟踪视频每一帧图片中的各个目标以及各个目标对应的历史轨迹状态，并根据匹配结果构建当前帧候选轨迹序列和历史候选轨迹序列；
[0008]对所述当前帧候选轨迹序列进行特征提取，得到各个轨迹片段中每一帧图片对应的底层特征，并根据历史轨迹片段和历史帧底层特征，对当前帧底层特征进行特征增强处理，得到所述当前帧候选轨迹序列对应的轨迹特征；
[0009]基于视觉相似度、空间相似度和时间相似度，根据所述轨迹特征，将所述当前帧候选轨迹序列中的候选轨迹与所述历史候选轨迹序列中的候选轨迹进行轨迹关联匹配，获取所述多目标跟踪视频中的目标跟踪结果。
[0010]根据本专利技术提供的一种基于时空轨迹关联的多目标跟踪方法，在所述基于视觉相似度、空间相似度和时间相似度，根据所述轨迹特征，将所述当前帧候选轨迹序列中的候选轨迹与所述历史轨迹序列中的候选轨迹进行轨迹关联匹配，获取所述多目标跟踪视频中的目标跟踪结果之后，所述方法还包括：
[0011]通过双向插值算法，对所述多目标跟踪视频中的目标跟踪结果进行轨迹后处理，得到优化后的目标跟踪结果。
[0012]根据本专利技术提供的一种基于时空轨迹关联的多目标跟踪方法，在所述对所述当前
帧候选轨迹序列进行特征提取，得到各个轨迹片段中每一帧图片对应的底层特征，并根据历史轨迹片段和历史帧底层特征，对当前帧底层特征进行特征增强处理，得到所述当前帧候选轨迹序列对应的轨迹特征之前，所述方法还包括：
[0013]通过ResNet
‑
50网络、全局注意力机制和局部注意力机制，构建得到时空注意力网络，以通过所述时空注意力网络的ResNet
‑
50网络，对所述当前帧候选轨迹序列进行特征提取，得到底层特征，并基于全局注意力机制和局部注意力机制对所述底层特征进行特征增强处理，得到轨迹特征。
[0014]根据本专利技术提供的一种基于时空轨迹关联的多目标跟踪方法，所述根据历史轨迹片段和历史帧底层特征，对当前帧底层特征进行特征增强处理，得到所述当前帧候选轨迹序列对应的轨迹特征，包括：
[0015]基于所述当前帧候选轨迹序列对应的历史候选轨迹序列，获取历史轨迹片段的全局注意力特征；
[0016]通过第二底层特征，对第一底层特征进行特征增强处理，得到局部注意力特征；其中，所述第一底层特征和所述第二底层特征分别为所述当前帧候选轨迹序列的同一轨迹片段中当前帧底层特征和历史帧底层特征；
[0017]将所述全局注意力特征和所述局部注意力特征进行融合，得到融合注意力特征；
[0018]根据所述融合注意力特征，对所述第一底层特征进行特征增强处理，得到第三底层特征；
[0019]通过特征学习器、全局平均池化层和时序平均池化层，对所述第三底层特征进行处理，得到轨迹片段特征；
[0020]根据所述轨迹片段特征，构建得到所述当前帧候选轨迹序列对应的轨迹特征。
[0021]根据本专利技术提供的一种基于时空轨迹关联的多目标跟踪方法，所述基于视觉相似度、空间相似度和时间相似度，根据所述轨迹特征，将所述当前帧候选轨迹序列中的候选轨迹与所述历史候选轨迹序列中的候选轨迹进行轨迹关联匹配，获取所述多目标跟踪视频中的目标跟踪结果，包括：
[0022]根据所述当前帧候选轨迹序列的轨迹特征和所述历史候选轨迹序列的轨迹特征，获取所述当前帧候选轨迹序列与所述历史候选轨迹序列之间的视觉相似度；
[0023]根据所述当前帧候选轨迹序列和所述历史候选轨迹序列的轨迹起始坐标和轨迹终止坐标，获取所述当前帧候选轨迹序列与所述历史候选轨迹序列之间的空间相似度；
[0024]根据所述当前帧候选轨迹序列和所述历史候选轨迹序列的起始帧和结束帧，获取所述当前帧候选轨迹序列与所述历史候选轨迹序列之间的时间相似度；
[0025]根据所述视觉相似度、所述空间相似度和所述时间相似度，构建所述当前帧候选轨迹序列与所述历史候选轨迹序列之间的损失矩阵，并通过匈牙利算法对所述损失矩阵进行求解，以对所述当前帧候选轨迹序列中的候选轨迹与所述历史候选轨迹序列中的候选轨迹进行轨迹关联匹配，获取所述多目标跟踪视频中的目标跟踪结果。
[0026]根据本专利技术提供的一种基于时空轨迹关联的多目标跟踪方法，所述视觉相似度的公式为：
[0027][0028]其中，表示历史轨迹的轨迹特征，表示当前帧候选轨迹的轨迹特征，S
v
表示视觉相似度；
[0029]所述空间相似度的公式为：
[0030][0031]其中，表示当前帧候选轨迹的起始坐标，表示通过卡尔曼滤波器预测得到的历史候选轨迹的终止坐标，S
d
表示空间距离；
[0032]通过最大最小归一化，对所述空间距离S
d
进行转换，得到空间相似度S
s
；
[0033]所述时间相似度的公式为：
[0034][0035][0036]其中，λ表示平滑因子，γ表示收缩因子，与分别表示S
s
候选轨迹的起始帧与结束帧，表示历史轨迹的结束帧，Δt表示历史候选轨迹和S
s
候选轨迹之间的时域间隔，S
t
表示时间相似度；
[0037]所述损失矩阵的公式为：
[0038][0039]本专利技术还提供一种基于时空轨迹关联的多目标跟踪系统，包括：
[0040]轨迹生成模块，用于对多目标跟踪视频中相邻帧之间的目标进行匹配，更新所述多目标跟踪视频每一帧图片中的各个目标以及各个目标对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空轨迹关联的多目标跟踪方法，其特征在于，包括：对多目标跟踪视频中相邻帧之间的目标进行匹配，更新所述多目标跟踪视频每一帧图片中的各个目标以及各个目标对应的历史轨迹状态，并根据匹配结果构建当前帧候选轨迹序列和历史候选轨迹序列；对所述当前帧候选轨迹序列进行特征提取，得到各个轨迹片段中每一帧图片对应的底层特征，并根据历史轨迹片段和历史帧底层特征，对当前帧底层特征进行特征增强处理，得到所述当前帧候选轨迹序列对应的轨迹特征；基于视觉相似度、空间相似度和时间相似度，根据所述轨迹特征，将所述当前帧候选轨迹序列中的候选轨迹与所述历史候选轨迹序列中的候选轨迹进行轨迹关联匹配，获取所述多目标跟踪视频中的目标跟踪结果。2.根据权利要求1所述的基于时空轨迹关联的多目标跟踪方法，其特征在于，在所述基于视觉相似度、空间相似度和时间相似度，根据所述轨迹特征，将所述当前帧候选轨迹序列中的候选轨迹与所述历史轨迹序列中的候选轨迹进行轨迹关联匹配，获取所述多目标跟踪视频中的目标跟踪结果之后，所述方法还包括：通过双向插值算法，对所述多目标跟踪视频中的目标跟踪结果进行轨迹后处理，得到优化后的目标跟踪结果。3.根据权利要求1所述的基于时空轨迹关联的多目标跟踪方法，其特征在于，在所述对所述当前帧候选轨迹序列进行特征提取，得到各个轨迹片段中每一帧图片对应的底层特征，并根据历史轨迹片段和历史帧底层特征，对当前帧底层特征进行特征增强处理，得到所述当前帧候选轨迹序列对应的轨迹特征之前，所述方法还包括：通过ResNet
‑
50网络、全局注意力机制和局部注意力机制，构建得到时空注意力网络，以通过所述时空注意力网络的ResNet
‑
50网络，对所述当前帧候选轨迹序列进行特征提取，得到底层特征，并基于全局注意力机制和局部注意力机制对所述底层特征进行特征增强处理，得到轨迹特征。4.根据权利要求3所述的基于时空轨迹关联的多目标跟踪方法，其特征在于，所述根据历史轨迹片段和历史帧底层特征，对当前帧底层特征进行特征增强处理，得到所述当前帧候选轨迹序列对应的轨迹特征，包括：基于所述当前帧候选轨迹序列对应的历史候选轨迹序列，获取历史轨迹片段的全局注意力特征；通过第二底层特征，对第一底层特征进行特征增强处理，得到局部注意力特征；其中，所述第一底层特征和所述第二底层特征分别为所述当前帧候选轨迹序列的同一轨迹片段中当前帧底层特征和历史帧底层特征；将所述全局注意力特征和所述局部注意力特征进行融合，得到融合注意力特征；根据所述融合注意力特征，对所述第一底层特征进行特征增强处理，得到第三底层特征；通过特征学习器、全局平均池化层和时序平均池化层，对所述第三底层特征进行处理，得到轨迹片段特征；根据所述轨迹片段特征，构建得到所述当前帧候选轨迹序列对应的轨迹特征。5.根据权利要求1所述的基于时空轨迹关联的多目标跟踪方法，其特征在于，所述基于
视觉相似度、空间相似度和时间相似度，根据所述轨迹特征，将所述当前帧候选轨迹序列中的候选轨迹与所述历史候选轨迹序列中的候选轨迹进行轨迹关联匹配，获取所述多目标跟踪视频中的目标跟踪结果，包括：根据...

【专利技术属性】
技术研发人员：徐常胜，姚涵涛，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：