【技术实现步骤摘要】
基于目标特征时空对齐的视频跟踪系统及方法
[0001]本专利技术涉及的是一种视频跟踪领域的技术，具体是一种基于目标特征时空对齐的视频跟踪系统及方法。
技术介绍
[0002]视频跟踪，即对视频中多个感兴趣的目标进行定位，同时对所有目标根据其特征进行编号，记录连续的运动轨迹。
[0003]现有的视频跟踪方法包括基于tracking
‑
by
‑
detection框架的算法，例如deepsort算法，对每一帧进行目标检测，将前后帧检测到的目标进行关联，得到一系列轨迹。这种方法仅是把普通的关联和分配算法和目标检测器结合到一起，跟踪效果依赖于目标检测性能的好坏，当目标位于密集场景时和目标或镜头迅速移动情况下，这种依赖位置关联的算法在跟踪时容易丢失目标，造成精度下降。
[0004]现有基于检测和跟踪联合的算法，例如FairMOT算法，该类算法将目标检测和关联联合训练，增加匹配和关联之间的特征耦合关系，对两者同时进行提升。该类算法在目标位置处对特征信息进行采样，但是此特征提取方法仅仅作用于...
【技术保护点】
【技术特征摘要】
1.一种基于目标特征时空对齐的视频跟踪系统，其特征在于，包括：全局特征提取模块、目标位置预测模块、目标特征提取模块和目标跟踪模块，其中：全局特征提取模块将当前帧与参考帧同时输入特征提取网络，得到当前帧以及参考帧的特征图并进行邻帧相似度计算；目标位置预测模块根据特征图预测出各个像素点上存在目标的概率，得到当前帧的热力图，再使用参考帧的heatmap对其进行时序信息增强，得到目标的物理中心位置；目标特征提取模块根据特征图预测各个像素点上的特征，即全局的特征，再对目标物理中心位置进行采样位置偏移得到目标特征中心位置，在全局特征上对目标特征中心位置进行采样，得到目标特征；目标跟踪模块根据目标位置和目标特征将各个目标与历史轨迹匹配，使用当前帧的目标信息更新轨迹状态；所述的邻帧相似度是指：将当前帧特征图的各个像素点与参考帧特征图对应位置及其邻域的点进行相似度计算，得到的相似度包含空间相关信息，在时序上则表现为由目标移动造成的差异，提供目标的运动信息使后续步骤中的像素点偏移预测得更为准确；所述的heatmap，表示各个像素点上存在目标的概率的矩阵，将矩阵上目标概率的极大值点所处位置作为目标的物理中心位置；所述的时序信息增强是指：采用参考帧的位置信息弥补因目标运动或遮挡造成当前帧的位置信息缺失，具体为：将邻帧相似度输入目标位置预测模块的可变形卷积预测卷积时像素点的偏移，再将参考帧的heatmap通过该可变形卷积得到邻帧残差，再用邻帧残差对当前帧的heatmap进行修正，即将两者直接叠加得到调整后的heatmap，使得到的heatmap既反映当前帧的目标位置，又融合了历史轨迹的信息。2.根据权利要求1所述的基于目标特征时空对齐的视频跟踪系统，其特征是，所述的采样位置偏移是指：在特征图上添加新的预测分支预测各个像素点从物理中心位置到特征中心位置的偏移使用该偏移在修正过后的位置进行采样。3.根据权利要求2所述的基于目标特征时空对齐的视频跟踪系统，其特征是，所述的采样，通过特征互信息方法得到目标特征，具体为：通过计算采样位置与周围像素点的特征互信息，特征互信息越多，则组成特征的权重越高，以此来选取公有的特征，滤除不相干的目标特征。4.根据权利要求1所述的基于目标特征时空对齐的视频跟踪系统，其特征是，所述的特征提取网络的训练过程中，将不同目标特征的正交性加入标准进行监督学习，即对于不同的目标i，j，其对应特征向量F
i
、F
j
，σ(F
i
F
jT
)趋近于0，对于两个相同的目标i，σ(F
i
F
iT
)趋近于1，其中：σ()表示激活函数。5.根据权利要求1所述的基于目标特征时空对齐的视频跟踪系统，其特征是，所述的邻帧特征图相似度计算采用空间相关的方法，即将当前帧特征图上的各像素点与参考帧对应位置及其邻域的像素点都做一次相似度计算，得到的相似度矩阵上各点值为其中：邻域0≤i，j＜K，邻域大小为(K，K)，Q
xy
为位于当前帧的特征图(x，y)上的向量，Q
′
xy
为上一帧对应位置邻域上一点的向量，得到大小为(H，W，K2)的相似度矩阵。6.根据权利要求1～5中任一所述的基于目标特征时空对齐的视频跟踪系统，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。