基于时空交互注意力机制的行人多目标跟踪计算方法技术

一种基于时空交互注意力机制的行人多目标跟踪计算方法，输入图像序列中连续的两帧图像，将图像序列中的第一帧图像输入到多层融合特征提取网络，获得融合特征图，对提取到的第一帧的特征图同时输入检测分支和Re

【技术实现步骤摘要】
基于时空交互注意力机制的行人多目标跟踪计算方法


[0001]本专利技术涉及视频场景分析技术，特别涉及一种基于时空交互注意力机制的行人多目标跟踪计算方法。

技术介绍

[0002]多目标跟踪在视频分析的场景理解任务中起着至关重要的作用。它的目的是估计物体的轨迹，并以在线或离线的方式将目标对象的轨迹与每一帧的检测结果联系起来。多目标跟踪是计算机视觉面临的基本挑战之一，广泛应用于视频监控、交通控制、自动驾驶以及人机交互等各种应用与研究领域，具有重要的理论研究意义和应用价值。
[0003]目前，多目标跟踪计算模型中检测任务和Re
‑
ID任务是两个完全不同的任务，它们需要不同的特性。一般来说，Re
‑
ID特性需要更多的低级特性来区分同一个类的不同实例，而检测特性对于不同的实例需要是相似的。若使用共享特性会导致特征冲突，从而降低性能。若仅仅采用简单的卷积提取Re
‑
ID特征，更关注于其中细节的特征信息，从而丢失了各种有效信息的特征交互。因此引入时空交互注意力机制更关注全局信息，通过联合多通道特征更本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于时空交互注意力机制的行人多目标跟踪计算方法，其步骤如下：1)输入图像序列中连续的两帧图像；2)将图像序列中的第一帧图像输入到多层融合特征提取网络，获得融合特征图；3)对提取到的第一帧的特征图同时输入检测分支和Re
‑
ID分支，分别用于检测对象和提取Re
‑
ID特征；4)在检测分支，输入的特征图分别通过3
×
3卷积与1
×
1卷积层生成热图、物体中心偏移量和边界盒的大小：热图负责估计物体中心的位置，尺寸为物体中心偏移量目的是更精确地定位对象，尺寸为边界盒的大小负责估计每个位置的目标盒子的高度和宽度，尺寸为上述中，C为特征图的通道数，H,W分别为特征图的高和宽；5)在Re
‑
ID分支，将第一帧的特征图作为时空交互注意力机制的输入，依次经过通道交互注意力机制与空间注意力；6)将输入到通道交互注意力机制中，利用不同通道之间有效信息的交互融合捕获更有效的Re
‑
ID特征，计算方法如下：式(1)中，将先通过全局平均池化AvgPool获得聚合特征其次利用组卷积d
k
×
k
的方式确定交互的覆盖范围，从而得到通道权重，然后使用σ激活函数Sigmoid约束权重值到(0,1)之间，最后表示元素级乘法。其中组卷积k的大小与通道C关系如下：C＝φ(k)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)式(2)根据类比的原理，一维卷积大小k与通道数C存在正比的关系，因此在k和C之间可能存在一种映射φ。由于通道数C通常被设置为2的幂，φ(k)又可变换为：...

【专利技术属性】
技术研发人员：陈震，邓可郁，张聪炫，葛利跃，李凌，胡卫明，李兵，
申请(专利权)人：南昌航空大学，
类型：发明
国别省市：