【技术实现步骤摘要】
本专利技术涉及目标跟踪，特别是涉及一种基于连续时序信息融合的单目标跟踪方法。
技术介绍
1、单目标跟踪是计算机视觉应用中心的核心问题之一，主要任务是在视频的第一帧中选择要跟踪的目标，并在随后的每一帧中精确估计该目标的位置。这项技术在自动驾驶、智能制造、机器人技术和视频监控等多个领域具有广泛的应用价值。近年来，基于深度学习的跟踪方法在复杂背景和多变环境中展示出强大的鲁棒性。然而，随着应用场景的多样化和复杂化，单目标跟踪依然面临许多挑战。例如，目标的小时、被遮挡、形变以及环境光照变化等情况，都会导致跟踪失败。此外，单目标跟踪任务的实时性是广泛部署的关键，因为许多应用场景需要对目标进行及时且准确的跟踪。虽然cnn与transformer的应用使得模型的准确性等得到了极大的提升，但是单纯的增加模型的重量，模型的收益十分有限，且会给模型的部署增加难度。因此，基于连续时序信息融合的单目标跟踪技术正逐渐成为推动智能设备在各种场景中实现实时目标识别和跟踪的关键力量，为各种实际应用开辟了新的可能性和提供了更广阔的应用前景。
2、目前，主流的非时序信息跟踪网络和目标模板更新策略跟踪器都存在缺陷，主要是由两方面构成：
3、(1)非时序信息跟踪方法都有一个共同的问题：在跟踪过程中缺乏对时序信息的利用，导致在复杂情况下(如目标消失、目标形状和外观发生变化、目标遮挡后重新跟踪等)跟踪精度下降，或在长期跟踪过程中鲁棒性下降；
4、(2)目标模板更新策略跟踪器在跟踪过程中，只考虑了目标本身的离散时序信息，对视频帧间的连续性考
技术实现思路
1、为了解决上述现有技术中的不足，本专利技术的目的是提供一种基于连续时序信息融合的单目标跟踪方法，通过其创新的连续时序信息融合方法和网络结构，为目标跟踪领域带来了一种既高效又高效能的解决方案，具有广泛的应用前景，特别是在需要实时处理大量数据的现代应用中表现尤为突出。
2、本专利技术解决其技术问题所采用的技术方案为：
3、提供了一种基于连续时序信息融合的单目标跟踪方法，包括以下步骤：
4、s1：使用骨干网络，对模板图片进行特征提取；
5、s2：利用目标模板特征细化模块从模板图片特征中获取目标的全局和局部信息，通过骨干网络处理搜索图片的特征提取阶段后，将上一帧搜索图片和当前帧搜索图片的特征输入时序信息融合模块，使视频帧间的时序信息参与到跟踪过程中；
6、s3：搜索图片和模板图片的特征被串联起来，在异步交互阶段，采用骨干网络进行特征交互，异步交互阶段与用于从搜索图片中提取特征的骨干网络以及用于从模板图片中提取特征的骨干网络之间共享权重；
7、s4：利用定位头实现目标定位。
8、进一步的，s1中，使用8层骨干网络对模板图片进行特征提取；s2中，使用6层骨干网络对搜索图片进行特征提取；s3中，在异步交互阶段，采用2层骨干网络进行特征交互。
9、进一步的，s2中，目标模板特征提取细化模块的工作步骤为：
10、(3)将模板特征z∈rb×c×s经过线性层处理，得到z0∈rb×c×s；
11、(4)通过一个3×3的卷积层与z0进行残差连接，得到z1∈rb×c×s；
12、(3)对z0使用四个不同尺度j×j的卷积核进行卷积操作，得到不同感受野下的目标模板特征qi∈rb×c×s；
13、(4)将qi分别通过一个多头自注意力处理，产生更深层析的特征表示mi∈rb×c×s；
14、(5)将mi进行拼接得到m，同时将qi也进行拼接，然后各自通过一个3×3的卷积来进行通道压缩，分别得到m′∈rb×c×s以及z2∈rb×c×s；
15、(6)将z,z1,z2以及m′进行相加，得到细化后的模板特征表示z′∈rb×c×s。进一步的，整体操作过程如下：
16、z0＝liner(z)
17、qi＝convj×j(z0)i＝1,2,3,4j＝3,5,7,9
18、z1＝conv3×3(z0)+z0
19、liner表示线性层，conv×j表示卷积核尺寸为j的卷积；
20、mi＝msa(qi)i＝1,2,3,4
21、z2＝conv3×3[cat(q1,q2,q3,q4)]
22、m′＝conv3×3[cat(m1,m2,m3,m4)]
23、msa代表多头自注意力机制，cat表示拼接；
24、z′＝z0+z1+z2+m′。
25、进一步的，s2中，时序信息融合模块的工作步骤为：
26、(1)通过自注意力捕获搜索图片特征内部的全局依赖关系，从第二帧搜索图片特征开始，对于网络处理的前一帧搜索图片的特征进行存储，当t>＝2时，将feat-1∈rb×c×s进行存储；当tif处理feat∈rb×c×s时，将feat-1与feat进行均化，将得到包含前后两帧图片重要特征的联合特征ft∈rb×c×s；
27、(2)将联合特征ft与feat输入连续时序信息融合注意力中，着重处理均化后的联合特征ft与特征feat的融合；
28、(3)将联合特征进行点乘，并且经过前馈神经网络和归一化处理，得到最终时序融合后的特征fft。
29、进一步的，整体操作过程如下：
30、
31、ft＝mean[feat-1,feat]
32、qt-1,kt-1,vt-1分别代表了对第t-1帧搜索图片特征进行卷积后所生成的查询，键和值，qt,kt,vt分别代表了对第t帧搜索图片特征进行卷积后所生成的查询，键和值；d是kt的维度，mean为均化操作；最终获得包含前后帧特征的联合特征ft；
33、将上述所得联合特征ft分别作为连续时序信息融合注意力通道处理部分的输入和连续时序信息融合注意力空间处理部分的键和值，并且当前帧特征作为时序信息融合模块空间处理部分的查询输入；具体过程如下所示：
34、
35、fst＝norm(f0+ft)
36、kf，vf分别是将联合特征ft进行线性变换之后所得到的输入多头注意力的键和值，qft代表将当前帧特征进行线性变化后所得到的输入多头注意力的查询，d是kf的维度；norm代表了层归一化；
37、cft＝[maxpool(ft)+avgpool(ft)]
38、fct＝conv2d[conv2d(cft)]·ft
39、maxpool和avgpool分别代表自适应最大池化和自适应平均池化，分别用于捕捉联合特征ft每个通道中的最显著信息和捕捉本文档来自技高网...
【技术保护点】
1.一种基于连续时序信息融合的单目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于连续时序信息融合的单目标跟踪方法，其特征在于，S1中，使用8层骨干网络对模板图片进行特征提取；S2中，使用6层骨干网络对搜索图片进行特征提取；S3中，在异步交互阶段，采用2层骨干网络进行特征交互。
3.根据权利要求1所述的一种基于连续时序信息融合的单目标跟踪方法，其特征在于，S2中，目标模板特征提取细化模块的工作步骤为：
4.根据权利要求3所述的一种基于连续时序信息融合的单目标跟踪方法，其特征在于，整体操作过程如下：
5.根据权利要求1所述的一种基于连续时序信息融合的单目标跟踪方法，其特征在于，S2中，时序信息融合模块的工作步骤为：
6.根据权利要求5所述的一种基于连续时序信息融合的单目标跟踪方法，其特征在于，整体操作过程如下：
7.根据权利要求1所述的一种基于连续时序信息融合的单目标跟踪方法，其特征在于，S4中，采用中心头进行定位预测，由中心分类、偏移回归和尺寸三个卷积分支组成。
8.根据权
9.根据权利要求1所述的一种基于连续时序信息融合的单目标跟踪方法，其特征在于，还包括模型训练和性能评估。
10.根据权利要求9所述的一种基于连续时序信息融合的单目标跟踪方法，其特征在于，曲线下面积用于衡量跟踪算法在不同重叠阈值下的整体性能，计算公式如下：
...【技术特征摘要】
1.一种基于连续时序信息融合的单目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于连续时序信息融合的单目标跟踪方法，其特征在于，s1中，使用8层骨干网络对模板图片进行特征提取；s2中，使用6层骨干网络对搜索图片进行特征提取；s3中，在异步交互阶段，采用2层骨干网络进行特征交互。
3.根据权利要求1所述的一种基于连续时序信息融合的单目标跟踪方法，其特征在于，s2中，目标模板特征提取细化模块的工作步骤为：
4.根据权利要求3所述的一种基于连续时序信息融合的单目标跟踪方法，其特征在于，整体操作过程如下：
5.根据权利要求1所述的一种基于连续时序信息融合的单目标跟踪方法，其特征在于，s2中，时序信息融合模块的工作步骤为：
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。