基于Transformer的在线更新目标跟踪方法及系统技术方案

本发明专利技术属于目标跟踪领域，提供了基于Transformer的在线更新目标跟踪方法及系统，该方法包括采用权重共享的Twi ns作为骨干网络对模板图像和搜索图像进行特征提取得到模板图像特征和搜索图像特征；引入在线更新模块，将置信度超过阈值模板作为更新模板，其对应的特征作为更新模板特征,并将更新模板特征与模板图像特征进行互补，得到融合模板图像特征；基于编码器和解码器，分别将模板图像特征、更新模板特征和融合模板图像特征分别和搜索图像特征进行融合，得到对应的融合特征图；采用多模板策略将对应的融合特征图映射至预测头，同时得到对应分支的预测分数，将预测分数最高的分支对应的边界框作为跟踪边框进行目标跟踪。标跟踪。标跟踪。

【技术实现步骤摘要】
基于Transformer的在线更新目标跟踪方法及系统


[0001]本专利技术属于目标跟踪
，尤其涉及基于Transformer的在线更新目标跟踪方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]目前基于Transformer的跟踪器大多将CNN作为特征提取的基本组件来完成跟踪任务，常常忽略了Transformer的提取特征能力。
[0004]在现有的跟踪器中，采用Transformer替代常用的ResNet
‑
50作为骨干网络。然而将Transformer作为骨干网络应用到跟踪任务中造成的突出问题是Transformer的注意力机制会增加计算复杂度。为了降低计算复杂度，Swin Transformer采用了LSA(locally
‑
grouped self
‑
attention局部分组注意力)，这种方法的缺点是会导致感受野受限，虽然采用滑动窗口可以缓解这个问题，但会造成滑动窗口大小不均匀，影响本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于Transformer的在线更新目标跟踪方法，其特征在于，包括如下步骤：获取模板图像和搜索图像；采用权重共享的Twins作为骨干网络，利用三层金字塔结构对模板图像和搜索图像进行特征提取得到模板图像特征和搜索图像特征；引入在线更新模块，将置信度超过阈值的模板作为更新模板，其对应的特征作为更新模板特征,并将更新模板特征与模板图像特征进行互补，得到融合模板图像特征；基于编码器和解码器，分别将模板图像特征、更新模板特征和融合模板图像特征分别和搜索图像特征进行融合，得到对应的融合特征图；采用多模板策略将对应的融合特征图映射至预测头，同时得到对应分支的预测分数，将预测分数最高的分支对应的边界框作为跟踪边框进行目标跟踪。2.如权利要求1所述的基于Transformer的在线更新目标跟踪方法，其特征在于，所述采用权重共享的Twins作为骨干网络，利用三层金字塔结构对模板图像和搜索图像进行特征提取得到模板图像特征和搜索图像特征，具体包括：利用块分割模型将模板图像和搜索图像分割为不重叠的块；将分割得到的块采用局部注意力和全局注意力交替的机制进行特征提取，包括：采用局部分组注意力将特征图分割开，划分为多个子窗口，将其映射至对应的子特征图上；从全局对分组注意力结果进行融合，采用全局子采样注意力将各个子特征图展开恢复原形。3.如权利要求2所述的基于Transformer的在线更新目标跟踪方法，其特征在于，所述在采用局部分组注意力将特征图分割开，划分为多个子窗口后，将每一个窗口提取一个降维后的低维特征作为各个窗口的表征，基于该表征再和各个窗口进行交互。4.如权利要求1所述的基于Transformer的在线更新目标跟踪方法，其特征在于，所述基于编码器和解码器，分别将模板图像特征、更新模板特征和融合模板图像特征分别和搜索特征进行融合中，具体包括：分别将模板图像特征、更新模板特征和融合模板图像特征折叠成一维向量输入至编码器中，采用多头注意力机制来细化每个元素的特征嵌入，对每一个独立的头计算注意力，将注意力机制扩展到多个头中并行处理得到解码后的模板图像特征、更新模板特征和融合模板图像特征；采用多头交叉注意力将编码器输出的模板图像特征、更新模板特征和融合模板图像特征分别和搜索特征进行融合。5.如权利要求1所述的基于Transformer的在线更新目标跟踪方法，其特征在于，所述采用多模板策略，将对应的融合特征图映射至预测头得到对应特征图的分类响应图和边界框回归图，每组预测头包括用来得出分类分数的分类分支和用来预测目标边界框的回归分支，头部对每个向量进行预测，得到前景/背景分类结果以及相对于搜索的归一化坐标区域大小。6.如权利要求1所述的基于Transformer的在线更新目标跟踪...

【专利技术属性】
技术研发人员：刘笑含，李爱民，刘德琦，程梦凡，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：