【技术实现步骤摘要】
一种基于Transformer的单目标跟踪方法
[0001]本专利技术涉及目标跟踪的
，尤其涉及一种基于Transformer的单目标跟踪方法。
技术介绍
[0002]目标跟踪是计算机视觉中的一项基本任务。随着深度学习的发展，它取得了巨大的进步。目标跟踪任务通常根据视频的第一帧建立模型，然后用它来定位后续帧中的目标。但由于突变运动、遮挡和其他问题，这仍然是一项具有挑战性的任务。目前，根据跟踪器的网络目标函数，流行的跟踪器可以分为三类：基于分类的跟踪器、基于回归的跟踪器以及基于分类和回归的跟踪器。基于分类的跟踪器将跟踪任务视为连续帧的检测任务，使用分类器对候选区域进行分类以定位目标位置。由于该分类器侧重于类间分类，因此在出现相似目标时容易出现漂移问题。与基于分类的跟踪器不同，由于对象跟踪定位空间的连续性，基于回归的跟踪器通常使用正则化最小二乘函数的最小化来定位对象。为了同时利用前景
‑
背景分类和岭回归的优点，最近的先进工作将跟踪器设计成两个分支，即分类分支和回归分支，前者用于粗略定位目标，后者用于生成准...
【技术保护点】
【技术特征摘要】
1.一种基于Transformer的单目标跟踪方法，其特征在于，其步骤如下：步骤一：从需要跟踪的视频的第一帧中裁剪出目标区域，使用在ImageNet数据集上预训练的ResNet50网络对目标区域进行特征提取，得到三层不同的目标特征；步骤二：使用基于Transformer的特征融合方法将步骤一中得到的目标特征进行特征融合，将融合之后的特征输入回归模型生成器生成回归模型，将最后一层的目标特征输入分类模型生成器生成分类模型；步骤三：将第一帧中的目标区域使用旋转、平移的操作进行特征增强得到训练数据集，使用训练数据集对步骤二获得的分类模型和回归模型进行预训练；步骤四：将后续帧的搜索区域的图像输入ResNet50网络进行特征提取，得到三层搜索区域的特征；步骤五：将搜索区域的特征使用基于Transformer的特征融合方法进行融合，将回归模型作为卷积核对融合之后的特征进行卷积，得到回归结果；步骤六：将搜索区域最后一层的特征使用Transformer结合训练集进行特征增强，然后将分类模型作为卷积核与增强之后的搜索区域的特征进行卷积，得到分类结果；步骤七：根据步骤六的分类结果和步骤五的回归结果对目标生成精确的包围框，如果跟踪结果符合要求，则从该帧图像中裁剪出跟踪区域并加入训练数据集；如果跟踪失败或者分类得分过低，使用收集到的训练数据集对分类模型和回归模型进行更新；步骤八：获取下一帧视频并返回步骤四，直至整个跟踪任务结束。2.根据权利要求1所述的基于Transformer的单目标跟踪方法，其特征在于，所述步骤二和步骤五中基于Transformer的特征融合方法的实现方法为：(1)将得到的最后一层的特征X
layer4
使用Transformer中注意力机制进行计算，得到增强后的特征(2)将特征作为残差项与特征X
layer4
相加得到特征(3)将特征进行上采样和通道压缩得到特征将第二层的特征X
layer3
进行通道压缩得到特征然后将特征和特征进行逐元素相加，得到特征(4)将特征进行上采样得到特征然后将特征和第一层的特征X
layer2
进行逐元素相加，得到融合后的特征3.根据权利要求1所述的基于Transformer的单目标跟踪方法，其特征在于，所述步骤六中使用Transformer结合训练集进行特征增强的方法为：步骤1：将得到的搜索区域最后一层的特征X
layer4
使用Transformer中注意力机制进行计算，得到增强后的特征步骤2：将特征作为残差项与特征X
layer4
相加得到步骤3：将得到的训练集特征S使用Transformer中注意力机制进行计算，得到增强之后的特征步骤4：将特征作为残差项与特征S相加得到特征
步骤5：使用步骤2的特征计算得到矩阵Q，使用增强后的最后一层的目标特征计算得到矩阵K和V，然后使用注意力公式计算得到特征步骤6：将特征作为残差项与特征相加得到特征4.根据权利要求2或3所述的基于Transformer的单目标跟踪方法，其特征在于，所述Transformer中注意...
【专利技术属性】
技术研发人员：张建伟，张焕龙，王景超，梁树军，蔡增玉，孙海燕，张杰，李林伟，苗蒙恩，王贺，陈曦，张家鹏，
申请(专利权)人：郑州轻工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。