一种聚焦关键信息的目标感知Transformer无人机跟踪方法技术

本申请提出一种聚焦关键信息的目标感知Transformer无人机跟踪方法。首先构建一个集成了特征学习和目标搜索的单流跟踪框架，提高令牌之间的信息交互；然后构建一个自适应关系建模机制，对目标模板令牌和搜索区域令牌进行关系建模并划分类型标记，提前终止标记为背景的令牌的后续推理和学习，进而关注重点区域的关键信息；最后构建一个多层特征聚合模块，保留目标的细节特征从而进一步加强特征表示的判别力，最终通过预测头输出目标二维特征图。本方法在UAV123、DTB70、UavDrak135无人机跟踪基准上的实验表明达到了较优越的性能。

【技术实现步骤摘要】

本专利技术涉及涉及智能识别领域，具体的，涉及基于transformer的无人机跟踪方法。

技术介绍

1、无人机（uav）目标跟踪旨在根据目标的初始状态，对无人机视频每一帧判断目标的位置，其应用于森林防火、灾情检测、危难搜救等。由于无人机的高机动性，无人机目标跟踪会频繁面临极端视角、相似背景干扰和严重遮挡等挑战。此外，无人机负载电池、计算资源有限，对其跟踪轻量化提出更严格的要求。因此，优越的无人机跟踪器必须满足高效率、高精度两个要求。

2、目前，无人机目标跟踪方法主要分为基于相关滤波（cf）的跟踪器和基于深度卷积神经网络（cnn）的跟踪器。基于相关滤波器通过将空间域相似性转换为傅里叶域中元素计算，获得较高的跟踪效率。相比之下，基于深度卷积神经网络跟踪器通过学习目标的语义信息和外观特征，获得更高的跟踪精度，但也需要大量的计算资源。因此，基于判别相关滤波器因其高效跟踪速率在无人机目标跟踪领域占主导地位．许多方法在保证跟踪效率的基础上，通过抑制背景异常响应信息、夜间光照增强、构建时空正则化和增强空间特征学习等策略提高跟踪精度。此外，一些基于siames本文档来自技高网...

【技术保护点】

1.一种聚焦关键信息的目标感知Transformer无人机跟踪方法，其特征在于；

2.根据权利要求1所述的无人机跟踪方法，其特征在于：所述构建一个集成了特征学习和目标搜索的单流跟踪框架为基于ViT的单流跟踪框架，其步骤为：1、将目标模板设定为，其公式为，将搜索图像设定为，其公式为：，目标模板图像以目标对象为中心，搜索图像代表包含目标的后续帧中的较大区域；然后将目标模板和搜索图像通过补丁嵌入层进行分割并平展成图像块序列，然后经过可训练的线性投影层，产生个令牌，其公式为其中，是每个令牌的嵌入维数，这些令牌输入到编码器中，设为第层的Transformer块，则令牌通过第层Trans...

【技术特征摘要】

1.一种聚焦关键信息的目标感知transformer无人机跟踪方法，其特征在于；

2.根据权利要求1所述的无人机跟踪方法，其特征在于：所述构建一个集成了特征学习和目标搜索的单流跟踪框架为基于vit的单流跟踪框架，其步骤为：1、将目标模板设定为，其公式为，将搜索图像设定为，其公式为：，目标模板图像以目标对象为中心，搜索图像代表包含目标的后续帧中的较大区域；然后将目标模板和搜索图像通过补丁嵌入层进行分割并平展成图像块序列，然后经过可训练的线性投影层，产生个令牌，其公式为其中，是每个令牌的嵌入维数，这些令牌输入到编码器中，设为第层的transformer块，则令牌通过第层transformer解码器输出为：，来自最后一个编码器层的输出搜索令牌被解耦并重新按照它们的原始空间位置重新形状为一个二维特征图。

3.根据权利要求2所述的跟踪方法，其特征在于：所述图像块序列为图像块序列，数量分别为：和。

4.根据权利要求2所述的跟踪方法，其特征在于：所述每个编码器层通过一个多头注意力模块和一个前馈网络更新输入令牌。

5.根据权利要求1所述的跟踪方法，其特征在于：所述自适应关系建模机制在多层感知器层中分配一个神经元来完成关系建模，然后令牌嵌入的关系信息合并到单流主干跟踪网络中；所述输入的令牌分为两类，分别为目标令牌和背景令牌，对层处的令牌，自适应关系建模机制计算其分类概率得分，由下公式定义：。

6.根据权利要求5所述的跟踪方法，其特征在于...

【专利技术属性】
技术研发人员：林淑彬，吴贵山，李中旭，
申请(专利权)人：闽南师范大学，
类型：发明
国别省市：