【技术实现步骤摘要】
本申请涉及视觉目标跟踪，特别是涉及一种基于高效序列生成的视觉目标跟踪方法、装置和电子设备。
技术介绍
1、目标跟踪一直是计算机视觉领域的热点和难点问题，其定义是给定目标在视频第一帧中的位置和大小（通常是一个紧密包围目标的矩形框），估计出目标在整段视频中的状态信息(位置和大小等)。现有的sota跟踪算法通常采用强大的特征提取主干、复杂的特征融合模块和预测头网络，以在公共基准测试中取得高精度。然而，这些跟踪器具有较高的计算负担和内存使用率，这导致了跟踪延迟和部署挑战，特别是在资源受限的边缘设备上。因此，如何在跟踪精度和效率之间取得良好的平衡仍然是跟踪界面临的一个关键问题。
2、近年来，以seqtrack为代表的跟踪方法将跟踪任务建模为序列生成任务，以其简单的网络架构（transformer编码器-解码器网络架构）和损失函数（交叉熵损失函数）而广受欢迎。seqtrack跟踪过程主要分为两步：1）采用transformer编码器从模板和搜索区域进行联合特征提取和特征融合；2）采用transformer解码器从随机初始化的开始标记（starttoken）和搜索图像特征中以自回归的方式生成边界框值序列（start x y w h）（其中x y为目标的左上角坐标；w h为目标的宽度和高度）。尽管在单模态和多模态跟踪任务上都取得了成功，但是seqtrack存在以下两个问题：1）目标边界框序列的四个值（x y w h）是逐个生成的，这意味着解码器在前向推理时必须每帧运行四次，不可避免地导致了高计算延迟；2）跟踪标记（tracking
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种基于高效序列生成的视觉目标跟踪方法、装置和电子设备。
2、一种基于高效序列生成的视觉目标跟踪方法，该方法包括：
3、获取搜索图像、模板图像以及随机初始化的跟踪标记。
4、对搜索图像和模板图像分别进行分块、线性投影，得到搜索视觉嵌入和模板视觉嵌入。
5、将搜索视觉嵌入、模板视觉嵌入以及随机初始化的跟踪标记连接后进行位置编码，得到位置编码后的输入标记。
6、采用基于视觉transformer框架的编码器对位置编码后的所有输入标记进行全局自注意力操作，得到跟踪标记编码特征和搜索图像编码特征。
7、将跟踪标记编码特征采用跟踪预测头进行处理，得到目标跟踪预测结果。
8、如果目标跟踪预测结果满足预设条件，则将目标跟踪预测结果作为目标跟踪结果。
9、如果目标跟踪预测结果不满足预设条件，则采用transformer解码器对跟踪标记编码特征和搜索图像编码特征进行解码；根据解码结果采用跟踪预测头进行处理，得到目标跟踪结果；目标跟踪结果为边界框序列。
10、在其中一个实施例中，随机初始化的跟踪标记的过程包括：采用vit中对token初始化的方法将跟踪标记进行随机初始化。
11、在其中一个实施例中，将搜索视觉嵌入、模板视觉嵌入以及随机初始化的跟踪标记连接后进行位置编码，得到位置编码后的输入标记为：
12、
13、其中，为位置编码后的输入标记，为随机初始化的跟踪标记，为搜索图像的视觉嵌入，为模板图像的视觉嵌入；是位置编码，为实数集，为维度，为块数量。
14、在其中一个实施例中，采用基于视觉transformer框架的编码器对位置编码后的所有输入标记进行全局自注意力操作，得到跟踪标记编码特征和搜索图像编码特征，包括：
15、将位置编码后的输入标记输入到基于视觉transformer框架的编码器中，实现模板特征和搜索特征之间的交互、跟踪标记和搜索特征之间的交互、跟踪标记和模板特征之间的交互，将编码器最后一层输出中对应跟踪标记和搜索图像的编码结果输出到解码器。
16、在其中一个实施例中，transformer解码器包括层解码器层；其中每一解码器层包含一个无掩码的多头自注意力块、一个多头注意力块和一个前馈网络块；在第一层解码器层中：
17、将跟踪标记编码特征通过一个无掩码的多头注意力机制相互作用后作为查询，基于多头注意力块执行查询和搜索图像特征之间的交互操作，然后经过前馈网络块进行处理后输出至跟踪预测头得到目标的边界框。
18、在其中一个实施例中，采用transformer解码器对跟踪标记编码特征和搜索图像编码特征进行解码；根据解码结果采用跟踪预测头进行处理，得到目标跟踪结果；目标跟踪结果为边界框序列，包括：
19、将跟踪标记编码特征和搜索图像编码特征输入到transformer解码器中进行解码。
20、将得到的解码结果输入到跟踪预测头中，得到边界框序列；跟踪预测头用于采用embedding-to-word网络将解码器层的输出映射到词汇表v中的一个整数，然后经过softmax函数计算得到softmax概率，最后根据softmax概率从词汇表v中采样单词预测得到边界框序列。
21、在其中一个实施例中，采用transformer解码器对跟踪标记编码特征和搜索图像编码特征进行解码；根据解码结果采用跟踪预测头进行处理，得到目标跟踪结果；目标跟踪结果为边界框序列，包括：
22、将跟踪标记编码特征和搜索图像编码特征输入到transformer解码器的第一层编码器层，将第一层编码器层的输出通过跟踪预测头进行处理后得到目标四个边界框值的softmax概率。
23、如果目标四个边界框值的softmax概率不大于预设阈值，则将第一层解码器层的输出作为第二层解码器的输入，继续进行解码和跟踪结果判断。
24、如果目标四个边界框值的softmax概率大于预设阈值时，则终止transformer解码器的前向传播过程并输出跟踪结果。
25、一种基于高效序列生成的视觉目标跟踪装置，该装置包括：
26、输入模块，用于获取搜索图像、模板图像以及随机初始化的跟踪标记。
27、位置编码模块，用于对搜索图像和模板图像分别进行分块、线性投影，得到搜索视觉嵌入和模板视觉嵌入；将搜索视觉嵌入、模板视觉嵌入以及随机初始化的跟踪标记连接后进行位置编码，得到位置编码后的输入标记。
28、编码模块，用于采用基于视觉transformer框架的编码器对位置编码后的所有输入标记进行全局自注意力操作，得到跟踪标记编码特征和搜索图像编码特征。
29、解码模块，用于将跟踪标记编码特征采用跟踪预测头进行处理，得到目标跟踪预测结果；如果目标跟踪预测结果满足预设条件，则将目标跟踪预测结果作为目标跟踪结果；如果目标跟踪预测结果不满足预设条件，则采用transformer解码器对跟踪标记编码特征和搜索图像编码特征进行解码；根据解码结果采用跟踪预测头进行处理，得到目标跟踪结果；目标跟踪结果为边界框序列。
30、上述基于高效序列本文档来自技高网...
【技术保护点】
1.一种基于高效序列生成的视觉目标跟踪方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于高效序列生成的视觉目标跟踪方法，其特征在于，随机初始化的跟踪标记的过程包括：采用VIT中对token初始化的方法将跟踪标记进行随机初始化。
3.根据权利要求1所述的基于高效序列生成的视觉目标跟踪方法，其特征在于，将所述搜索视觉嵌入、所述模板视觉嵌入以及随机初始化的跟踪标记连接后进行位置编码，得到位置编码后的输入标记为：
4.根据权利要求1所述的基于高效序列生成的视觉目标跟踪方法，其特征在于，采用基于视觉transformer框架的编码器对位置编码后的所有输入标记进行全局自注意力操作，得到跟踪标记编码特征和搜索图像编码特征，包括：
5.根据权利要求1所述的基于高效序列生成的视觉目标跟踪方法，其特征在于，所述transformer解码器包括层解码器层；其中每一解码器层包含一个无掩码的多头自注意力块、一个多头注意力块和一个前馈网络块；在第一层解码器层中：
6.根据权利要求1所述的基于高效序列生成的视觉目标跟踪方法，其特征在于，采
7.根据权利要求5所述的基于高效序列生成的视觉目标跟踪方法，其特征在于，采用transformer解码器对所述跟踪标记编码特征和所述搜索图像编码特征进行解码；根据解码结果采用跟踪预测头进行处理，得到目标跟踪结果；所述目标跟踪结果为边界框序列，包括：
8.一种基于高效序列生成的视觉目标跟踪装置，其特征在于，所述装置包括：
9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于高效序列生成的视觉目标跟踪方法。
...【技术特征摘要】
1.一种基于高效序列生成的视觉目标跟踪方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于高效序列生成的视觉目标跟踪方法，其特征在于，随机初始化的跟踪标记的过程包括：采用vit中对token初始化的方法将跟踪标记进行随机初始化。
3.根据权利要求1所述的基于高效序列生成的视觉目标跟踪方法，其特征在于，将所述搜索视觉嵌入、所述模板视觉嵌入以及随机初始化的跟踪标记连接后进行位置编码，得到位置编码后的输入标记为：
4.根据权利要求1所述的基于高效序列生成的视觉目标跟踪方法，其特征在于，采用基于视觉transformer框架的编码器对位置编码后的所有输入标记进行全局自注意力操作，得到跟踪标记编码特征和搜索图像编码特征，包括：
5.根据权利要求1所述的基于高效序列生成的视觉目标跟踪方法，其特征在于，所述transformer解码器包括层解码器层；其中每一解码器层包含一个无掩码的多头自注意力块、...
【专利技术属性】
技术研发人员：蒯杨柳，李冬冬，高智楠，陈睿，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。