【技术实现步骤摘要】
本专利技术属于计算机视觉与图像处理，特别涉及一种基于区域感知注意力的目标跟踪方法与系统。
技术介绍
1、在计算机视觉领域中，目标跟踪一直都是一个重要研究课题。目标跟踪通过在连续的视频图像序列中估计跟踪目标的大小及位置信息，确定目标的运动速度、方向等运动信息，实现对运动目标行为的分析和理解。
2、目标跟踪在自动驾驶、视频监控、人机交互等领域都具有重要的研究意义和广阔的应用前景。经过几十年的发展，目标跟踪技术已取得了较好的跟踪效果和实时性。
3、近年来，注意力机制在计算机视觉社区得到了长足发展。首先，注意力机制可以对序列图像块进行全局建模，进而去捕捉图像块之间的长期上下文依赖。其次注意力机制在特征建模过程中，不存在归纳偏差，可以使得模型适应于各种训练数据。
4、传统注意力机制的高计算复杂度和空间占用率，无法达到实时性的要求。大量研究者提出了许多稀疏注意力机制，比如局部窗口注意力、轴向条纹注意力以及扩展窗口注意力等。虽然上述稀疏注意力机制在特征建模方面达到了不错的性能，但是这些策略都是手工设计的，无法做到区域自适应。
技术实现思路
1、本专利技术提供了一种基于区域感知注意力的目标跟踪方法与系统，采用动态性的区域感知稀疏注意力机制，可以实现区域自适应，实时动态选择目标感兴趣区域，从而有效减低多头自注意力机制的计算复杂度，最终实现更加高效且准确的目标跟踪。
2、一种基于区域感知注意力的目标跟踪方法，其中，所述方法包括如下步骤：
3、
4、步骤2、采集跟踪数据，跟踪数据由一系列视频序列组成，从跟踪数据中获取训练集和测试帧；测试帧为视频序列中即将要跟踪的图像，训练集由同一视频序列中多帧带目标边界框注释的图像组成；利用区域感知注意力特征提取器分别对训练集和测试帧进行特征提取，获得模板特征和搜索特征；
5、步骤3、从模板特征中获取目标区域特征，并将目标区域特征输入到模型初始化模块中获得初始化模型；将初始化模型以及模板特征输入到模型优化模块中，经过迭代优化获得最终的目标模型；
6、步骤4、将目标模型以及搜索特征输入到目标分类器中，获得目标置信度得分，并根据目标置信度得分确定跟踪目标所在位置；
7、步骤5、以采集的大量跟踪数据为基础重复步骤2至步骤4，对目标跟踪模型进行端到端的离线训练，得到训练好的目标跟踪模型；
8、步骤6、利用所述训练好的目标跟踪模型对视频序列进行目标在线跟踪。
9、一种基于区域感知注意力的目标跟踪系统，所述系统应用如上述的一种基于区域感知注意力的目标跟踪方法，所述系统包括：
10、网络构建模块，用于在孪生双分支结构下，基于区域感知编码模块构建区域感知注意力特征提取器；基于模型初始化模块以及模型优化模块构建模型预测器，基于卷积模块构建目标分类器；区域感知注意力特征提取器、模型预测器以及目标分类器共同构成目标跟踪模型；
11、特征提取模块，用于采集跟踪数据，跟踪数据由一系列视频序列组成，从跟踪数据中获取训练集和测试帧；测试帧为视频序列中即将要跟踪的图像，训练集由同一视频序列中多帧带目标边界框注释的图像组成；利用区域感知注意力特征提取器分别对训练集和测试帧进行特征提取，获得模板特征和搜索特征；
12、模型预测模块，用于从模板特征中获取目标区域特征，并将目标区域特征输入到模型预测器的模型初始化模块中获得初始化模型；将初始化模型以及模板特征输入到模型预测器的模型优化模块中，经过迭代优化获得最终的目标模型；
13、目标分类模块，用于将目标模型以及搜索特征输入到目标分类器中，获得目标置信度得分，并根据目标置信度得分确定跟踪目标所在位置；
14、离线训练模块，用于以采集的大量跟踪数据为基础对目标跟踪模型进行端到端的离线训练，得到训练好的目标跟踪模型；
15、目标跟踪模块，用于利用所述训练好的目标跟踪模型对视频序列进行目标在线跟踪。
16、相较于现有技术，本专利技术的有益效果如下：
17、1、本专利技术基于区域感知注意力特征提取器，可以过滤掉与跟踪目标不相关的区域，只保留与目标具有相似性的区域，并在此区域内进行细粒度的注意力运算，从而有效减低计算复杂度和空间占用率；
18、2、本专利技术在区域感知注意力特征提取器中加入dropkey技术，通过在进行注意力计算时对权重矩阵进行裁剪，进而抑制模型的过拟合现象，并且提高模型的泛化能力；
19、3、本专利技术根据目标跟踪过程的特性，由于每一帧图像中，目标位置可能会发生改变，而特征提取器会跟随目标移动位置确定目标感兴趣区域，实现动态选择目标感兴趣区域，从而有效减低多头自注意力机制的计算复杂度，最终实现更加高效且准确的目标跟踪。
20、本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实施例了解到。
本文档来自技高网...【技术保护点】
1.一种基于区域感知注意力的目标跟踪方法，其特征在于，所述方法包括如下步骤：
2.根据权利要求1所述的基于区域感知注意力的目标跟踪方法，其特征在于，在所述步骤2中，区域感知注意力特征提取器由三个阶段组成，每个阶段堆叠了不同块数的区域感知编码器，堆叠块数分别为4、12和4，三个阶段的输出特征尺寸分别为、以及，其中，H、W和C分别表示高度、宽度和通道数，其中H和W由输入图像大小确定，C为手动确定。
3.根据权利要求2所述的基于区域感知注意力的目标跟踪方法，其特征在于，在所述步骤2中，利用区域感知注意力特征提取器分别对训练集和测试帧进行特征提取，获得模板特征和搜索特征的方法具体包括如下步骤：
4.根据权利要求3所述的基于区域感知注意力的目标跟踪方法，其特征在于，将批量归一化后的局部增强特征输入到区域感知注意力模块中进行注意力计算的方法具体包括如下步骤：
5.根据权利要求4所述的基于区域感知注意力的目标跟踪方法，其特征在于，将批量归一化后的局部增强特征通过区域分割模块划分为等同大小的区域的方法具体包括如下步骤：
6.根据权利要求
7.根据权利要求6所述的基于区域感知注意力的目标跟踪方法，其特征在于，对保留的区域进行细粒度的注意力计算的方法具体包括如下步骤：
8.根据权利要求7所述的基于区域感知注意力的目标跟踪方法，其特征在于，在步骤3中，从模板特征中获取目标区域特征，并将目标区域特征输入到模型初始化模块中获得初始化模型；将初始化模型以及模板特征输入到模型优化模块中，经过迭代优化获得最终的目标模型的方法具体包括如下步骤：
9.根据权利要求8所述的基于区域感知注意力的目标跟踪方法，其特征在于，在所述步骤4中，将目标模型以及搜索特征输入到目标分类器中，获得目标置信度得分，并根据目标置信度得分确定跟踪目标所在位置的方法具体包括如下步骤：
10.一种基于区域感知注意力的目标跟踪系统，其特征在于，所述系统应用如权利要求1至9任意一项所述的一种基于区域感知注意力的目标跟踪方法，所述系统包括：
...【技术特征摘要】
1.一种基于区域感知注意力的目标跟踪方法，其特征在于，所述方法包括如下步骤：
2.根据权利要求1所述的基于区域感知注意力的目标跟踪方法，其特征在于，在所述步骤2中，区域感知注意力特征提取器由三个阶段组成，每个阶段堆叠了不同块数的区域感知编码器，堆叠块数分别为4、12和4，三个阶段的输出特征尺寸分别为、以及，其中，h、w和c分别表示高度、宽度和通道数，其中h和w由输入图像大小确定，c为手动确定。
3.根据权利要求2所述的基于区域感知注意力的目标跟踪方法，其特征在于，在所述步骤2中，利用区域感知注意力特征提取器分别对训练集和测试帧进行特征提取，获得模板特征和搜索特征的方法具体包括如下步骤：
4.根据权利要求3所述的基于区域感知注意力的目标跟踪方法，其特征在于，将批量归一化后的局部增强特征输入到区域感知注意力模块中进行注意力计算的方法具体包括如下步骤：
5.根据权利要求4所述的基于区域感知注意力的目标跟踪方法，其特征在于，将批量归一化后的局部增强特征通过区域分割模块划分为等同大小的区域的方法具体包括如下步骤：
6.根据权利要...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。