基于全局空洞注意力和目标聚焦的单目标跟踪方法及装置制造方法及图纸

本发明专利技术公开了基于全局空洞注意力和目标聚焦的单目标跟踪方法及装置，方法包括：获取“模板图像

【技术实现步骤摘要】
基于全局空洞注意力和目标聚焦的单目标跟踪方法及装置


[0001]本专利技术属于计算机视觉的
，具体涉及一种基于全局空洞注意力和目标聚焦的单目标跟踪方法及装置。

技术介绍

[0002]单目标计算机视觉中的一项基本任务，旨在预测视频序列中给定初始状态的目标的状态，已被广泛应用于视觉监控和自动驾驶等各种应用中。然而，近年来已经做出了许多努力，由于跟踪中经常出现的各种障碍，如快速变形、遮挡和背景杂波，开发一种稳健而准确的跟踪器仍然具有挑战性。现有技术中的方法引入自注意力，由于自注意力具有出色的建立长程依赖的能力，其在视觉跟踪中得到了广泛的应用。自注意力被引入单目标跟踪领域，来执行全局语义建模，并实现模板和搜索区域之间的特征融合，以取代互相关操作。但是，这些基于自注意力的方法仍然存在以下两个典型问题：(1)自注意力全局感受野较少地关注局部结构信息，并忽略了通道间的关联，这限制了其有效区分对象和背景的语义的能力。(2)现有技术中的方法以搜索区域的特征为查询，对模板特征进行线性处理，并使用特征融合来增强目标嵌入，该过程难以有效增强目标嵌入，并且容易从搜本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于全局空洞注意力和目标聚焦的单目标跟踪方法，其特征在于，包括下述步骤：对已完成标注的单目标跟踪数据集进行裁剪操作，并将裁剪后的单目标跟踪数据集组合成用于训练的“模板图像
‑
搜索图像”的图像对形式；对模板图像与搜索图像进行特征提取，经过深度卷积神经网络进行特征提取后分别输出各自的特征，得到模板图像特征和搜索图像特征；构建基于全局空洞注意力和目标聚焦网络的全局目标聚焦网络；所述全局空洞注意力用于对模板图像特征和搜索图像特征进行有效的特征增强，以增强空间和通道维度上的特征语义，包括局部聚焦模块、空洞注意力模块和通道自适应模块，所述局部聚焦模块用于构建局部结构信息和局部依赖关系，所述空洞注意力模块用于构建特征的长程依赖关系；所述目标聚焦网络用于在模板图像特征和搜索图像特征之间建立点对点的关联，将信息从模板传递到搜索区域，进一步增强目标的特征；将增强后的目标特征输入到基于互相关的预测头中以得到跟踪目标区域。2.根据权利要求1所述基于全局空洞注意力和目标聚焦的单目标跟踪方法，其特征在于，所述模板图像和搜索图像均出自同一个视频序列，模板图像来自视频的第一帧，在该第一帧图像中标注出的待跟踪目标区域，搜索图像来自除第一帧外的余下帧，包括待跟踪目标在内的一个大的搜索区域。3.根据权利要求1所述基于全局空洞注意力和目标聚焦的单目标跟踪方法，其特征在于，所述全局空洞注意力GDA定义如下：F
output
＝F
input
·
C(D(L(F
input
)))其中F
input
和F
output
是全局空洞注意力GDA的输入和输出，L是局部聚焦模块，D是空洞注意力模块，C是通道自适应模块。4.根据权利要求1所述基于全局空洞注意力和目标聚焦的单目标跟踪方法，其特征在于，所述局部聚焦模块使用深度卷积来构建局部结构信息和局部依赖关系，具体为：使用深度卷积在特征图中捕获局部结构信息和局部依赖关系，通道和卷积核具有一一对应的关系，因此增强了网络的局部聚焦能力；所述通道自适应模块使用1
×
1卷积来实现通道之间的信息交换，并用语义自适应地增强通道的特征表达。5.根据权利要求1所述基于全局空洞注意力和目标聚焦的单目标跟踪方法，其特征在于，所述空洞注意力模块构建特征的长程依赖关系具体为：首先通过空洞分割，对特征图进行间隔采样，得到i组，然后对每一组X
i
进行多头自注意力操作，构建特征的长程依赖关系，在多头注意力中，一个自注意力构成了一个头的计算，是多头注意力构建特征的长程依赖关系的关键算子，最后将i组拼接起来；使用前馈网络对多头注意力的输出序列进行处理，加强元素自身内部的信息交流；最后使用加法和归一化操作，得到一个鲁棒的特征图像用于后续操作，所述自注意力机制定义如下：所述多头自注意力机制定义如下：MSAM(X
i
)＝X
i
+FFN(MSA(X
i
))
其中，X
i
表示的是自注意力的输入向量，分别表示生成查询值Query、键值Key、数值Value的线性运算，d

【专利技术属性】
技术研发人员：梁云，李巧巧，龙富棉，邱少健，刘浩宇，明俊晖，黄俊杰，胡志光，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：