一种基于孪生渐进注意引导融合网络的视觉目标跟踪方法技术

本发明专利技术公开了一种基于孪生渐进注意引导融合网络的视觉目标跟踪方法，包括以下步骤，利用孪生主干网络负责提取示例样本和搜索样本的多层特征表示；定义特征聚合模块，对各层信息进行逐步地编码融合,将高层特征信息和浅层特征信息有选择性地结合以生成综合增强的特征表示；在所述特征聚合模块中引入注意引导模块,细化特征表示并抑制噪声带来的干扰，使融合的特征更具代表性。本发明专利技术的有益效果：通过自顶向下逐层融合的方式,将高层语义信息从深层卷积层传递到浅层卷积层,另外引入空间通道注意模块来细化整个网络,使得网络能够选择性地整合来自多层次的特征信息,以生成了强大的特征，且广泛的评估证明了网络的有效性。

【技术实现步骤摘要】
一种基于孪生渐进注意引导融合网络的视觉目标跟踪方法
本专利技术涉及视觉目标跟踪的
，尤其涉及一种基于孪生渐进注意引导融合网络的视觉目标跟踪方法。
技术介绍
近年来视觉目标跟踪是计算机视觉的基本问题之一,在过去的几年里得到了越来越多的关注，它在视频监控、人机交互以及视频编辑等方面有着广泛的应用。但由于尺度变化、遮挡、变形、快速运动和背景杂波等实际因素的影响,视觉目标跟踪仍然具有很大的挑战性。大多数现有的跟踪方法都是基于两个成功的框架开发的。第一个是相关滤波器。由于使用快速傅里叶变换，基于相关滤波的算法具有较高的计算效率和相当好的跟踪精度。值得注意的例子为MOSSE，它是首个将相关滤波器用于目标跟踪的方法，其运行速度约为每秒700帧。然而对于复杂的跟踪场景，该跟踪器的性能通常会显著下降。所以为了应对各种挑战和实现具有竞争的跟踪性能，相关滤波跟踪器在之后的发展集中在核函数、运动信息、多维特征、多尺度估计、减缓边界效应和深度卷积特征等方面。尤其是深度卷积特征，它与手工特征相比具有更强的表示能力，已然成为了提高跟踪精度的重要手段。然而不幸的是，视觉跟踪社区仍然受到几个问题的困扰。首先这些跟踪算法的识别能力很大程度上取决于孪生网络的特征提取能力。其次在这些孪生网络中，往往都是从最后一层卷积层中提取特征表示来进行匹配相似度计算，而深层特征表示往往分辨率较低，不利于准确定位。
技术实现思路
本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。鉴于上述现有存在的问题，提出了本专利技术。因此，本专利技术解决的技术问题是：一种基于孪生渐进注意引导融合网络的视觉目标跟踪方法以进行目标跟踪。为解决上述技术问题，本专利技术提供如下技术方案：一种基于孪生渐进注意引导融合网络的视觉目标跟踪方法，包括以下步骤，利用孪生主干网络负责提取示例样本和搜索样本的多层特征表示；定义特征聚合模块，对各层信息进行逐步地编码融合,将高层特征信息和浅层特征信息有选择性地结合以生成综合增强的特征表示；在所述特征聚合模块中引入注意引导模块,细化特征表示并抑制噪声带来的干扰，使融合的特征更具代表性；构建孪生渐进注意引导融合网络跟踪器用于视觉目标跟踪。作为本专利技术所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法的一种优选方案，其中：所述孪生主干网络包括以下步骤，采用改进的ResNet22；定义网络分为3个阶段、总体步长为8并由22个卷积层组成；当卷积层使用填充后,使用裁剪操作来消除受到补零影响的特征计算，同时保持内部块结构不变；在网络的前两个阶段中遵循原始的ResNet进行特征下采样；在第三阶段,由步长为2的最大池化来代替卷积层执行下采样，且该层位于本阶段的第一个块中，即layer2-1。作为本专利技术所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法的一种优选方案，其中：所述孪生主干网络包括两个相同的分支，分别为示例分支和搜索分支，其中，所述示例分支接收示例样本的输入；所述搜索分支接收搜索样本的输入；所述示例分支和所述搜索分支在卷积神经网络中共享参数，以确保相同的转换用于这两个样本。作为本专利技术所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法的一种优选方案，其中：所述特征聚合模块包括，接收两部分的输入，分别为来自对应层的低级特征、上一层通过所述注意引导模块产生的高级注意特征；采用级联操作将上采样后的高级注意特征与低级特征融合。作为本专利技术所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法的一种优选方案，其中：所述特征聚合模块包括以下步骤，所述注意引导模块生成的高级注意特征后被送入反卷积层deconv中；所述反卷积层将特征上采样到与当前低级特征Sl-1相同的空间大小；将上采样的高级注意特征和低级特征级联在一起，并通过1×1的卷积运算conv进行特征通道压缩,生成综合特征作为本专利技术所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法的一种优选方案，其中：包括以下步骤，将融合后的综合特征输入到所述注意引导模块中生成注意特征进行细化特征并减少噪声,即引导注意特征关注更具代表性的信息表示；过程表示如下：其中cat(·)表示级联操作、AttGuideM(·)表示注意引导模块、l为层数索引。作为本专利技术所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法的一种优选方案，其中：包括以下步骤，将生成的注意特征作为第(l-2)层的高级特征；高级特征与低级特征Sl-2一起输入至对应层次的所述特征聚合模块中重复特征融合过程；示例分支网络的第3阶段最后三块卷积层layer2-2、layer2-3和layer2-4的输出特征为l＝3、卷积特征Sl∈{1,2,3}；逐层产生注意特征和其中注意特征为直接将示例分支网络顶层特征S3输入到所述注意引导模块生成的，即分别将最终生成的特征以及顶层特征S3用来与搜索分支网络的对应层输出特征进行匹配相似度计算。作为本专利技术所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法的一种优选方案，其中：所述注意引导模块包括空间注意机制和通道注意机制；其中，采用空间注意机制来引导融合特征去关注更代表性的特征区域，采用通道注意机制从通道的角度上来对特征进行强化，通过将更大权重分配给对目标有更高反应的特征通道,改进对特定目标的特征表示。作为本专利技术所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法的一种优选方案，其中：所述空间注意机制包括以下步骤，将输入特征直接表示为F∈RW×H×C，其中C、W及H分别表示通道、宽度和高度维度；采用3×3卷积层将输入特征进行压缩；使用Sigmoid函数进行归一化操作生成注意映射m∈RW×H×1为m＝σ(conv3×3(F))，其中σ(·)是Sigmoid函数、conv3×3(·)表示3×3的卷积运算；最终空间注意特征Fsa∈RW×H×C的计算结果为其中表示按元素方向乘法。作为本专利技术所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法的一种优选方案，其中：所述通道注意机制包括以下步骤，通过全局平均池化来压缩输入特征的空间依赖；使用1×1的卷积层和Sigmoid函数来突出显示对特定目标有响应的通道，给定输入特征F∈RW×H×C；通道注意映射u∈RC×1×1计算为u＝σ(conv1×1(gap(F)))，其中conv1×1(·)表示1×1的卷积运算、gap(·)是按通道划分的全局平均池化、σ(·)表示Sigmoid函数、u∈RC×1×1作为通道注意映射,被应用于输入特征，用以引导生成更具代表性的注意特征为其中表示按元素方向乘法；所述注意引导模块就是由所述通道空间注意机制串联组成，且整个模块过程可表示成本专利技术的有益效果：通过自顶向下逐层融合的方式,将高层语义信息从深层卷积层传递到浅层卷积层,另外引入空间通道注意模块来细化整个网络,使得网络能够选择性地整合来自多层本文档来自技高网...

【技术保护点】
1.一种基于孪生渐进注意引导融合网络的视觉目标跟踪方法，其特征在于：包括以下步骤，/n利用孪生主干网络负责提取示例样本和搜索样本的多层特征表示；/n定义特征聚合模块，对各层信息进行逐步地编码融合,将高层特征信息和浅层特征信息有选择性地结合以生成综合增强的特征表示；/n在所述特征聚合模块中引入注意引导模块,细化特征表示并抑制噪声带来的干扰，使融合的特征更具代表性；/n构建孪生渐进注意引导融合网络跟踪器用于视觉目标跟踪。/n

【技术特征摘要】
1.一种基于孪生渐进注意引导融合网络的视觉目标跟踪方法，其特征在于：包括以下步骤，
利用孪生主干网络负责提取示例样本和搜索样本的多层特征表示；
定义特征聚合模块，对各层信息进行逐步地编码融合,将高层特征信息和浅层特征信息有选择性地结合以生成综合增强的特征表示；
在所述特征聚合模块中引入注意引导模块,细化特征表示并抑制噪声带来的干扰，使融合的特征更具代表性；
构建孪生渐进注意引导融合网络跟踪器用于视觉目标跟踪。


2.如权利要求1所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法，其特征在于：所述孪生主干网络包括以下步骤，
采用改进的ResNet22；
定义网络分为3个阶段、总体步长为8并由22个卷积层组成；
当卷积层使用填充后,使用裁剪操作来消除受到补零影响的特征计算，同时保持内部块结构不变；
在网络的前两个阶段中遵循原始的ResNet进行特征下采样；
在第三阶段,由步长为2的最大池化来代替卷积层执行下采样，且该层位于本阶段的第一个块中，即layer2-1。


3.如权利要求1或2所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法，其特征在于：所述孪生主干网络包括两个相同的分支，分别为示例分支和搜索分支，其中，
所述示例分支接收示例样本的输入；
所述搜索分支接收搜索样本的输入；
所述示例分支和所述搜索分支在卷积神经网络中共享参数，以确保相同的转换用于这两个样本。


4.如权利要求3所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法，其特征在于：所述特征聚合模块包括，
接收两部分的输入，分别为来自对应层的低级特征、上一层通过所述注意引导模块产生的高级注意特征；
采用级联操作将上采样后的高级注意特征与低级特征融合。


5.如权利要求1～2或4任一所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法，其特征在于：所述特征聚合模块包括以下步骤，
所述注意引导模块生成的高级注意特征后被送入反卷积层deconv中；
所述反卷积层将特征上采样到与当前低级特征Sl-1相同的空间大小；
将上采样的高级注意特征和低级特征级联在一起，并通过1×1的卷积运算conv进行特征通道压缩,生成综合特征


6.如权利要求5所述的基于孪生渐进注意引导融合网络的视觉目标跟踪方法，其特征在于：包括以下步骤，
将融合后的综合特征输入到所述注意引导模块中生成注意特征
进行细化特征并减少噪声,即引导注意特征关注更具代表性的信息表示；
过程表示如下：



<...

【专利技术属性】
技术研发人员：宋晓宁，范颖，冯振华，
申请(专利权)人：上海蠡图信息科技有限公司，
类型：发明
国别省市：上海;31