【技术实现步骤摘要】
一种基于孪生神经网络及平行注意力模块的目标跟踪方法
本专利技术属于机器视觉领域，特别涉及一种基于孪生神经网络及平行注意力模块的目标跟踪方法。
技术介绍
随着机器视觉在理论上和实践上的广泛研究，目标跟踪逐渐成为其中基础但至关重要的一个分支。目标跟踪的任务是仅根据第一帧中目标的边界框，计算得出后续每一帧中该目标的具体位置，因此各种客观因素诸如物体形变、遮挡、快速运动、模糊、光照变化等问题使得跟踪面临着挑战。目前，目标跟踪主要可分为基于相关滤波的方法和基于深度学习的方法。在深度学习还未流行的很长一段时间内，大多数目标跟踪算法都是基于相关滤波的，尽管该类算法通过快速傅里叶变换大大减少了计算代价，提供可观的跟踪速度，但是其依靠手工特征对目标进行跟踪，在物体形变和背景杂乱等情况下，通过传统的手工特征对目标进行跟踪并不容易。相较而言，基于深度学习的目标跟踪算法可以有效学习到目标的深度特征，跟踪的鲁棒性较高。而基于孪生神经网络的方法，在保持较高的跟踪精度前提下，跟踪速度也高于其他多数基于深度学习的跟踪方法，可以满足跟踪的实时性。孪生...
【技术保护点】
1.一种基于孪生神经网络及平行注意力模块的目标跟踪方法，其特征在于，步骤如下：/n步骤1、根据训练集视频序列图片中目标的位置及尺寸，裁剪出对应的目标区域z和搜索区域s，并以此图像对(z,s)为训练数据，构成训练数据集；/n步骤2、构建孪生网络及平行注意力模块，所述孪生网络包括模板分支和搜索分支，所述模板分支用于提取步骤1中所述目标区域z的特征，所述搜索分支用于提取步骤1中所述搜索区域s的特征，它们共享特征提取网络的权重；平行注意力模块作用于模板分支提取得到的特征，经过平行注意力模块强化的特征与搜索分支提取的特征做互相关运算，得到最终的得分图；/n步骤3、基于所述训练数据集，...
【技术特征摘要】
1.一种基于孪生神经网络及平行注意力模块的目标跟踪方法，其特征在于，步骤如下：
步骤1、根据训练集视频序列图片中目标的位置及尺寸，裁剪出对应的目标区域z和搜索区域s，并以此图像对(z,s)为训练数据，构成训练数据集；
步骤2、构建孪生网络及平行注意力模块，所述孪生网络包括模板分支和搜索分支，所述模板分支用于提取步骤1中所述目标区域z的特征，所述搜索分支用于提取步骤1中所述搜索区域s的特征，它们共享特征提取网络的权重；平行注意力模块作用于模板分支提取得到的特征，经过平行注意力模块强化的特征与搜索分支提取的特征做互相关运算，得到最终的得分图；
步骤3、基于所述训练数据集，训练所述孪生神经网络，获得训练收敛的孪生网络模型；
步骤4、利用训练得到的孪生网络模型进行在线跟踪。
2.根据权利要求1所述的一种基于孪生神经网络及平行注意力模块的目标跟踪方法，其特征在于，具体地，步骤2中所述孪生网络两个分支的特征提取网络均为微调后的ResNet,删除了原始ResNet的全连接层，仅保留了conv1,conv2,conv3三个阶段；将步骤1中所述图像对(z,s)分别输入搜索分支和模板分支得到对应的特征fz和fs，并将fz分别输入平行注意力模块的通道注意力强化模块和空间注意力强化模块，得到通道强化后的特征表示和空间强化后的特征表示将和以对应元素相加的方式进行特征融合，得到最终增强后的模板特征对和fs进行互相关操作，得到最终的得分图scoremap，对应公式为:为互相关运算；
(1)通道注意力强化模块
特征fz∈RC*H*W,在H*W维度上分别对其进行最大池化和平均池化操作，得到C*1*1的特征表示，这两个特征表示经过全连接层和激活函数ReLU的作用；对应公式为：
W0和W1分别对应权重共享部分两个全连接层的操作，avgpool和maxpool分别代表平均池化和最大池化；
然后将得到的结果进行相加，最后通过Sigmoid函数σ激活得到C*1*1的通道注意力权重fc：将fc与原特征fz的对应通道进行逐元素相乘得到最终的通道强化特征表示
(2)空间注意力强化模块
记输入为特征fz∈RC*H*W，将特征沿通道维度进行分组，设分为M，则每组特征图的维度为在第i组特征图fiz中，通过对H*W维度的最大池化和平均池化以...
【专利技术属性】
技术研发人员：蒋敏，赵禹尧，刘克俭，王任华，霍宏涛，孔军，
申请(专利权)人：江南大学，中国人民公安大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。