一种基于Siamese网络的单目标跟踪方法技术

本发明专利技术公开了一种基于Siamese网络的单目标跟踪方法，属于目标跟踪技术领域。本发明专利技术首先构建Siamese网络的神经网络部分并训练Siamese卷积神经网络权重，在训练过程中基于嵌入式损失函数的神经网络模型进行，同时将各层特征进行融合，并使用随机梯度下降算法进行损失优化，然后通过RPN得到分类与回归的结果，最后针对分类与回归的结果进行后续帧的跟踪。本发明专利技术能够更好的检测定位到跟踪目标，能够有效融合图像检测上的方法到目标跟踪上，使用图像帧的方式代替视频，减少了训练成本和计算开销。从而提升跟踪处理效率，并对相似物体区分上效果更为明显。

【技术实现步骤摘要】
一种基于Siamese网络的单目标跟踪方法
本专利技术属于目标跟踪
，具体涉及一种基于Siamese网络预测技术的单目标跟踪技术。
技术介绍
随着硬件、软件及人工智能多个领域的迅速发展，目标跟踪成为计算机视觉研究领域的热点之一，并得到广泛应用。相机的跟踪对焦、无人机的自动目标跟踪等都需要用到目标跟踪技术。另外还有特定物体的跟踪，比如人体跟踪，交通监控系统中的车辆跟踪，人脸跟踪和智能交互系统中的手势跟踪等。简单来说，目标跟踪就是在连续的视频序列中，建立所要跟踪物体的位置关系，得到物体完整的运动轨迹。给定图像第一帧的目标坐标位置，计算在下一帧图像中目标的确切位置。在运动的过程中，目标可能会呈现一些图像上的变化，比如姿态或形状的变化、尺度的变化、背景遮挡或光线亮度的变化等。目标跟踪算法的研究也围绕着解决这些变化和具体的应用展开。目前的单目标跟踪技术主要有：(1)经典目标跟踪方法：2010年以前，目标跟踪领域大部分采用经典的跟踪方法，比如Meanshift方法、基于特征点的光流跟踪算法等。Meanshift方法是一种基于概率密度分布的跟踪方法，使目标的搜索一直沿着概率梯度上升的方向，迭代收敛到概率密度分布的局部峰值上。基于特征点的光流跟踪算法，首先进行目标特征点提取，然后计算下一帧特征点的光流匹配点，最后统计以得到目标位置。(2)基于相关滤波的跟踪算法：如：ParticleFilter和KalmanFilter等，2012年P.Martins提出基于循环矩阵的核跟踪方法(CirculantStructureofTracking-by-DetectionwithKernels,CSK)，从数学上完美解决了密集采样(DenseSampling)的问题，利用傅立叶变换快速实现了检测的过程。在训练分类器时，一般认为离目标位置较近的是正样本，而离目标较远的认为是负样本。该框架采用密集采样，能够学习到一个区域内所有图像块的特征。而长效跟踪方法(Tracking-Learning-Detection，TLD)仅在每一帧中随机地挑选一些块进行训练，学习到的特征是这些随机子窗口的特征。3)基于深度学习的跟踪方法：最近几年深度学习技术成功应用在计算机视觉的各个应用领域，跟踪也不例外。在大数据背景下，利用深度学习训练网络模型，得到的卷积特征输出表达能力更强。在目标跟踪上，初期的应用方式是把网络学习到的特征，直接应用到相关滤波或Struck的跟踪框架里面，从而得到更好的跟踪结果。本质上卷积输出得到的特征表达，更优于直方图特征或颜色属性特征，但也带来了计算量的增加。此外，基于Siamese网络的深度学习成为了近几年的热门，比较流行的SiamRPN不仅在跟踪速度上相比于传统网络有所提高，跟踪精度也比之前的跟踪网络要高出很多。SiamRPN网络由Siamese网络和区域推荐网络(RegionProposalNetwork，RPN)两部分组成，前者用来提取特征，后者用来产生候选区域。其中，RPN子网络由两个分支组成，一个是用来区分目标和背景的分类分支，另外一个是微调候选区域的回归分支。整个网络实现了端到端的训练。但SiamRPN网络由于修改参数导致结果差异大，容错性较低。目标跟踪主要是解决形态变化、尺度变化、遮挡与消失、图像模糊等相关问题，提取目标语义信息的精准度直接影响着跟踪效果。传统方法主要存在如下限制：(1)缺乏必要的模板更新；(2)跟踪过程中由于窗口宽度大小保持不变，当目标尺度有所变化时，跟踪就会失败；(3)当目标速度较快时，跟踪效果不好；(4)直方图特征在目标颜色特征描述方面略显匮乏，缺少空间信息。
技术实现思路
本专利技术的专利技术目的在于：针对上述存在的问题，提供一种基于Siamese网络的单目标跟踪方法。本专利技术结合深层卷积神经网络(DeepLayerConvolutionalNeuralNetwork，DLCNN)与区域推荐网络实现目标语义特征提取以及目标的检测与回归。通过将数据输入到端到端训练网络后，并进行前景-背景分类和候选框回归操作得到训练权重，实现对单目标的精准追踪。本专利技术的基于Siamese网络的单目标跟踪方法包括下列步骤：步骤一、构建跟踪器模型的网络结构并进行网络参数的训练；(1)构建跟踪器模型的网络结构：所述跟踪器模型包括模板分支与搜索分支；其中，模板分支包括特征提取网络、分类层和回归层；模板分支的特征提取网络的输出分别输入到其分类层和回归层；搜索分支包括特征提取网络、分类层和回归层；搜索分支的特征提取网络的输出分别输入到其分类层和回归层；模板分支的特征提取网络与搜索分支的特征提取网络的网络结构相同；且搜索分支的分类层的输出与模板分支的分类层的输出的卷积结果作为跟踪器模型的分类输出；搜索分支的回归层的输出与模板分支的回归层的输出的卷积结果作为跟踪器模型的回归输出；所述特征提取网络包括初始层、层Layer1～Layer4；其中，初始层包括1个卷积层和1个池化层；Layer1、Layer2和Layer4分别包括3个卷积层；Layer3包括6个卷积层；并将Layer1、Layer2和Layer3的卷积输出与Layer2、Layer3和Layer4的卷积输出的上采样特征进行特征融合，从而得到特征提取网络的特征输出；(2)跟踪器模型的网络参数训练：设置训练数据，包括模板图像和检测图像；将模板分支和搜索分支的特征提取网络的特征输出分别记为特征图和根据获取模板分支和搜索分支的互相关操作得分s(z，x)，其中*表示互相关操作，表示偏置值；并在搜索分支中跟踪目标周围生成k个与跟踪目标相同大小的锚箱，将每个锚箱区域di对应的特征图信息记为根据计算跟踪目标与所有锚箱对象的正分数σinst(s)；其中，并根据公式计算嵌入式损失函数将模板分支的分类层和回归层的输出分别记为特征图[φ(z)]cls和[φ(z)]reg；以及将搜索分支的分类层和回归层的输出分别记为特征图[φ(x)]cls和[φ(x)]reg；根据得到维度为w×h×2k的分类分数根据得到维度为w×h×4k的回归分数其中，★表示卷积运算，w、h表示跟踪检测框的宽和高；根据损失函数对跟踪器模型的网络参数进行端到端训练；其中，表示分类损失函数，表示回归损失函数，λ和α表示对应损失函数的权重；进一步的，为了减少训练工作量，特征提取网络的初始网络参数可以利用深度残差网络ResNet50的通用网络的预训练网络参数。即，本专利技术的特征提取网络可以基于ResNet50的通用网络进行设置，通过调整ResNet50的参数提高网络性能，设置比RPN网络小10倍的ResNet50的学习速率，可以使特征表示更适合于跟踪任务。步骤二、单目标跟踪处理：将待跟踪的视频分割成图像帧，得到搜索图像帧序列；将搜索图像帧序列的初始帧输入模板分支本文档来自技高网...

【技术保护点】
1.基于Siamese网络的单目标跟踪方法，其特征在于，包括下列步骤：/n步骤一、构建跟踪器模型的网络结构并进行网络参数的训练；/n(1)构建跟踪器模型的网络结构：/n所述跟踪器模型包括模板分支与搜索分支；/n其中，模板分支包括特征提取网络、分类层和回归层；模板分支的特征提取网络的输出分别输入到其分类层和回归层；/n搜索分支包括特征提取网络、分类层和回归层；搜索分支的特征提取网络的输出分别输入到其分类层和回归层；/n模板分支的特征提取网络与搜索分支的特征提取网络的网络结构相同；/n且搜索分支的分类层的输出与模板分支的分类层的输出的卷积结果作为跟踪器模型的分类输出；搜索分支的回归层的输出与模板分支的回归层的输出的卷积结果作为跟踪器模型的回归输出；/n所述特征提取网络包括初始层、层Layer1～Layer4；/n其中，初始层包括1个卷积层和1个池化层；/nLayer1、Layer2和Layer4分别包括3个卷积层；Layer3包括6个卷积层；/n并将Layer1、Layer2和Layer3的卷积输出与Layer2、Layer3和Layer4的卷积输出的上采样特征进行特征融合，从而得到特征提取网络的特征输出；/n(2)跟踪器模型的网络参数训练：/n设置训练数据，包括模板图像和检测图像；/n将模板分支和搜索分支的特征提取网络的特征输出分别记为特征图...

【技术特征摘要】
1.基于Siamese网络的单目标跟踪方法，其特征在于，包括下列步骤：
步骤一、构建跟踪器模型的网络结构并进行网络参数的训练；
(1)构建跟踪器模型的网络结构：
所述跟踪器模型包括模板分支与搜索分支；
其中，模板分支包括特征提取网络、分类层和回归层；模板分支的特征提取网络的输出分别输入到其分类层和回归层；
搜索分支包括特征提取网络、分类层和回归层；搜索分支的特征提取网络的输出分别输入到其分类层和回归层；
模板分支的特征提取网络与搜索分支的特征提取网络的网络结构相同；
且搜索分支的分类层的输出与模板分支的分类层的输出的卷积结果作为跟踪器模型的分类输出；搜索分支的回归层的输出与模板分支的回归层的输出的卷积结果作为跟踪器模型的回归输出；
所述特征提取网络包括初始层、层Layer1～Layer4；
其中，初始层包括1个卷积层和1个池化层；
Layer1、Layer2和Layer4分别包括3个卷积层；Layer3包括6个卷积层；
并将Layer1、Layer2和Layer3的卷积输出与Layer2、Layer3和Layer4的卷积输出的上采样特征进行特征融合，从而得到特征提取网络的特征输出；
(2)跟踪器模型的网络参数训练：
设置训练数据，包括模板图像和检测图像；
将模板分支和搜索分支的特征提取网络的特征输出分别记为特征图和
根据获取模板分支和搜索分支的互相关操作得分s(z，x)，其中*表示互相关操作，表示偏置值；
并在搜索分支中跟踪目标周围生成k个与跟踪目标相同大小的锚箱，将每个锚箱区域di对应的特征图信息记为根据计算跟踪目标与所有锚箱对象的正分数σinst(s)；其中，
并根据公式计算嵌入式损失函数
将模板...

【专利技术属性】
技术研发人员：饶云波，程奕茗，郭毅，薛俊民，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51