基于卷积神经网络的目标跟踪方法技术

本发明专利技术涉及一种基于卷积神经网络的目标跟踪方法，其主要技术特点是：搭建适用于跟踪任务的卷积神经网络框架；在中心对比损失函数约束下对搭建好的卷积神经网络进行参数训练；将训练好的模型结构进行微调，进行在线跟踪。本发明专利技术设计合理，以卷积神经网络为结构基础，重点关注不同物体间的类内差异，能够较好地应对背景混杂以及相似目标干扰的情况，具有良好的鲁棒性和较高的精确度。

Target tracking method based on convolutional neural network

The invention relates to a method for tracking target based on convolutional neural network, its main technical features are: convolutional neural network framework to build suitable for tracking task; training parameters of convolutional neural network built in the center of comparative loss function under the constraint of the model structure; trained fine-tuning, online tracking. The invention has reasonable design, the convolutional neural network structure based on different objects to focus on intra class difference, can better deal with the background of hybrid and similar target jamming, has good robustness and high accuracy.

【技术实现步骤摘要】
基于卷积神经网络的目标跟踪方法
本专利技术属于目标跟踪
，尤其是一种基于卷积神经网络的目标跟踪方法。
技术介绍
视觉目标跟踪技术被广泛应用于计算机视觉中的多种重要任务中，如视频监控、视觉导航以及增强现实等。近几十年来，许多优秀的跟踪算法被提出，目标跟踪领域也有了相当大的进步，但由于干扰因素甚多，如目标姿态变化、目标被遮挡，目标移动速度太快、背景过于复杂以及相似目标的出现等，很少有跟踪算法可以处理所有的问题，目标跟踪方法仍有待进一步发展。一个完整的目标跟踪系统可以分为五部分：运动模型、特征提取器、观察模型、模型更新器和综合后处理器等。其中，特征提取器将原始图像数据转换为另外一种表达以期获得更多的信息表示，实践表明合适的特征可以显著提高跟踪性能，因此，寻找一种更加有效的特征表示依然是众多学者研究的课题。近年来，卷积神经网络在诸如图像分类，目标检测以及人脸识别等许多计算机视觉任务中取得了巨大的成功。与传统手工设计的特征表示不同，卷积神经网络从大量标注的图片数据中进行学习，学习到的特征具有丰富的高级语义信息，在区分物体类别上具有杰出的表现。然而，受限于目标跟踪的特殊性(跟踪时只能获取关于目标第一帧图片的标注信息)，卷积神经网络的强大功能受到了极大的限制。但是由于卷积神经网络提取的特征在数据集上具有很好的泛化能力，因此一个有效的解决方案是迁移学习大规模图像分类数据集(如ImageNet)预训练好的卷积神经网络模型。然而图像分类和目标跟踪之间存在差距，迁移后的卷积神经网络仍有待进一步训练完善。对于卷积神经网络来说，层数越多，语义表达能力越强，对于图片的分类效果也就越好，但是迁移学习到目标跟踪任务当中以后，相似物体出现时，准确率就会降低。
技术实现思路
本专利技术的目地在于克服现有技术的不足，提出一种基于卷积神经网络的目标跟踪方法，解决迁移学习后相似物体干扰目标的问题。本专利技术解决其技术问题是采取以下技术方案实现的：一种基于卷积神经网络的目标跟踪方法，包括以下步骤：步骤1、搭建适用于跟踪任务的卷积神经网络框架；步骤2、在中心对比损失函数约束下对搭建好的卷积神经网络进行参数训练；步骤3、将训练好的模型结构进行微调，进行在线跟踪。所述步骤1的具体实现方法包括以下步骤：⑴对数据集ImageNet上训练好的卷积神经网络进行迁移学习，搭建五层神经网络，其中，第1-3层为卷积层，权重参数用CNN-M迁移初始化，第4-5层为全连接层，权重参数随机初始化；⑵采用中心对比损失函数作为目标函数来对网络参数进行优化。所述五层神经网络结构为：第一层为Conv1层，该层参数为：滤波器为7*7*96，步长为2；第二层为Conv2层，该层参数为：滤波器为5*5*256，步长为2；第三层为Conv2层，该层参数为：滤波器为3*3*512，步长为1；第四层为Full4层，该层参数为：512，随机失活；第五层为Full5层，该层参数为：512，随机失活；每一层的激活函数均采用RectifiedLinearUnit函数。所述中心对比损失函数为：其中，f代表样本经过五层卷积神经网络后映射得到的特征向量描述子，下标a代表对应样本为锚点样本，p-代表对应样本为正样本，n代表对应样本为负样本,∈代表负样本应锚点样本之间应当保持的最小距离。所述步骤2的实现方法包括以下步骤：⑴采集正样本和负样本：根据训练集图片以及目标在图片中的位置和大小，以目标位置和大小为中心进行高斯采样，选择IOU大于正样本重叠率阈值的图片区域作为正样本；然后在整个图片上均匀采样，选择IOU小于负样本重叠率阈值的图片区域作为负样本；⑵对于每f帧，选择一定数量的正样本和负样本组成样本包，将实际目标位置所在样本设置为锚点，并以此为中心，与每一个样本建立连接，与正样本组成正样本对，与负样本组成负样本对；⑶前向计算网络的损失函数值，反向计算梯度，采用小批量随机梯度下降法不断迭代优化，直到达到最大迭代次数。所述步骤3的实现方法包括以下步骤：⑴对训练好的网络增加第六层作为二分类器，并采用softmax作为损失函数层，之后随机初始化第六层，作为初始的正得分和负得分；⑵用待跟踪序列的当前帧进行网络参数的再训练，再训练时，以微调为主，达到迭代次数上限以后，固定网络参数不动，从下一帧图片开始持续处理接下来的图片，选择正得分最高的m个样本取平均值作为预测目标进行输出；⑶每持续处理t帧图片以后，再次对网络参数进行再训练微调，然后重复步骤⑵，直至序列结束。本专利技术的优点和积极效果是：1、本专利技术利用卷积神经网络对图像信息的强大表示能力，将卷积神经网络作为特征提取器，为目标跟踪提供有力的特征，同时，为了突出物体间的类内差异，借鉴了广泛应用于人脸识别任务中的对比损失函数，并通过巧妙的设计将对比损失函数应用到单支网络中；充分考虑到目标的多种变化形态，跟踪过程中定期进行模型的重训练，达到校正目标模型的作用，可有效解决目标背景混杂或者被相似物体干扰导致不能准确跟踪的问题。2、本专利技术设计合理，以卷积神经网络为结构基础，重点关注不同物体间的类内差异，能够较好地应对背景混杂以及相似目标干扰的情况，具有良好的鲁棒性和较高的精确度。附图说明图1是在训练过程中正负样本距离的变化；图2a是采用不同算法在测试序列上的定量比较结果图(精确率曲线)；图2b是采用不同算法在测试序列上的定量比较结果图(成功率曲线)。具体实施方式以下结合附图对本专利技术实施例做进一步详述。一种基于卷积神经网络的目标跟踪方法，包括以下步骤：步骤1、搭建适用于跟踪任务的卷积神经网络框架。本专利技术不同于图像分类，目标跟踪跟踪的是某一特定目标，为保持对同类物体差异的敏感性，本专利技术采用层数较少的卷积神经网络，以期提取更多低层判别式信息。具体方法如下：(1)卷积神经网络在不同数据集之间具有良好的泛化能力，因此可以直接对数据集ImageNet上训练好的卷积神经网络进行迁移学习，本专利技术选择CNN-M进行低层特征的迁移学习，搭建五层的神经网络，网络结构如下表所示：其中1-3层为卷积层，权重参数用CNN-M迁移初始化，4-5层为全连接层，权重参数随机初始化。激活函数均采用RELU(REctificationLinearUnit)。(2)考虑复杂背景以及相似目标干扰的场景，为凸显不同物体的差异性,拟采用对比损失函数作为目标函数来对网络参数进行优化。应用对比损失函数的典型网络结构为双胞胎(Siamese)网络,为了将双支网络变为流线型单支网络，本专利技术引入锚点样本，与普通样本组成样本对，完成了对比损失函数的单支网络实现，所设计损失函数如下：其中f代表样本经过五层卷积神经网络后映射得到的特征向量描述子，下标a代表相应样本为锚点样本，p-代表相应样本为正样本，n代表相应样本为负样本,∈代表负样本与锚点样本之间应当保持的最小距离。步骤2、搭建好网络结构以后，在设计的中心对比损失函数约束下对搭建好的卷积神经网络进行参数训练。如图1所示，训练过程中，正样本间距离会缩近，负样本与正样本间间距会扩大，正负样本由混杂在一起逐渐变得开朗起来。用T-SNE技术对样本的特征描述子进行可视化。其中‘0’代表负样本，‘1’代表正样本，图中左侧是迭代前的状态，图中右侧是100次迭代后的状态，从图中可以看出：经过数次迭代以后，正本文档来自技高网...

【技术保护点】
一种基于卷积神经网络的目标跟踪方法，其特征在于包括以下步骤：步骤1、搭建适用于跟踪任务的卷积神经网络框架；步骤2、在中心对比损失函数约束下对搭建好的卷积神经网络进行参数训练；步骤3、将训练好的模型结构进行微调，进行在线跟踪。

【技术特征摘要】
1.一种基于卷积神经网络的目标跟踪方法，其特征在于包括以下步骤：步骤1、搭建适用于跟踪任务的卷积神经网络框架；步骤2、在中心对比损失函数约束下对搭建好的卷积神经网络进行参数训练；步骤3、将训练好的模型结构进行微调，进行在线跟踪。2.根据权利要求1所述的基于卷积神经网络的目标跟踪方法，其特征在于：所述步骤1的具体实现方法包括以下步骤：⑴对数据集ImageNet上训练好的卷积神经网络进行迁移学习，搭建五层神经网络，其中，第1-3层为卷积层，权重参数用CNN-M迁移初始化，第4-5层为全连接层，权重参数随机初始化；⑵采用中心对比损失函数作为目标函数来对网络参数进行优化。3.根据权利要求3所述的基于卷积神经网络的目标跟踪方法，其特征在于：所述五层神经网络结构为：第一层为Conv1层，该层参数为：滤波器为7*7*96，步长为2；第二层为Conv2层，该层参数为：滤波器为5*5*256，步长为2；第三层为Conv2层，该层参数为：滤波器为3*3*512，步长为1；第四层为Full4层，该层参数为：512，随机失活；第五层为Full5层，该层参数为：512，随机失活；每一层的激活函数均采用RectifiedLinearUnit函数。4.根据权利要求2所述的基于卷积神经网络的目标跟踪方法，其特征在于：所述中心对比损失函数为：其中，f代表样本经...

【专利技术属性】
技术研发人员：李宁宁，郭晓强，周芸，姜竹青，门爱东，
申请(专利权)人：国家新闻出版广电总局广播科学研究院，北京邮电大学，
类型：发明
国别省市：北京,11