基于时空连续相关滤波的视频目标跟踪方法技术

本发明专利技术涉及一种基于时空连续相关滤波的视频目标跟踪方法，其主要技术特点是：构造并计算损失函数；对输入帧进行深度卷积特征提取，利用深度卷积网络的第3～5层特征信息估计当前帧中目标的位置；根据每层估计的目标位置的准确度分配不同权重，将三层目标位置加权求和得到当前帧目标的最终位置；根据之前所有帧的估计结果更新模板。本发明专利技术结合了判别相关滤波器、深度学习技术，其利用多层特征进行目标位置估计，并根据之前所有帧的位置信息连续更新学习率，增加了整体算法的跟踪精度，提高了跟踪结果的稳定性，获得了很好的目标跟踪效果。

A method of video object tracking based on spatio-temporal continuous correlation filtering

The invention relates to a video object tracking method based on continuous space-time correlation filter, its main technical features are: the structure and calculation of loss function; the input frame depth convolution feature extraction, 5 layer feature information in the current frame to estimate the target position by the depth of the convolutional network to third; according to the accuracy of the estimation of distribution of each layer the target position of the different weights of the final position of three target position weighted sum of the target in the current frame; according to the estimation results of all frames before updating the template. The present invention combines discriminant correlation filter, deep learning technology, the use of multi-level features estimate the target position, and according to the position information of all frames in the continuous update learning rate, increase the overall tracking accuracy of the proposed algorithm, improves the stability of tracking results, obtained a good tracking effect.

【技术实现步骤摘要】
基于时空连续相关滤波的视频目标跟踪方法
本专利技术属于视觉目标跟踪
，尤其是一种基于时空连续相关滤波的视频目标跟踪方法。
技术介绍
目标跟踪是计算机视觉领域中非常重要的一个研究课题，并被广泛应用于军事和人们日常生活中的各个领域，如制导系统、人机交互、智能交通、视觉导航、图像压缩、视频监控以及视频分析等等。因此对目标跟踪算法的研究，具有重要的军事、商业价值。目标跟踪是指对视频中的目标进行定位，获得目标的位置和大小等信息，为对目标做进一步的分析与理解提供帮助，如目标识别、目标分类以及基于视频内容的分析等等。随着更多高级视觉任务需求的不断增长，目标跟踪算法的研究成为计算机视觉领域的一个研究热点。同时因为计算机计算能力的大幅度提高、廉价高性能摄像头的广泛应用，也使得复杂但更精确和稳健的跟踪算法得以实现。经过几十年的发展，目标跟踪在计算机视觉领域取得了十足的进步。Bolme等人首先将相关滤波应用于视觉跟踪领域(D.S.Bolme,J.R.Beveridge,B.A.Draper,andY.M.Lui,“Visualobjecttrackingusingadaptivecorrelationfilters,”inCVPR.IEEE,2010,pp.2544–2550.)。基于此研究，很多人将其方法进行扩展，提出了核相关滤波器、多特征融合、尺度估计的方面的改进，主要包括四个方面：(1)利用时空上下文信息进行目标跟踪(K.Zhang,L.Zhang,M.H.Yang,andD.Zhang,“Fasttrackingviaspatio-temporalcontextlearning,”arXivpreprintarXiv:1311.1939,2013.)；(2)将目标进行分块(T.Liu,G.Wang,andQ.Yang,“Realtimepart-basedvisualtrackingviaadaptivecorrelationfilters,”inCVPR,2015,pp.4902–4912.)，以很好地解决部分遮挡的问题；(3)预计关键点的算法，MUSTer跟踪器(Z.Hong,Z.Chen,C.Wang,andX.Mei,“Multi-storetracker(muster):Acognitivepsychologyinspiredapproachtoobjecttracking,”inCVPR,2015,pp.749–758.)存储了一些历史模版用以跟踪目标；(4)训练多个分类器以适应不同的跟踪环境(C.Ma,X.Yang,C.Zhang,andM.H.Yang,“Long-termcorrelationtracking,”inCVPR,2015,pp.5388–5396.)。同时，基于深度学习的跟踪器也已经被证实具有很优异的性能，因此也引起了学者的关注，将深度学习与判别相关滤波器相结合，代表性的算法有HCF(C.Ma,J.B.Huang,X.Yang,andM.H.Yang,“Hierarchicalconvolutionalfeaturesforvisualtracking,”inICCV,2015,pp.3074–3082.)、DeepSRDCF(M.Danelljan,G.Hager,F.S.Khan,andM.Felsberg,“Convolutionalfeaturesforcorrelationfilterbasedvisualtracking,”inICCVW,2015,pp.58–66.)等。虽然目标跟踪算法经过了几十年的发展，但是要实现长期稳健实时的跟踪算法还是受到很多的限制。目标跟踪技术还是存在很多的挑战，如形变、遮挡、光照变化、旋转等，难以达到稳定的跟踪效果。
技术实现思路
本专利技术的目地在于克服现有技术的不足，提出一种设计合理、精度高且稳定性强的基于时空连续相关滤波的视频目标跟踪方法。本专利技术解决其技术问题是采取以下技术方案实现的：一种基于时空连续相关滤波的视频目标跟踪方法，包括以下步骤：步骤1、构造并计算损失函数；步骤2、对输入帧进行深度卷积特征提取，利用深度卷积网络的第3～5层特征信息估计当前帧中目标的位置；步骤3、根据每层估计的目标位置的准确度分配不同权重，将三层目标位置加权求和得到当前帧目标的最终位置；步骤4、根据之前所有帧的估计结果更新模板；当新的一帧到来，返回步骤2。所述步骤4后还包括如下步骤：采用集成操作，实现多尺度的训练样本采集。所述步骤1的具体实现方法为：构造如下损失函数：其中e＝Y-W·X其中，表示每一层的特征图，M、N、D分别表示特征图的长度、宽度和通道数，表示高斯标签，W表示每一层的相关滤波器的系数，e表示根据每一层特征图估计出来的目标位置与真实位置之间的误差；根据迭代阈值收缩算法对损失函数进行计算得到：表示相关滤波器系数W的对偶表示，W＝XTa。kXX表示核矩阵K的第一行，函数σ(ε，x)＝sign(x)max(0，|x|-ε)。所述步骤2对输入帧进行深度卷积特征提取所利用的深度网络结构是VGG-Net-19网络。所述步骤3的具体步骤包括：步骤3.1、将时空连续相关滤波器作用到相对应的每一层深度卷积特征，在每一层卷积特征上估计出当前帧的目标位置；步骤3.2、根据预测的每一层目标结果计算相应的峰值旁瓣比和稳定系数，由此得出每一层位置信息的权重；步骤3.3、将三层预测结果加权求和得到当前帧目标的最终位置。所述步骤3.1的实现方法为：利用第t-1帧的时空连续相关滤波器作用到相对应的当前第t帧每一层的深度卷积特征，在每一层卷积特征上估计出当前第t帧的目标位置：其中，表示傅立叶逆变换，kXZ＝k(X，Z)表示核运算，表示第t帧第l层的特征图，⊙表示对应位相乘的操作，字母上的小帽子^表示傅立叶变换；所述步骤3.2的实现方法为：根据每一层预测的目标位置信息计算相应的权重：按如下公式计算峰值旁瓣比：其中，和分别是第t帧第l层响应图的均值和标准差；按如下公式计算第t-1帧和第t帧的第l层相关滤波器之间的稳定系数：其中，和分别是第t-1帧和第t帧的第l层的响应图，STAB值越小说明相关滤波器越稳定；所述步骤3.3的实现方法为：根据步骤3.1得到的每一层预测的目标结果以及步骤3.2计算得到的权重，对三层特征的响应图进行加权求和即可得到当前帧目标的最终位置：所述步骤4更新模板的方法为：根据步骤1的损失函数计算出的相关滤波器系数的对偶表示则第t帧的相关滤波器表示为：其中，ηt表示当前第t帧更新模版的学习率；学习率根据每一帧的误差进行自适应调整，从而实现了学习率的连续更新，使其以连续值加以呈现：ηt∝1-sigmoid(||et||1)其中，函数使得误差归一化到[0，1]之间。所述集成操作是指结合现有技术并使用一个自适应的高斯窗代替余弦窗，实现多尺度的训练样本采集：0≤i≤m，0≤j≤n其中，2D高斯窗的尺寸为m×n，m和n分别是目标特征图的维度，和是特征图和目标当前尺度的比值。本专利技术的优点和积极效果是：1、本专利技术基于判别相关滤波器(DiscriminativeCorrelationFilter)融合多层深度卷积特征的技术，其通过对所使用的每一层卷积特征，即空间信息，学习相对应本文档来自技高网...

【技术保护点】
一种基于时空连续相关滤波的视频目标跟踪方法，其特征在于包括以下步骤：步骤1、构造并计算损失函数；步骤2、对输入帧进行深度卷积特征提取，利用深度卷积网络的第3～5层特征信息估计当前帧中目标的位置；步骤3、根据每层估计的目标位置的准确度分配不同权重，将三层目标位置加权求和得到当前帧目标的最终位置；步骤4、根据之前所有帧的估计结果更新模板；当新的一帧到来，返回步骤2。

【技术特征摘要】
1.一种基于时空连续相关滤波的视频目标跟踪方法，其特征在于包括以下步骤：步骤1、构造并计算损失函数；步骤2、对输入帧进行深度卷积特征提取，利用深度卷积网络的第3～5层特征信息估计当前帧中目标的位置；步骤3、根据每层估计的目标位置的准确度分配不同权重，将三层目标位置加权求和得到当前帧目标的最终位置；步骤4、根据之前所有帧的估计结果更新模板；当新的一帧到来，返回步骤2。2.根据权利要求1所述的基于时空连续相关滤波的视频目标跟踪方法，其特征在于：所述步骤4后还包括如下步骤：采用集成操作，实现多尺度的训练样本采集。3.根据权利要求1或2所述的基于时空连续相关滤波的视频目标跟踪方法，其特征在于：所述步骤1的具体实现方法为：构造如下损失函数：其中e＝Y-W·X其中，表示每一层的特征图，M、N、D分别表示特征图的长度、宽度和通道数，表示高斯标签，W表示每一层的相关滤波器的系数，W·e表示根据每一层特征图估计出来的目标位置与真实位置之间的误差；根据迭代阈值收缩算法对损失函数进行计算得到：表示相关滤波器系数W的对偶表示，W＝XTa。kXX表示核矩阵K的第一行，函数σ(ε，x)＝sign(x)max(0，|x|-ε)。4.根据权利要求1或2所述的基于时空连续相关滤波的视频目标跟踪方法，其特征在于：所述步骤2对输入帧进行深度卷积特征提取所利用的深度网络结构是VGG-Net-19网络。5.根据权利要求1或2所述的基于时空连续相关滤波的视频目标跟踪方法，其特征在于：所述步骤3的具体步骤包括：步骤3.1、将时空连续相关滤波器作用到相对应的每一层深度卷积特征，在每一层卷积特征上估计出当前帧的目标位置；步骤3.2、根据预测的每一层目标结果计算相应的峰值旁瓣比和稳定系数，由此得出每一层位置信息的权重；步骤3.3、将三层预测结果...

【专利技术属性】
技术研发人员：娄涵，周芸，王东飞，姜竹青，门爱东，
申请(专利权)人：国家新闻出版广电总局广播科学研究院，北京邮电大学，
类型：发明
国别省市：北京,11