一种目标跟踪的方法及装置制造方法及图纸

本发明专利技术公开了一种目标跟踪的方法及装置，该方法包括：在初始化帧中，根据目标区域建立掩模矩阵，利用空间和时间约束，建立时空正则化判别相关滤波器模型；提取目标在初始位置和旋转角度下的多尺度样本，学习得到尺度空间判别相关滤波器模型；在随后帧中，利用时空正则化判别相关滤波器获取目标位置和旋转角度；利用尺度空间判别相关滤波器，获取目标尺度；根据跟踪结果，在线更新相关滤波器。采用本方法，能够提高目标遮挡、形变、旋转等情况下的跟踪鲁棒性，并估计目标的位移、旋转和尺度，得到准确的目标区域，从而对目标进行持续跟踪。实现该方法的目标跟踪的装置，包括：图像采集单元，图像处理单元，学习单元，跟踪单元和伺服驱动单元。

A Method and Device for Target Tracking

The invention discloses a method and device for target tracking. The method includes: in the initialization frame, a mask matrix is established according to the target area, a spatiotemporal regularization discriminant correlation filter model is established by using space and time constraints, a multi-scale sample of the target at the initial position and rotation angle is extracted, and a scale-space discriminant correlation filter model is learned; and in the subsequent frame, a scale-space discriminant correlation filter model is established. In this method, the spatial-temporal regularization discriminant correlation filter is used to obtain the target position and rotation angle; the scale space discriminant correlation filter is used to obtain the target scale; and the correlation filter is updated online according to the tracking results. By using this method, the tracking robustness under occlusion, deformation and rotation of the target can be improved, and the displacement, rotation and scale of the target can be estimated, so that the accurate target area can be obtained and the target can be continuously tracked. The target tracking device includes image acquisition unit, image processing unit, learning unit, tracking unit and servo drive unit.

【技术实现步骤摘要】
一种目标跟踪的方法及装置
本专利技术涉及计算机视觉中的目标跟踪
，特别涉及一种目标跟踪的方法及装置。
技术介绍
目标视觉跟踪是计算机视觉领域的重要研究方向，其主要任务是获取视频序列中感兴趣的目标的位置与运动信息，为进一步的语义层分析(动作识别、场景识别等)提供基础，广泛应用于机器人、智能交通、安防和人机交互等领域。单目标视觉跟踪的主要难点在于视频中的光线变化、目标形变、目标旋转、部分遮挡、快速运动和背景干扰。目前的目标视觉跟踪方法主要分为两大类：生成式方法和判别式方法。生成式方法通过学习目标的表示，在候选区域内搜索最相似的目标。判别式方法通过训练一个在线分类器，将目标从背景中分离。文章“RobustvisualtrackingusingL1minimization.In:Proceedingsofthe12thIEEEInternationalConferenceonComputerVision.Kyoto:IEEE,2009.1436-1443”提出了一种建立目标外观模型的稀疏方法，通过最小化基函数字典表示的稀疏向量的L1范数，能够表征目标的内在分布，但是由于没有利用背景信息，在遇到遮挡等情况下容易通过错误更新将噪声混入模型，从而造成模型的漂移。文章“Tracking-learning-detection.IEEETransactionsonPatternAnalysisandMachineIntelligence,2012,34(7):1409-1422”提出了一种单目标长时跟踪算法，通过一种在线跟踪分类检测框架，解决被跟踪目标形变、部分遮挡等问题，但是其跟踪模块使用传统的光流法，导致跟踪效果和速度不佳。文章“High-speedtrackingwithkernelizedcorrelationfilters.IEEETransactionsonPatternAnalysisandMachineIntelligence,2015,37(3):583-596”提出了一种利用相关滤波在高维特征空间的视觉跟踪方法，通过循环矩阵和核函数，将相关运算转换到频域，极大的提高了跟踪速度，在使用梯度方向直方图特征和色彩名称特征时，能够获得出色的跟踪效果。但是由于相关运算带来的边界效应，对相邻两帧位移较大的物体效果不理想，而且对目标的变形和旋转比较敏感。从以上分析可以看出，基于相关滤波的判别式方法相比其他方法在速度和精度上具有优势，但是已有的此类方法受到检测区域大小的限制，并且无法估计目标的旋转。
技术实现思路
鉴于此，本专利技术的目的在于提供一种目标跟踪的方法及装置。采用本方法，能够解决传统的判别相关滤波跟踪方法检测区域小、判别力不够的问题，提高目标遮挡、形变、旋转等情况下的时间鲁棒性，并对目标的位移、旋转和尺度进行估计，得到准确的跟踪目标区域，从而对目标进行持续跟踪。本专利技术技术解决方案：一种旋转和尺度自适应的时空正则化判别相关滤波目标跟踪方法。该方法包括：根据视频中初始化帧的目标信息，建立掩模矩阵，并提取训练样本，结合空间约束和时间约束学习时空正则化的判别相关滤波器；在初始旋转角度下，以目标位置为中心提取多尺度训练样本，学习尺度空间判别相关滤波器；在随后帧中，利用时空正则化判别相关滤波器检测目标的位移和旋转；利用尺度空间判别相关滤波器检测目标的尺度变化。具体实现步骤如下：步骤1：在初始帧中，以目标位置为中心，在初始旋转角度下，提取图像块，并建立掩模矩阵，对图像块进行预处理，获取训练样本，利用空间和时间约束，建立时空正则化相关滤波模型，并将训练样本和对应标签输入模型，学习得到时空正则化判别相关滤波器；步骤2：在初始帧中，以目标位置为中心，在初始旋转角度下，分别提取多尺度图像块，对所有图像块进行预处理，获取训练样本，输入尺度空间判别相关滤波模型，学习得到尺度空间判别相关滤波器；步骤3：在随后帧中，首先以目标在上一帧的位置为中心，在上一帧的旋转角度下提取图像块，对图像块进行预处理，利用时空正则化判别相关滤波器获取每个位置的响应，并选取响应峰值所在位置为目标位置；步骤4：以目标位置为中心，分别提取不同旋转角度图像块，对所有图像块进行预处理，利用时空正则化判别相关滤波器获取不同旋转角度下的响应峰值，选取所有响应峰值的最大值所对应的角度作为目标的旋转角度，选取此旋转角度下响应峰值所在位置作为目标的微调位置；步骤5：以目标的微调位置为中心，在所得旋转角度下，分别提取多尺度图像块，对图像块进行预处理，利用尺度空间判别相关滤波器获取每个尺度的响应值，并选取响应峰值所对应的尺度作为目标的尺度；步骤6：以步骤3、4和5所得目标的位置、旋转和尺度作为跟踪结果，采用步骤2和3中相同的处理方式，得到新的时空正则化判别相关滤波器和尺度空间判别相关滤波器，并采用线性插值的方式更新得到最终的相关滤波器；步骤7：分别重复3、4、5和6，对随后帧进行处理，直到最后一帧处理结束。所述步骤1、2中，初始旋转角度由初始帧中目标区域的信息获得，具体指目标框主轴与图像x坐标轴的夹角；所述步骤1、3中提取图像块，具体指从当前帧裁剪出5倍于目标区域大小的图像区域；所述步骤1中掩模矩阵，尺度和图像块大小相同，包含在目标区域内像素对应的矩阵中的元素为0，其余为1。所述步骤1、2、3、4、5中，对图像块进行预处理，具体步骤如下：(1)对图像块的分辨率进行归一化，采用双线性插值进行采样；(2)提取归一化图像块的特征，可以是混合特征，如梯度方向直方图(HOG)和颜色名(CN)等，并对特征图分辨率进行归一化，合并后得到多通道特征图；(3)对特征图进行余弦窗处理，得到最终样本。所述步骤1中建立时空正则化相关滤波模型具体实现如下：(1)根据掩模矩阵来确定空间约束，结合相关滤波器作为空间正则化项；(2)根据前后两帧所对应的滤波器差值的欧式距离平方作为时间正则化项；(3)结合空间、时间正则化项和标准判别相关滤波器模型，得到时空正则化的判别相关滤波模型，并使用交替方向乘子法求解。本专利技术还提供一种目标跟踪的装置，包括图像采集单元，图像处理单元，学习单元，跟踪单元，伺服驱动单元；其中，所述图像采集单元，用于对目标进行成像；所述图像处理单元，包括图像提取模块和图像预处理模块；图像提取模块用于提取视频中每一帧中特定位置、旋转和尺度的图像块，当超出当前帧范围，则复制边缘像素；图像预处理模块主要对图像块的分辨率进行归一化处理，并提取混合特征，得到的样本输入到学习单元和跟踪单元。所述学习单元，由时空正则化判别相关滤波单元和尺度空间判别相关滤波单元组成，具体是通过各自的训练样本和标签学习得到相应的滤波器。所述跟踪单元，由位移检测模块、旋转检测模块和尺度检测模块组成，接受图像处理单元的输入，输出目标最终的位移、旋转和尺度信息。所述伺服驱动单元，用于驱动图像采集单元的机械运动。本专利技术与现有技术相比的有点在于：本专利技术提供的目标跟踪的方法及装置，能够对旋转和尺度变化的目标下进行准确跟踪，对光照、遮挡和快速运动等挑战因素具有很强的鲁棒性。同时，通过时空约束的外观模型，能够有效排除跟踪过程的干扰物，并抑制目标外观的非连续变化，实现任意目标的快速跟踪。附图说明图1是本专利技术中目标跟踪方法流程图；图2是掩模矩本文档来自技高网...

【技术保护点】
1.一种目标跟踪的方法，其特征在于，实现步骤如下：步骤1：在初始帧中，以目标位置为中心，在初始旋转角度下，提取图像块，并建立掩模矩阵，对图像块进行预处理，获取训练样本，利用空间和时间约束，建立时空正则化相关滤波模型，并将训练样本和对应标签输入模型，学习得到时空正则化判别相关滤波器；步骤2：在初始帧中，以目标位置为中心，在初始旋转角度下，分别提取多尺度图像块，对所有图像块进行预处理，获取训练样本，输入尺度空间判别相关滤波模型，学习得到尺度空间判别相关滤波器；步骤3：在随后帧中，首先以目标在上一帧的位置为中心，在上一帧的旋转角度下提取图像块，对图像块进行预处理，利用时空正则化判别相关滤波器获取每个位置的响应，并选取响应峰值所在位置为目标位置；步骤4：以目标位置为中心，分别提取不同旋转角度图像块，对所有图像块进行预处理，利用时空正则化判别相关滤波器获取不同旋转角度下的响应峰值，选取所有响应峰值的最大值所对应的角度作为目标的旋转角度，选取此旋转角度下响应峰值所在位置作为目标的微调位置；步骤5：以目标的微调位置为中心，在所得旋转角度下，分别提取多尺度图像块，对图像块进行预处理，利用尺度空间判别相关滤波器获取每个尺度的响应值，并选取响应峰值所对应的尺度作为目标的尺度；步骤6：以步骤3、4和5所得目标的位置、旋转和尺度作为跟踪结果，采用步骤2和3中相同的处理方式，得到新的时空正则化判别相关滤波器和尺度空间判别相关滤波器，并采用线性插值的方式更新得到最终的相关滤波器；步骤7：分别重复3、4、5和6，对随后帧进行处理，直到最后一帧处理结束。...

【技术特征摘要】
1.一种目标跟踪的方法，其特征在于，实现步骤如下：步骤1：在初始帧中，以目标位置为中心，在初始旋转角度下，提取图像块，并建立掩模矩阵，对图像块进行预处理，获取训练样本，利用空间和时间约束，建立时空正则化相关滤波模型，并将训练样本和对应标签输入模型，学习得到时空正则化判别相关滤波器；步骤2：在初始帧中，以目标位置为中心，在初始旋转角度下，分别提取多尺度图像块，对所有图像块进行预处理，获取训练样本，输入尺度空间判别相关滤波模型，学习得到尺度空间判别相关滤波器；步骤3：在随后帧中，首先以目标在上一帧的位置为中心，在上一帧的旋转角度下提取图像块，对图像块进行预处理，利用时空正则化判别相关滤波器获取每个位置的响应，并选取响应峰值所在位置为目标位置；步骤4：以目标位置为中心，分别提取不同旋转角度图像块，对所有图像块进行预处理，利用时空正则化判别相关滤波器获取不同旋转角度下的响应峰值，选取所有响应峰值的最大值所对应的角度作为目标的旋转角度，选取此旋转角度下响应峰值所在位置作为目标的微调位置；步骤5：以目标的微调位置为中心，在所得旋转角度下，分别提取多尺度图像块，对图像块进行预处理，利用尺度空间判别相关滤波器获取每个尺度的响应值，并选取响应峰值所对应的尺度作为目标的尺度；步骤6：以步骤3、4和5所得目标的位置、旋转和尺度作为跟踪结果，采用步骤2和3中相同的处理方式，得到新的时空正则化判别相关滤波器和尺度空间判别相关滤波器，并采用线性插值的方式更新得到最终的相关滤波器；步骤7：分别重复3、4、5和6，对随后帧进行处理，直到最后一帧处理结束。2.根据权利要求1所述的一种目标跟踪的方法，其特征在于：所述的初始旋转角度，由初始化帧中的目标区域信息获得，具体指目标框主轴与图像x坐标轴的夹角。3.根据权利要求1所述的一种目标跟踪的方法，其特征在于：所述的提取图像块，...

【专利技术属性】
技术研发人员：魏振忠，谈可，张广军，闵玥，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11