一种目标跟踪方法及装置制造方法及图纸

本发明专利技术提出一种目标跟踪方法及装置，该方法包括：在初始帧图像中，根据给定目标位置初始化所有滤波器；为当前帧图像候选框匹配滤波器进行响应计算。若存在响应峰值大于阈值，则据此确定目标位置；若不存在响应峰值大于阈值，则暂停滤波器更新，进入遮挡状态；根据上一帧目标包围框确定当前帧目标检测区域。根据检测高分框提取候选框，分别匹配滤波器并计算响应峰值，若检测得分和响应峰值均大于阈值则认为目标找回，否则仍为遮挡状态；连续多帧遮挡则将检测范围扩展到全图，直至重新找回目标。本方法在跟踪目标姿态变化，环境光照变化以及遮挡等情况均具有较强的多态适应性和鲁棒性，便于实现目标的全程跟踪和观测。

【技术实现步骤摘要】
一种目标跟踪方法及装置
本专利技术涉及的是一种目标跟踪方法及装置，属于图像处理
，具体说就是一种检测辅助的多滤波器目标稳定跟踪算法及装置。
技术介绍
目标跟踪已经被广泛地应用在计算机视觉、监控系统、民用安检和红外制导等研究领域。目标跟踪的本质是确定目标在图像序列中的位置和几何信息。相似背景干扰及跟踪目标同类物体的遮挡等都使长时间稳定准确跟踪的难度大大增加，已成为计算机视觉领域的研究热点。目标跟踪方法采用的外观模型分为两大类：产生式模型和判别式模型。其最大的区别就是产生式模型没有利用背景信息而判别式模型利用了背景信息。即产生式模型利用各个正样本建立目标的外观数据先验分布，具体确定目标本身特征，而忽视背景图像信息。而判别式模型同样利用包含背景的负样本，训练可以将正负样本很好分开并且可以推广的分类器。现在跟踪算法主要是判别式模型，因为可以充分利用背景信息。相关滤波器跟踪算法采用的即为判别式模型，目前，对于相关滤波器类跟踪算法已经做了很多工作，提出了不少有效的改进方法，例如文章“HenriquesJF,RuiC,MartinsP,etal,“High-SpeedTrackingwithKernelizedCorrelationFilters,”IEEETransactionsonPatternAnalysisandMachineIntelligence,vol.37,no.3,pp.583-596,2015.”提出引入高斯核函数的KCF跟踪算法，文章“DanelljanM,G,KhanFS,“Accuratescaleestimationforrobustvisualtracking,”inBritishMachineVisionConference,Nottingham,UnitedKingdom,2014,pp.65.1-65.11.”适应跟踪目标的尺度变化，文章“GaloogahiHK,SimT,LuceyS,“Correlationfilterswithlimitedboundaries,”inIEEEConferenceonComputerVisionandPatternRecognition,Boston,USA,2015,pp.4630-4638.”减小边界效应、文章“DanelljanM,RobinsonA,KhanFS,etal,“BeyondCorrelationFilters:LearningContinuousConvolutionOperatorsforVisualTracking,”inEuropeanConferenceonComputerVision,Amsterdam,TheNetherlands,2016,pp.472-488.”将离散特征图像转化为连续特征图像并训练通用连续滤波器以融合不同尺度特征图像信息等。其中，引入高斯核函数的KCF跟踪算法作为一种性能出色的跟踪算法，在实际工程中已经得到了较为广泛的应用。但是由于KCF无法识别遮挡，并且只能存储最近的跟踪目标图像信息，所以在跟踪目标发生剧烈形变时，目标包围框容易发生漂移，目标遮挡时将引入大量错误训练样本，这些都将导致跟踪的最终失败。对于跟踪目标剧烈形变和遮挡的问题，学者们进行了研究，如文章“MaC,YangX,ZhangC,etal,“Long-termcorrelationtracking,”inIEEEConferenceonComputerVisionandPatternRecognition,Boston,USA,2015,pp.5388-5396.”使用跟新速率不一样的回归模型分别应对跟踪目标的快速形变和保守尺度估计、文章“DanelljanM,HagerG,KhanFS,etal,“AdaptiveDecontaminationoftheTrainingSet:AUnifiedFormulationforDiscriminativeVisualTracking,”inIEEEConferenceonComputerVisionandPatternRecognition,LasVegas,USA,2016,pp.1430-1438.”学习训练样本的权重、文章“HuangC,WuB,NevatiaR,“RobustObjectTrackingbyHierarchicalAssociationofDetectionResponses,”inEuropeanConferenceonComputerVision,Marseille,France,2008,pp.788-801.”使用跟踪轨迹信息辅助跟踪判断遮挡、文章“CehovinL,KristanM,LeonardisA,“Robustvisualtrackingusinganadaptivecoupled-layervisualmode,”IEEETransactionsonPatternAnalysisandMachineIntelligence,vol.35,no.4,pp.941-953,2013.”将遮挡对应为目标模板和只有图像小方块位置内的为非零元素的稀疏表示等。这些方法在某种程度上虽然提高了跟踪算法对于遮挡的鲁棒性，但是往往计算量大、满足不了实时跟踪的速度要求。为了避免这些问题，可以考虑采用多滤波器的KCF跟踪算法将训练样本分类，这样不仅可以记录多种跟踪目标典型历史形态，还可以减轻错误训练样本对正确训练样本的污染，结合引入的检测算法，识别遮挡，在目标重新出现后实现目标找回，并矫正目标包围框位置。
技术实现思路
本专利技术的目的在于提出一种目标跟踪方法及装置，该方法在传统相关滤波器KCF跟踪算法的基础上，采用多滤波器结构进行改进，并引入检测算法辅助跟踪。本专利技术采用的技术方案为：一种目标跟踪装置，由可见光变焦成像系统，控制计算机和两轴伺服系统组成，其中：可见光变焦成像系统由工业相机和可见光变焦镜头两部分组成。工业相机拍摄目标图像，并通过转换传输系统将图像数据传输给控制计算机，可变光变焦镜头则根据跟踪计算机反馈结果控制镜头焦距，进而使得目标在拍摄图像中大小保持恒定；控制计算机利用跟踪算法确定当前图像中跟踪目标框的具体位置，根据目标跟踪框占图像比例的大小调节镜头焦距，并由跟踪算法给出的目标位置与视场中心点的偏差量来控制两轴伺服系统，即由目标中心距图像中心的偏移量，据此控制两轴伺服系统使目标保持在图像中心区域。两轴伺服系统主要由转台台体和电控箱两大部分组成。转台台体部分是系统的最终执行机构，采用立式U型结构形式，分别用来完成方位、俯仰两个方向的角运动。控制系统位于机械台体内部下方，用来安放两轴伺服系统的控制部分，其接受控制计算机的控制信号并实现对各框架的实时运动控制。一种目标跟踪方法实现步骤如下：步骤1：在初始帧图像中，根据给定目标区域提取目标的特征图像，训练得到第一个滤波器的特征图像和权重系数，初始化其他滤波器，依次进行以下操作：提取目标特征图像：根据给定目标区域提取其对应的hog特征图像；训练权重系数：训练的滤波器是原始训练图像循环移位得到所有图像经过非线性变换后的线性组合，线性组合的权重系数就是训练权重系数，计算方式为：其中x为c维hog特征图像本文档来自技高网...

【技术保护点】
1.一种目标跟踪装置，其特征在于：该装置包括：可见光变焦成像系统，控制计算机，两轴伺服系统；其中，可见光变焦成像系统由工业相机和可见光变焦镜头两部分组成，工业相机拍摄目标图像，并通过转换传输系统将图像数据传输给控制计算机，可变光变焦镜头则根据跟踪计算机反馈结果控制镜头焦距，进而使得目标在拍摄图像中大小保持恒定；控制计算机利用跟踪算法确定当前图像中跟踪目标框的具体位置，根据目标跟踪框占图像比例的大小调节镜头焦距，并由跟踪算法给出的目标位置与视场中心点的偏差量来控制两轴伺服系统，即由目标中心距图像中心的偏移量，据此控制两轴伺服系统使目标保持在图像中心区域；两轴伺服系统主要由转台台体和电控箱两大部分组成，转台台体部分是系统的最终执行机构，采用立式U型结构形式，分别用来完成方位、俯仰两个方向的角运动，控制系统位于机械台体内部下方，用来安放两轴伺服系统的控制部分，其接受控制计算机的控制信号并实现对各框架的实时运动控制。

【技术特征摘要】
1.一种目标跟踪装置，其特征在于：该装置包括：可见光变焦成像系统，控制计算机，两轴伺服系统；其中，可见光变焦成像系统由工业相机和可见光变焦镜头两部分组成，工业相机拍摄目标图像，并通过转换传输系统将图像数据传输给控制计算机，可变光变焦镜头则根据跟踪计算机反馈结果控制镜头焦距，进而使得目标在拍摄图像中大小保持恒定；控制计算机利用跟踪算法确定当前图像中跟踪目标框的具体位置，根据目标跟踪框占图像比例的大小调节镜头焦距，并由跟踪算法给出的目标位置与视场中心点的偏差量来控制两轴伺服系统，即由目标中心距图像中心的偏移量，据此控制两轴伺服系统使目标保持在图像中心区域；两轴伺服系统主要由转台台体和电控箱两大部分组成，转台台体部分是系统的最终执行机构，采用立式U型结构形式，分别用来完成方位、俯仰两个方向的角运动，控制系统位于机械台体内部下方，用来安放两轴伺服系统的控制部分，其接受控制计算机的控制信号并实现对各框架的实时运动控制。2.一种目标跟踪方法，利用权利要求1所述的目标跟踪装置，其特征在于：实现步骤如下：步骤一、在初始帧图像中，根据给定目标区域提取目标的特征图像，训练得到第一个滤波器的特征图像和权重系数，初始化其他滤波器及其滤波器权重；步骤二、在当前帧图像中以不同尺度获取候选框特征图，分别匹配滤波器进行响应峰值计算；若存在响应峰值大于阈值，则根据最大响应峰值选取对应尺度和滤波器，更新相应的滤波器并增大其滤波器权重；若不存在响应峰值大于阈值，则进入遮挡状态；步骤三、遮挡状态时暂停滤波器更新，根据前一帧目标包围框位置确定当前帧中目标检测区域；基于检测高分框位置信息，提取不同尺度候选框特征图像，分别匹配滤波器并计算响应峰值，若检测得分和响应峰值均大于阈值则认为目标重新找回，否则下一帧仍直接进入遮挡状态；步骤四、连续20帧遮挡且未找回目标则进入紧急状态，检测范围扩展到全图；步骤五、重新找回目标后，结束遮挡或紧急状态，若存在某个滤波器的滤波器权重小于阈值则更新该滤波器，否则更新最匹配滤波器，增大更新滤波器的滤波器权重并相应减小其他滤波器的滤波器权重。3.根据权利要求2所述的目标跟踪方法，其特征在于：该步骤一中，在初始帧图像中，根据给定目标区域提取目标的特征图像，训练得到第一个滤波器的特征图像和权重系数，初始化其他滤波器，依次进行以下操作：提取目标特征图像：根据给定目标区域提取其对应的hog特征图像；训练权重系数：训练的滤波器是原始训练图像循环移位得到所有图像经过非线性变换后的线性组合，线性组合的权重系数就是训练权重系数，余滤波器的特征图像和权重系数均与第一个滤波器相同，但对应滤波器权重...

【专利技术属性】
技术研发人员：魏振忠，闵玥，谈可，张广军，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11