一种基于在线学习的目标跟踪方法技术

本发明专利技术公开了一种基于在线学习的目标跟踪方法，该方法包括以下步骤：目标初始化，跟踪视频第一帧给出的目标位置和大小初始化目标基本信息；提取特征，提取给定目标的特征信息；模型初始化，使用第一帧目标特征训练初始模型；候选区域，根据上一帧目标位置来获取当前帧目标可能位置；特征提取，对目标候选区域进行特征提取；目标定位，模型判决目标在候选区域的精确位置；模型更新，使用在线学习的方式更新模型参数，使其适应目标外观变化；本发明专利技术的目标跟踪方法，提供了一种模型自适应更新的方式，可以有效减少模型的剧烈变化，防止跟踪框漂移，增加跟踪稳定性。

An object tracking method based on online learning

【技术实现步骤摘要】
一种基于在线学习的目标跟踪方法
本专利技术属于在线学习领域和单目标跟踪领域，尤其涉及一种基于在线学习的目标跟踪方法。
技术介绍
判别式目标跟踪方法把跟踪问题变成一个分类的问题，通过训练分类器来区分目标和背景。在当前帧以目标区域为正样本，背景区域为负样本，通过机器学习方法在线训练分类器来判别目标和背景，下一帧用训练好的分类器寻找最优区域。算法使用样本图像训练滤波器建立目标外观模型，在第一帧中初选目标窗口并进行随机仿射变换，得到一组样本图像用来训练滤波器，然后在后续帧中，将滤波器与搜索窗口进行相关操作，找到相关输出的最大值位置来表示目标的当前帧位置，以此实现跟踪，并基于新位置图像更新滤波器。滤波器需要不断更新，才能实时地捕捉到目标的外观变化。然而，在目标被遮挡时，目标外观剧烈变动，滤波器仍然会以固定的学习率学习到遮挡物的信息，导致模型的漂移。在线学习是一种渐进式学习的方式，其核心思想是通过已有模型预测数据的类别，并对这样的一个预测结果进行反馈，再通过反馈结果来修正预测模型，使得模型可以对以后的数据进行更好的预测。而常见的批学习方式生成的预测结果仅基于一次确定的训练数据集。在目标跟踪过程中，当目标被遮挡时，传统的滤波器仍然以固定的模型更新率去学习遮挡物的信息，导致滤波器被污染。在线学习方式和目标跟踪方法的基本思路是吻合的，将在线学习引入到目标跟踪方法中，目的在于让滤波器在权值更新之前获取一个当前帧的预测反馈，并通过这个反馈来修正模型的更新而不是用固定的模型更新率。针对固定模型更新率存在的弊端以及在线学习反馈对于模型更新的必要性，有必要设计一种反馈机制来改善目标跟踪方法的性能。
技术实现思路
专利技术目的：针对以上问题，本专利技术提出一种基于在线学习的目标跟踪方法，将在线学习引入到目标跟踪方法中，修正跟踪过程中模型(滤波器)的更新方式，使模型在权值更新之前获取一个当前帧的预测反馈，并通过这个反馈来修正模型的更新。技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：一种基于在线学习的目标跟踪方法，包括以下步骤：步骤1：根据视频第一帧图像给出的目标初始状态，确定目标初始位置p1以及下一帧中的目标候选区域；所述目标候选区域是指以目标初始位置p1为中心，长为M宽为N的矩形区域；步骤2：对步骤1所述目标候选区域进行特征提取，得到特征张量x1∈RM×N×D，其中，RM×N×D表示特征的维度；步骤3：每帧图像各对应一个模型，所述模型是与特征张量x1维度相同的权值张量，并且是判断一个区域是否为目标的滤波器；对第一帧模型f1∈RM×N×D以及第一帧模型权值置信度张量∑1初始化，设张量f1与∑1的所有元素值为1；模型训练的方法是优化一个回归问题，即根据模型训练的目标函数，使用步骤2中提取的特征张量x1训练模型，得到训练后的第一帧模型f1；步骤4：获取视频的第t帧图像作为当前的跟踪对象，t＝2,…,Num，Num表示图像帧总数量，根据目标在第t-1帧图像中的位置来选取目标在第t帧图像中的可能位置；设目标在第t-1帧图像中的位置为pt-1，则在第t帧图像中，选取以位置pt-1为中心，长为M宽为N的矩形区域作为目标候选区域，所述目标候选区域包括M*N个目标可能位置表示第t帧的第i个目标可能位置；所述目标可能位置是指所述矩形区域中所有像素点；步骤5：对第t帧图像中的目标候选区域进行特征提取，得到特征张量xt；步骤6：使用第t-1帧所得模型与第t帧特征张量进行数字相关性计算，得到第t帧目标候选区域中每个像素点的响应值；选择响应值最大的像素点为第t帧目标所在位置；进入步骤7；模型(滤波器)应具备良好的泛化性，即模型在识别出当前帧目标的同时保持对过去目标的识别能力，因此前后两帧的模型之间的差异是有限的；根据在线学习思想，本专利技术将前后两帧的模型之间的差异设计为预测反馈来修正模型的更新；步骤7：由于目标在视频中的外观会发生变化，每一帧模型都需要更新权值以保证对目标的判别能力；采用KL散度来度量第t帧需要学习的模型与第t-1帧模型之间的差异，并使其成为第t帧模型优化的约束条件，从而实现在模型优化过程中自适应模型更新，根据模型优化的目标函数得到第t帧模型ft以及第t帧模型权值置信度张量∑t；t增加1，重复步骤4-7，直到Num帧图像处理完成，实现目标跟踪。进一步，步骤2和步骤5所述特征提取的方法如下：S1：对原始图像进行灰度化处理，即将原始RGB三通道图像转化为单通道图像；S2：采用gamma校正法对灰度化后的图像进行颜色空间的标准化，降低光照变化以及局部图像阴影的影响，公式如下：I(x,y)＝I(x,y)gamma式中，I(x,y)表示坐标(x,y)处像素点的像素值，I(x,y)gamma表示对像素值的gamma次幂，gamma是常数；S3：计算每个像素点的梯度幅值与梯度方向；S4：将每个像素点的梯度方向离散化，并将每个像素点映射为特征向量；S5：每k*k个像素点组成一个cell，把每个cell内所有像素点的特征向量相加，从而将步骤S4得到的像素级特征向量聚合成cell级的特征向量C，记为：C(i,j),{0≤i≤[(M-1)/k],0≤j≤[(N-1)/k]}其中，C(i,j)表示坐标为(i,j)处cell的特征向量；S6：对步骤S5所得到的特征进行归一化：其中，H(i,j)表示坐标为(i,j)处cell的最终特征向量，Min表示取最小值函数，Nδ,υ(i,j)是局部归一化特征向量，其计算公式如下：Nδ,υ(i,j)＝(||C(i,j)||2+||C(i+δ,j)||2+||C(i,j+υ)||2+||C(i+δ,j+υ)||2)1/2δ,υ∈{-1,1}S7：重复步骤S5-S6，直到目标候选区域内所有cell处理完成，得到目标候选区域的特征。进一步，步骤S3所述计算每个像素点的梯度幅值与梯度方向，方法如下：首先获取每个像素点的横纵梯度值，采用的方法是对图像进行横纵方向的卷积：Gx＝[-1,0,1],Gy＝[1,0,-1]T其中，Gx表示水平方向滤波器，Gy表示垂直方向滤波器；卷积后得到像素点I(x,y)水平方向梯度幅值Gx(x,y)和垂直方向梯度幅值Gy(x,y)，则每个像素点的梯度幅值和梯度方向分别为：其中，G(x,y)表示像素点的梯度幅值，α(x,y)表示像素点的梯度方向。进一步，步骤S4所述将像素点的梯度方向离散化，计算公式如下：其中，B(x,y)表示梯度方向α(x,y)离散化后的值，p表示离散化的分段个数，round为取整函数，mod为取模函数；将像素点映射为特征向量，方法如下：其中，F(x,y)表示坐标(x,y)处像素点的特征向量，F(x,y)b表示特征向量F(x,y)第b维分量的值。进一步，步骤3所述模型训练的目标函数如下：其中，d表示张量特征的第d维通道，D表示特征共有D维通道，f1∈RM×N×D表示第一帧模型；常量矩阵y∈RM×N表示训练标签，标签值服从高斯分布，中心趋近去1，四周趋近于0；常量矩阵w∈RM×N表示模型的权值惩罚系数，符号*表示相关运算，符号·表示点积运算。进一步，步骤6所述得到目标候选区域每个像素点的响应值，方法如下：为了提高运算效率，对模型和特征张量进行傅里叶变换，将时域相关运算转变成频域点积运算，则目标候本文档来自技高网...

【技术保护点】
1.一种基于在线学习的目标跟踪方法，其特征在于：该方法包括以下步骤：步骤1：根据视频第一帧图像给出的目标初始状态，确定目标初始位置p1以及下一帧中的目标候选区域；所述目标候选区域是指以目标初始位置p1为中心，长为M，宽为N的矩形区域；步骤2：对步骤1所述目标候选区域进行特征提取，得到特征张量x1∈R

【技术特征摘要】
1.一种基于在线学习的目标跟踪方法，其特征在于：该方法包括以下步骤：步骤1：根据视频第一帧图像给出的目标初始状态，确定目标初始位置p1以及下一帧中的目标候选区域；所述目标候选区域是指以目标初始位置p1为中心，长为M，宽为N的矩形区域；步骤2：对步骤1所述目标候选区域进行特征提取，得到特征张量x1∈RM×N×D，其中，RM×N×D表示特征的维度；步骤3：每帧图像各对应一个模型，所述模型是与特征张量x1维度相同的权值张量，并且是判断一个区域是否为目标的滤波器；对第一帧模型f1∈RM×N×D以及第一帧模型权值置信度张量∑1初始化，设张量f1与∑1的所有元素值为1；根据模型训练的目标函数，使用步骤2中提取的特征张量x1训练模型，得到训练后的第一帧模型f1；步骤4：获取视频的第t帧图像作为当前的跟踪对象，t＝2,…,Num，Num表示图像帧总数量，根据目标在第t-1帧图像中的位置来选取目标在第t帧图像中的可能位置；设目标在第t-1帧图像中的位置为pt-1，则在第t帧图像中，选取以位置pt-1为中心，长为M宽为N的矩形区域作为目标候选区域，所述目标候选区域包括M*N个目标可能位置表示第t帧的第i个目标可能位置；所述目标可能位置是指所述矩形区域中所有像素点；步骤5：对第t帧图像中的目标候选区域进行特征提取，得到特征张量xt；步骤6：使用第t-1帧所得模型与第t帧特征张量进行数字相关性计算，得到第t帧目标候选区域中每个像素点的响应值；选择响应值最大的像素点为第t帧目标所在位置；进入步骤7；步骤7：每一帧模型都需要更新权值以保证对目标的判别能力；采用KL散度来度量第t帧需要学习的模型与第t-1帧模型之间的差异，并使其成为第t帧模型优化的约束条件，从而实现在模型优化过程中自适应模型更新，根据模型优化的目标函数得到第t帧模型ft以及第t帧模型权值置信度张量∑t；t增加1，重复步骤4-7，直到Num帧图像处理完成，实现目标跟踪。2.根据权利要求1所述的一种基于在线学习的目标跟踪方法，其特征在于：步骤2和步骤5所述特征提取的方法如下：S1：对原始图像进行灰度化处理，即将原始RGB三通道图像转化为单通道图像；S2：采用gamma校正法对灰度化后的图像进行颜色空间的标准化，降低光照变化以及局部图像阴影的影响，公式如下：I(x,y)＝I(x,y)gamma式中，I(x,y)表示坐标(x,y)处像素点的像素值，I(x,y)gamma表示对像素值的gamma次幂，gamma是常数；S3：计算每个像素点的梯度幅值与梯度方向；S4：将每个像素点的梯度方向离散化，并将每个像素点映射为特征向量；S5：每k*k个像素点组成一个cell，把每个cell内所有像素点的特征向量相加，从而将步骤S4得到的像素级特征向量聚合成cell级的特征向量C，记为：C(i,j),{0≤i≤[(M-1)/k],0≤j≤[(N-1)/k]}其中，C(i,j)表示坐标为(i,j)处cell的特征向量；S6：对步骤S5所得到的特征进行归一化：其中，H(i,j)表示坐标为(i,j)处cell的最终特征向量，Min表示取最小值函数，Nδ,υ(i,j)是局部归一化特征向量，其计算公式如下：Nδ,υ(i,j)＝(||C(i,j)||2+||C(i+δ,j)||2+||C(i,j+υ)||2+||C(i+δ,j+υ)||2)1/2δ,v∈{-1,1}S7：重复步骤S5-S6，直到目标候选区域内所有cell处理完成，得到目标候选区域的特征。3.根据权利要求2所述的一种基于在线学习的目标跟踪方法，其特征在于：步骤S3所述计算每个像素点的梯度幅值与梯度方向，方法如下：首先获取每个像素点的横纵梯度值，采用的方法是对图像进行横纵方向的卷积：Gx＝[-1,...

【专利技术属性】
技术研发人员：孙浩，韩立新，徐国夏，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏,32