一种基于软分配BoF的目标跟踪方法技术

本发明专利技术公开了一种基于软分配BoF的目标跟踪方法。本发明专利技术通过将各个patch的每一种局部特征分配到对应codebook中的多个codeword，并计算其权重得到跟踪目标和候选目标的BoF表示。然后通过BoF表示的相似度比较，选择与跟踪目标最相似的候选目标。区别于现有目标跟踪方法，本发明专利技术采用了软分配策略，提高了BoF表示的健壮性和区分度，提升了跟踪方法的精确度，减少了跟踪失败的场景，从而获得更佳的跟踪结果；其次本发明专利技术在构建codebook时，不仅在跟踪目标范围区进行patch采样，还在跟踪目标背景区进行patch采样，使codebook兼具描述性和区分性；最后本发明专利技术采用了自适应大小的圆形patch，通过在候选目标之间共享patch的权重向量，有效地节约了计算资源。

【技术实现步骤摘要】
一种基于软分配BoF的目标跟踪方法
本专利技术涉及一种视觉目标跟踪的方法，特别涉及采用BoF表示的目标跟踪方法。
技术介绍
视觉目标跟踪应用于在视频序列中解析对象的目标状态。它不仅引起了研究的关注，并且在不同应用中起到了关键作用。当前的目标跟踪技术在可控条件下，可以获得很好的跟踪结果，但在复杂条件下（如：局部遮挡、光照变化、相近背景色等），其结果的精确性和健壮性仍存在问题。目标跟踪中最基本的问题之一是：采用哪种类型的视觉表示方法来描述跟踪目标的时空特征。一个好的视觉表示法既应具有良好的健壮性，以适应跟踪目标在不同复杂条件下任意的外观变化；又要具备良好的区分度，能在几个外观特征相近的候选跟踪目标中，精确找出实际跟踪目标，并确定其位置。根据特征类型之间的差异，目标跟踪的视觉表现法可以大致分为两类：全局特征和局部特征。全局特征抽取跟踪目标的整体视觉特征，如颜色、形状、质地等。这类方法计算开销小，且在可控条件下能提供良好的跟踪结果。但在某些复杂条件下，其性能不佳。而局部特征更注重于跟踪目标的局部信息，其结果是跟踪目标的局部特征集。由于局部信息很容易在复杂条件下保持一致，并且不同的局部信息间互不影响，因此局部特征法在复杂条件下具有极大的优势。然而相对于全局特征，局部特征需要更大的计算开销。近年来出现的BoF（BagofFeatures）表示法通过展现局部特征集，提供了一种简单有力的视觉表现法。由于其简洁性、健壮性，BoF被广泛用于包含目标跟踪在内的许多应用。其基本思路是：1.将提取的局部特征（如，采用SIFT特征点提取方式等）进行聚类，并为每个聚类分配一个codeword，从而形成一个包含多个codeword的codebook。使得任意局部特征均能够根据其相似性，分配到codebook中的一个codeword。2.在视频序列的当前帧中，对跟踪目标进行patch取样，并从每个patch中抽取局部特征，并将这些局部特征分配到预定义的codeword中。通过累积codeword的出现次数，完成跟踪目标的局部特征量化。3.在视频序列的下一帧中，通过随机抽样等方法生成多个候选目标，并采用步骤2中的方法，分别对每个候选目标进行特征量化。并根据量化结果，在候选目标中选择一个与跟踪目标之间最相似的，作为这一帧的跟踪结果。在这种基于硬分配的BoF表示法中，每一个局部特征仅被分配到一个与它最相似的codeword。这种硬分配策略可能会产生量化误差，从而导致跟踪结果的不精确，乃至失败。其原因有多种：首先，由于局部特征的抽取范围有限，可能导致codeword之间的差异很小，从而可能将两个非常相似的特征分配到不同的codeword；其次，在选取候选目标时，如果候选目标非常相似（如，拥有相似的纹理和颜色等），简单的硬分配策略便无法区分它们之间的差异；最后，从噪声中抽取的局部特征无论与最近的codeword多么不相似，也会被硬性分配，从而影响跟踪结果。为了解决以上问题，加权硬分配的改进策略使用到最近codeword的权重来代替出现次数，以量化局部特征。这种加权硬分配策略虽然能更加精确的描述局部特征和codeword之间的关系，但是由于每个局部特征仍然只分配到一个codeword，两个相似的局部特征如果被分配到不同的codeword中，其距离仍然会被放大。另一方面，两个不甚相似的局部特征如果被分配到了同一codeword，且权重相似，便无法对它们进行区分。综上所述，无论是传统的借助codeword出现次数表示结果的硬分配BoF策略，还是改进后的借助权重表示结果的硬分配BoF策略，在健壮性与较少奇异性两方面均有待提高。
技术实现思路
本专利技术所要解决的问题是BoF表示下的目标跟踪方法采用硬分配策略会导致量化误差，从而造成目标跟踪的不精确甚至失败。为解决上述问题，本专利技术采用的方案如下：根据本专利技术的一种基于软分配BoF的目标跟踪方法，包括以下步骤：S1：以参照帧中的跟踪目标为输入为每一种局部特征构建codebook；S2：根据codebook和对参照帧中的跟踪目标进行patch局部特征的采样构建BoF表示，得到参照帧中跟踪目标的BoF表示；S3：根据codebook和对待跟踪帧中的各候选目标进行patch局部特征的采样构建BoF表示，得到待跟踪帧中各候选目标的BoF表示；S4：通过对比待跟踪帧中各候选目标的BoF表示和参照帧中跟踪目标的BoF表示之间的相似度，选取最相似的候选目标作为跟踪结果；其中，所述步骤S1包括以下步骤：S11：在参照帧内对跟踪目标进行patch采样，并提取各patch的各种局部特征；S12：采用聚类算法对各patch的每一种局部特征进行聚类；使用codeword表示所得的聚类中心；每一种局部特征得到的多个codeword组成该局部特征的codebook；其特征在于，所述步骤S2和S3中所述构建BoF表示包括以下步骤：B1：对输入目标进行patch采样，并提取输入目标的各patch的各种局部特征；B2：将输入目标的各patch的每一种局部特征分配到多个codeword；B3：计算输入目标的各patch的每一种局部特征与各codeword的权重得到权重向量B4：累加输入目标中包含的各patch权重向量得到输入目标在每一个局部特征上的加权和直方图并生成直方图向量作为输入目标的BoF表示。其中，所述输入目标为参照帧中的跟踪目标或待跟踪帧中的候选目标；所述为输入目标的第i个patch的第k个局部特征；所述ck,j为第k个局部特征对应codebook中的第i个codeword；所述权重为局部特征与cordwordck,j的相似系数；所述权重向量为局部特征的NC维权重向量，其中NC为codebook中codeword的数量；所述加权和直方图为输入目标Tt在第k个局部特征上的加权和直方图，Tt表示输入目标；其中NP是输入目标中包含patch的数量。所述加权和直方图向量为输入目标的Nf维加权和直方图向量，其中Nf为局部特征的数量。进一步，根据本专利技术的基于软分配BoF的目标跟踪方法，所述步骤B3计算输入目标的各patch的每一种局部特征与各codeword的权重中，采用如下公式计算：上述公式中，表示第i个patch的第k个局部特征；ck,j表示第k个局部特征所对应的codebook中的第j个codeword，σ为常量，为特征与codewordck,j之间的距离；假如局部特征未被分配到codewordck,j，则进一步，根据本专利技术的基于软分配BoF的目标跟踪方法，所述步骤S11包括：S111：获取参照帧内跟踪目标的形状数据；S112：在参照帧内跟踪目标范围区和跟踪目标背景区进行patch采样，并提取各patch的各种局部特征；跟踪目标范围区和跟踪目标背景区采样的patch数量均为NP；所述的形状数据包括：中心坐标、宽、高、旋转角度；所述的跟踪目标背景区为根据跟踪目标的形状数据确定的圆形范围但不包括跟踪目标范围区内的区域；跟踪目标位于该圆形范围内且位于该圆形范围的中心；所述的圆形范围的半径Rt为：上述公式中，为参照帧内跟踪目标的宽，为参照帧内跟踪目标的高，λw为宽度方向上的缩放系数，λh高度方向的缩放系数，δx为中心横向偏移参数，δy为中心纵向偏本文档来自技高网...

【技术保护点】
一种基于软分配BoF的目标跟踪方法，包括以下步骤：S1：以参照帧中的跟踪目标为输入为每一种局部特征构建codebook；S2：根据codebook和对参照帧中的跟踪目标进行patch局部特征的采样构建BoF表示，得到参照帧中跟踪目标的BoF表示；S3：根据codebook和对待跟踪帧中的各候选目标进行patch局部特征的采样构建BoF表示，得到待跟踪帧中各候选目标的BoF表示；S4：通过对比待跟踪帧中各候选目标的BoF表示和参照帧中跟踪目标的BoF表示之间的相似度，选取最相似的候选目标作为跟踪结果；其中，所述步骤S1包括以下步骤：S11：在参照帧内对跟踪目标进行patch采样，并提取各patch的各种局部特征；S12：采用聚类算法对各patch的每一种局部特征进行聚类；使用codeword表示所得的聚类中心；每一种局部特征得到的多个codeword组成该局部特征的codebook；其特征在于，所述步骤S2和S3中所述构建BoF表示包括以下步骤：B1：对输入目标进行patch采样，并提取输入目标的各patch的各种局部特征；B2：将输入目标的各patch的每一种局部特征分配到多个codeword；B3：计算输入目标的各patch的每一种局部特征与各codeword的权重得到权重向量ωfk,it=[ω(fk,it,ck,1),ω(fk,it,ck,2),...,ω(fk,it,ck,NC)];]]>B4：累加输入目标中包含的各patch权重向量得到输入目标在每一个局部特征上的加权和直方图并生成直方图向量作为输入目标的BoF表示；其中，所述输入目标为参照帧中的跟踪目标或待跟踪帧中的候选目标；所述为输入目标的第i个patch的第k个局部特征；所述ck,j为第k个局部特征对应codebook中的第i个codeword；所述权重为局部特征与cordword ck,j的相似系数；所述权重向量为局部特征的NC维权重向量，其中NC为codebook中codeword的数量；所述加权和直方图为输入目标Tt在第k个局部特征上的加权和直方图，Tt表示输入目标；hTt,k=[Σi=1NPω(fk,it,ck,1),Σi=1NPω(fk,it,ck,2),...,Σi=1NPω(fk,it,ck,NC)];]]>其中NP是输入目标中包含patch的数量；所述加权和直方图向量为输入目标的Nf维加权和直方图向量，其中Nf为局部特征的数量。...

【技术特征摘要】
1.一种基于软分配BoF的目标跟踪方法，其特征在于，包括以下步骤：S1：以参照帧中的跟踪目标为输入为每一种局部特征构建codebook；S2：根据codebook和对参照帧中的跟踪目标进行patch局部特征的采样构建BoF表示，得到参照帧中跟踪目标的BoF表示；S3：根据codebook和对待跟踪帧中的各候选目标进行patch局部特征的采样构建BoF表示，得到待跟踪帧中各候选目标的BoF表示；S4：通过对比待跟踪帧中各候选目标的BoF表示和参照帧中跟踪目标的BoF表示之间的相似度，选取最相似的候选目标作为跟踪结果；其中，所述步骤S1包括以下步骤：S11：在参照帧内对跟踪目标进行patch采样，并提取各patch的各种局部特征；S12：采用聚类算法对各patch的每一种局部特征进行聚类；使用codeword表示所得的聚类中心；每一种局部特征得到的多个codeword组成该局部特征的codebook；所述步骤S2和S3中所述构建BoF表示包括以下步骤：B1：对输入目标进行patch采样，并提取输入目标的各patch的各种局部特征；B2：将输入目标的各patch的每一种局部特征分配到多个codeword；B3：计算输入目标的各patch的每一种局部特征与各codeword的权重得到权重向量B4：累加输入目标中包含的各patch权重向量得到输入目标在每一个局部特征上的加权和直方图并生成直方图向量作为输入目标的BoF表示；其中，所述输入目标为参照帧中的跟踪目标或待跟踪帧中的候选目标；所述为输入目标的第i个patch的第k个局部特征；所述ck,j为第k个局部特征对应codebook中的第i个codeword；所述权重为局部特征与cordwordck,j的相似系数；所述权重向量为局部特征的NC维权重向量，其中NC为codebook中codeword的数量；所述加权和直方图为输入目标Tt在第k个局部特征上的加权和直方图，Tt表示输入目标；其中NP是输入目标中包含patch的数量；所述直方图向量为输入目标的Nf维加权和直方图向量，其中Nf为局部特征的数量；所述步骤S11包括：S111：获取参照帧内跟踪目标的形状数据；S112：在参照帧内跟踪目标范围区和跟踪目标背景区进行patch采样，并提取各patch的各种局部特征；跟踪目标范围区和跟踪目标背景区采样的patch数量均为NP；...

【专利技术属性】
技术研发人员：贝佳，任桐炜，赵志宏，仇众演，于桐，任重远，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32