基于在线更新字典模型的目标跟踪方法技术

本发明专利技术涉及一种基于在线更新字典模型的目标跟踪方法，包括：根据给定的初始目标位置，在视频的前N帧，利用最近邻算法KNN实现初始跟踪，获得每一帧对应的目标区域。将每个目标区域分为大小相同的一些图像子块，将得到的图像子块进行组合得到字典。根据字典P进行跟踪：根据当前帧的目标位置，在下一帧以其为中心在周围进行随机采样，以字典元素为基，对每个候选目标区域进行基于稀疏表示的重建，抽取稀疏表示的系数矩阵C。选取最稀疏矩阵对应的区域为最佳目标区域，作为跟踪结果。在跟踪过程中，对字典进行更新。本发明专利技术具有较高的鲁棒性、准确性和实时性。

【技术实现步骤摘要】

本专利技术属视频处理领域，涉及一种基于在线更新字典模型的目标跟踪方法。
技术介绍
视觉目标跟踪是计算机视觉研究领域中的一个重要课题。目标跟踪是对图像序列中的目标进行检测，提取、识别和跟踪，从而获得目标的运动参数，例如位置、速度和加速度等信息，为对目标做进一步的分析与理解提供帮助。随着计算机技术的不断发展，计算能力得到了极大提高、廉价高性能摄像头的广泛应用、以及自动视频分析需求的不断增长，基于视觉的目标跟踪方法研究成为计算机视觉中的研究热点。该技术被广泛应用于机器人控制、视频监控、驾驶助理、动作识别和人机交互等领域中。在目标跟踪过程中，跟踪目标的运动突变，跟踪目标和场景的模式变化、非刚体形变、目标与目标以及背景间的遮挡和图像采集设备的运动等都会影响目标的跟踪效果，在目标的背景、形态、姿势、大小和光照条件发生强烈变化的情况下，对目标进行稳健、实时的跟踪有一定的难度，因此需要提高目标跟踪方法在复杂环境下的鲁棒性、准确性和实时性。
技术实现思路
本专利技术的目的在于提供一种在复杂环境下具有较高的鲁棒性、准确性和实时性的目标跟踪方法。本专利技术利用字典模型将目标分为子块进行建模，更加注重局部特征，另外利用在线更新实现跟踪对于目标外形变化、光照等问题的适应性，提高跟踪算法的稳定性和准确性。技术方案如下：一种基于在线更新字典模型的目标跟踪方法，包括下列步骤：第一步：根据给定的初始目标位置，在视频的前N帧，利用最近邻算法KNN实现初始跟踪，获得每一帧对应的目标区域。其中N可以自由设定。第二步：将第一步得到的每个目标区域分为大小相同的一些图像子块，将得到的图像子块进行组合得到字典P。第三步：得到字典P之后，根据字典P进行跟踪：根据当前帧的目标位置，在下一帧以其为中心在周围进行随机采样，以字典元素为基，对每个候选目标区域进行基于稀疏表示的重建，抽取稀疏表示的系数矩阵C。第四步：选取最稀疏矩阵对应的区域为最佳目标区域，作为跟踪结果。第五步：在跟踪过程中，每隔L帧进行一次稀疏表示系数矩阵C的检测，得到系数质量q作为是否更新字典的标志；预设一个更新阈值，若q较小，小于此阈值，则系数矩阵比较稀疏，则表明现有字典信息完备，字典不需要更新；否则，q较大，大于此阈值，系数矩阵呈现值小而密集的特征，表明字典需要进行更新，其中，系数质量定义为：其中表示ci中第j个系数，表示矩阵C中所有非零系数的数量，表示取值大于阈值thr的系数的数量。第六步：在形成字典的N个目标区域中，选取前N/10个目标区域为静态部分，它们在跟踪过程中不会发生变化；剩余部分为字典的动态部分，它们会随着跟踪过程中目标的变化而变化，若根据第五步，字典需要更新，则添加新捕捉的目标区域所对应的图像子块到字典的最后，并删除动态部分的最前一个目标区域对应的图像子块。第三步中，稀疏表示系数矩阵C的计算方法可以如下：对于一个新的候选目标区域Y，将其分为相同大小的一些子块[y1,y2...,yn]∈Rm×n，其中n是子块数目，yi∈Rm×1是第i个子块对应的向量，每一个子块可表示成字典中基元素的线性组合：yi＝P·ci+ei(1)其中ci是稀疏表示的系数，ei是表示误差，候选目标区域Y可以表示为Y＝PC+E(2)其中C＝[c1,c2,...,cn]∈R(N×n)×n是系数矩阵，E＝[e1,e2,...,en]∈Rm×n表示由遮挡或者形变等引起的误差，系数矩阵C通过求解下列最优化问题得到，其中λ为调整系数：本专利技术涉及字典学习和稀疏表示，提出基于在线更新字典模型的目标跟踪方法，既可以存储目标的最原始信息以防止跟踪过程中的漂移，又可以在线更新以实现对目标变化的适应。本专利技术所提出的基于在线更新字典模型的目标跟踪方法能够很好地实现目标跟踪，并且能够适应光照，形变和尺度变换等问题，在应用中具有鲁棒性。附图说明图1跟踪流程。第一行的步骤实现初始阶段跟踪，第二行步骤实现基于字典的跟踪并实现在线更新。图2字典形成示意图。第一列为不同帧的目标区域，第二列为归一化之后的图像块，第三列为分块处理之后的各子块示意，所有子块形成字典，字典元素分为静态和动态两部分。图3候选目标区域的稀疏表示系数。(a)系数稀疏(b)系数稠密具体实施方式本专利技术提出一种基于字典表示和在线更新的目标跟踪方法，建立字典模型对跟踪目标进行基于稀疏表示和系数统计的建模表示，为了适应物体在运动中的变化，引入在线更新方法对字典进行更新。包括以下步骤：第一步：在视频的前N帧，根据给定的初始目标位置，利用最近邻算法KNN实现初始跟踪，得到每一帧对应的目标区域为Ti，其中i对应帧数，组合得到集合[T1,T2,...,TN]作为形成字典的模板元素。第二步：对于一个目标区域T，将其分为相同大小的一些子块[p1,p2,...,pn]∈Rm×n，其中n是子块数目，pi∈Rm×1是一个子块对应的向量。根据第一步，前N帧得到N个目标区域，将每个区域进行分块处理，得到的所有图像子块字典PP＝[p11,p12,...,p1n,p21,p22,...,pN1,pN2,...,pNn]∈Rm×(N×n)(1)其中pij表示第i帧目标区域的第j个子块。第三步：字典形成之后，跟踪过程基于字典实现。根据当前帧的位置，在下一帧以其为中心在其周围进行随机采样，作为候选目标区域，计算每个候选目标区域基于字典的稀疏表示矩阵C。计算方法如下：对于一个新的候选目标区域Y，将其分为相同大小的一些子块[y1,y2...,yn]∈Rm×n，其中n是子块数目，yi∈Rm×1是第i个子块对应的向量。每一个子块可以表示成字典中基元素的线性组合，yi＝P·ci+ei(2)其中ci是稀疏表示的系数，ei是表示误差。由此，候选目标区域Y可以表示为Y＝PC+E(3)其中C＝[c1,c2,...,cn]∈R(N×n)×n是系数矩阵，E＝[e1,e2,...,en]∈Rm×n表示由遮挡或者形变等引起的误差。系数矩阵C可以通过求解下列最优化问题得到第四步：对于给定的目标区域集合Z＝[z1,z2,...,zt],根据贝叶斯跟踪在第三步随机采样得到的所有区域中寻找拥有最大后验概率的候选目标区域xt，即其中p(xt|Z)表示后验概率，表示状态估计。p(xt|Z)可以用下式进行估计，其中p(xt|xt-1)表示连续两帧之间的动态模型，p(zt|xt)表示在给定状态xt的情况下出现zt的概率。其中，p(xt|xt-1)＝N(xt；xt-1,Σ)，N表示正态分布，其中对角矩阵Σ的元素是仿射变换参数的方差。仿射变换用于估计两帧之间的运动。p(zt|xt)可以利用字对其进行建模。计算方法如下：(1)由于字典元素排列有序，所以对于候选目标区域的一个子块yi，它对应的系数ci可以被分成几个部分其中是第k个模板的系数矩阵。(2)由此计算其中ui∈RN×1是第i个图像子块，A是归一化因子。(3)将一个参考目标区域所有图像子块的ui组合形成矩阵U＝[u1,u2,...,un]，然后提取每个ui的最大值作为候选目标区域的特征ff＝[u1max,u2max,...,unmax](8)其中uimax表示ui中的最大值。由此可得，第五步：在跟踪过程中，每隔L帧进行一次系数质量检测，并且此次检查之前的L个目标区域会作为一组数据暂时保存，供更新使用。本文档来自技高网...

【技术保护点】
一种基于在线更新字典模型的目标跟踪方法，包括下列步骤：第一步：根据给定的初始目标位置，在视频的前N帧，利用最近邻算法KNN实现初始跟踪，获得每一帧对应的目标区域，其中N可以自由设定；第二步：将第一步得到的每个目标区域分为大小相同的一些图像子块，将得到的图像子块进行组合得到字典P；第三步：得到字典P之后，根据字典P进行跟踪：根据当前帧的目标位置，在下一帧以其为中心在周围进行随机采样，以字典元素为基，对每个候选目标区域进行基于稀疏表示的重建，抽取稀疏表示的系数矩阵C；第四步：选取最稀疏矩阵对应的区域为最佳目标区域，作为跟踪结果；第五步：在跟踪过程中，每隔L帧进行一次稀疏表示系数矩阵C的检测，得到系数质量q作为是否更新字典的标志；预设一个更新阈值，若q较小，小于此阈值，则系数矩阵比较稀疏，则表明现有字典信息完备，字典不需要更新；否则，q较大，大于此阈值，系数矩阵呈现值小而密集的特征，表明字典需要进行更新，其中，系数质量定义为：q=num(ci(j)≥thr)num(ci(j)≠0)wherei∈[1,n],j∈[1,N×n]]]>其中表示ci中第j个系数，表示矩阵C中所有非零系数的数量，表示取值大于阈值thr的系数的数量；第六步：在形成字典的N个目标区域中，选取前N/10个目标区域为静态部分，它们在跟踪过程中不会发生变化；剩余部分为字典的动态部分，它们会随着跟踪过程中目标的变化而变化，若根据第五步，字典需要更新，则添加新捕捉的目标区域所对应的图像子块到字典的最后，并删除动态部分的最前一个目标区域对应的图像子块。...

【技术特征摘要】
1.一种基于在线更新字典模型的目标跟踪方法，包括下列步骤：第一步：根据给定的初始目标位置，在视频的前N帧，利用最近邻算法KNN实现初始跟踪，获得每一帧对应的目标区域，其中N可以自由设定；第二步：将第一步得到的每个目标区域分为大小相同的一些图像子块，将得到的图像子块进行组合得到字典P；第三步：得到字典P之后，根据字典P进行跟踪：根据当前帧的目标位置，在下一帧以其为中心在周围进行随机采样，以字典元素为基，对每个候选目标区域进行基于稀疏表示的重建，抽取稀疏表示的系数矩阵C；第四步：选取最稀疏矩阵对应的区域为最佳目标区域，作为跟踪结果；第五步：在跟踪过程中，每隔L帧进行一次稀疏表示系数矩阵C的检测，得到系数质量q作为是否更新字典的标志；预设一个更新阈值，若q较小，小于此阈值，则系数矩阵比较稀疏，则表明现有字典信息完备，字典不需要更新；否则，q较大，大于此阈值，系数矩阵呈现值小而密集的特征，表明字典需要进行更新，其中，系数质量定义为：q=num(ci(j)≥thr)num(ci(j)≠0)wherei∈[1,n],j∈[1,N×n]]]>其中表示ci中第...

【专利技术属性】
技术研发人员：杨嘉琛，许茹，姜斌，王焕玲，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12