当前位置: 首页 > 专利查询>中山大学专利>正文

一种单摄像头的行人跟踪方法技术

技术编号:15392070 阅读:101 留言:0更新日期:2017-05-19 05:06
本发明专利技术公开一种单摄像头的行人跟踪方法。本发明专利技术采用分层次跟踪的策略,先把检测目标连接成稳定可靠的小段运动轨迹,然后通过匹配小段运动轨迹并填充小段运动轨迹间的空白段,形成最终的跟踪轨迹。该策略有利于解决跟踪过程中由于行人被短时间遮挡而引起的轨迹中断问题。在小段运动轨迹的构造中,本发明专利技术提出了基于级联思想的两步匹配方法,先采用高效的直方图匹配方法处理匹配难度小的情况,再进一步采用鲁棒的稀疏表示分类器解决目标表观相似引起的混淆问题。在小段运动轨迹之间的匹配中,本发明专利技术提出了基于稀疏表示的轨迹距离度量方法,对由环境变化和目标形变引起的目标表观变化情况有较好的鲁棒性。另外,本发明专利技术还提出计算量小的基于层次聚类的轨迹匹配方法,提高全局多轨迹匹配的效率。

A single camera pedestrian tracking method

The invention discloses a single camera pedestrian tracking method. The invention adopts a hierarchical tracking strategy to target detection connected into a short trajectory is stable and reliable, and then by matching the short trajectories and fill the blank section of short trajectories between the formation of the final track. This strategy is helpful to solve the problem of trajectory interruption caused by short time occlusion of pedestrians. In the construction of short trajectories, the invention provides a method for matching the two step based on the idea of cascade, using efficient histogram matching method, the processing difficulty is small, then a robust sparse representation classifier to solve the problems caused by the confusion of concept similar to the target table. The method of trajectory distance measurement based on sparse representation is proposed for the matching between small trajectories, which is robust to the apparent change of target caused by environment change and target deformation. In addition, a method based on hierarchical clustering is proposed to improve the efficiency of global multiple track matching.

【技术实现步骤摘要】
一种单摄像头的行人跟踪方法
本专利技术涉及智能安防领域,更具体地,涉及一种单摄像头的行人跟踪方法。
技术介绍
智能视频监控作为安防领域一项极具发展前景的技术,需要对视频中的兴趣目标进行跟踪、检测识别和行为分析。多目标跟踪技术需要从场景视频中检测出多个目标的轨迹,为目标的行为分析提供依据。同时,采集视频录像的行人轨迹数据并加以分析,能够为设施规划提供更多有用的信息,甚至发掘出潜在的商业价值。因此,实现智能化的多目标跟踪具有广阔的应用前景。基于多摄像头的多目标跟踪方法在解决目标遮挡问题时有一定优势。这类方法一般通过多目视觉算法计算目标的深度信息,来改善跟踪效果。然而,绝大多数的视频录像是由单摄像头拍摄的,无法使用基于多摄像头的跟踪方法。基于多摄像头的多目标跟踪系统成本一般更高,且需要进行摄像头的安装规划。目前已有的基于单摄像头的多目标跟踪方法主要基于两种主流的匹配方法:基于能量函数的优化方法以及基于图论的优化方法。其中基于能量函数的优化方法所使用的一般是高度非凸函数,往往不能求解出全局最优解,很容易出现目标交汇混淆的问题,而且优化效率很低。基于图论的匹配算法多采用匈牙利算法或是最小代价网络流算法,这些算法在人数较多的情境下往往效率低下。在目标表达方面,已有方法多采用直方图或者是在线学习表观模型。基于直方图的匹配方法虽然计算量小,但是难以充分解决不同目标表观相似和同一目标表观变化等问题。而在线学习表观模型易于在轨迹初始化时遭遇样本过小的问题,或是效率不高。
技术实现思路
本专利技术为解决以上现有技术的难题,提供了一种单摄像头的行人跟踪方法,该方法先把视频帧中的观察目标连接成稳定可靠的运动轨迹,然后通过匹配运动轨迹并填充运动轨迹间的空白段,形成最终的跟踪轨迹。该策略能够很好地解决跟踪过程中行人短时间被遮挡引起的轨迹中断问题。为实现以上专利技术目的,采用的技术方案是:一种单摄像头的行人跟踪方法,包括以下步骤:S1.对视频图像进行检测,将检测出来的行人称为观察目标;S2.设在当前帧t检测到有n个观察目标,提取这n个观察目标的特征;S3.设在当前帧t,同时存在若干条在当前帧t之前的运动轨迹,T={ds,ds+1,...,de}表示一条运动轨迹,其中s、e分别为轨迹T的起始时刻和终止时刻;对于运动轨迹通过位置约束条件选出在当前帧t可能关联的观察目标,然后计算运动轨迹Ti与可能关联的观察目标的相似度,将与运动轨迹Ti相似度最高的观察目标作为该运动轨迹的最佳观察目标;S4.经过步骤S3的匹配后,每个观察目标遇到以下三种情况之一:A.观察目标不是任何运动轨迹的的最佳观察目标,因而未能成功配对;B.观察目标仅是一条运动轨迹的最佳观察目标,则将该观察目标与该运动轨迹配对;C.观察目标是多条运动轨迹的最佳观察目标,则利用稀疏表示分类器对观察目标进行分类,利用分类器确定该观察目标所属的运动轨迹,将观察目标与该运动轨迹配对;S5.执行步骤S4后,对运动轨迹进行更新:A.对于未成功配对到运动轨迹的观察目标,新建立一条以该观察目标为起点的运动轨迹;B.对于成功配对到运动轨迹的观察目标,将该观察目标连接到运动轨迹的末端;C.对于未成功配对到观察目标的运动轨迹,则利用该运动轨迹在当前帧t之前m帧的位置线性预测出其在当前帧t的位置,并将其称之为预测目标,若预测目标和运动轨迹的相似度大于阈值,则将预测目标连接到运动轨迹的末端;S6.重复执行步骤S3-S5,直到遍历完图像序列,低层次数据关联过程结束;S7.通过时空约束条件选出有可能关联的运动轨迹对(Ta,Tb);S8.采集足够数量的行人图像;若图像中行人腿部是呈靠拢状态的,则标记为正样本,否则标记为负样本;对图像中行人腿部计算梯度方向直方图,并且以此作为特征,离线训练一个能够区分图像中行人腿部是否呈靠拢状态的支持向量机;S9.使用支持向量机判别Ta、Tb的每张图像中行人腿部是否呈靠拢状态,并选出判别结果为正的图像作为Ta、Tb的代表性图像子集(Aa,Ab);S10.对运动轨迹对(Ta,Tb)的代表性图像子集(Aa,Ab)进行图像特征提取,然后基于提取的特征使用双向重构的策略来计算运动轨迹对(Ta,Tb)的距离,若运动轨迹对(Ta,Tb)的距离大于指定阈值,则舍弃该运动轨迹对;S11.基于层次聚类的轨迹匹配:将运动轨迹视为点,将S10得到的运动轨迹对视为边,边的权值取运动轨迹对的距离,由此构成一个无向图G=(V,E),其中V={T1,T2,...,Tn},E={(Ta,Tb,D(Ta,Tb))|D(Ta,Tb)<θD且1≤a,b≤n},n为运动轨迹数;聚类开始时,设类别数为n,每个类只包含一个点;每个点具有一个时间跨度Zi={si,si+1,...,ei};每个类的时间跨度为该类所有点的时间跨度的并集;然后进行如下聚类:A.从边集中选出权值最小的边l;B.若边l的两端点所属类的时间跨度没有交集,则把这两个类聚合成一个类;C.从边集中删除边l,若边集为空集,聚类结束,否则返回A;D.聚类结束后,每一类表示一个行人目标;S12.轨迹修复:对于S11得到的每一个类,把所有观察目标的垂直坐标x、水平坐标y、检测窗口高度h分开处理,使用样条线分别拟合x-t曲线、y-t曲线、h-t曲线,以填补缺失的轨迹点并对轨迹进行平滑。上述方案中,本专利技术提出的方法采用分层次跟踪的策略,先把视频帧中的检测目标连接成稳定可靠的小段运动轨迹,然后通过匹配小段运动轨迹并填充小段运动轨迹间的空白段,形成最终的跟踪轨迹。该策略能够很好地解决跟踪过程中行人短时间被遮挡引起的轨迹中断问题。进一步地,本专利技术使用了基于稀疏表示的目标匹配和轨迹距离度量方法,能够很好地处理由环境变化和目标形变引起的同一目标表观变化问题,改善由于不同目标表观相似而导致的目标混淆。优选地,所述步骤S2中,提取观察目标特征的具体过程如下:提取观察目标对应的图像区域的颜色直方图和梯度方向直方图作为观察目标的特征;其中提取颜色直方图的具体步骤如下:把观察目标图像在竖直方向等分成两部分,分别提取两部分的HSV概率直方图,每通道分32个等级,每部分得到96维特征cupper和clower,颜色直方图为c=[cupper,clower];提取梯度方向直方图的具体步骤如下:把观察目标图像归一化到64×32像素的尺寸,然后提取其HOG特征;其中采用大小为8×8像素的单元,从中提取9维直方图,每2×2个单元构成一个块,各单元的9维直方图向量级联构成36维特征向量并归一化;在水平和垂直方向上每间隔8像素提取一个块特征,可获得21个块,将各块对应的特征向量级联构成756维特征向量h。优选地,所述步骤S3中,提取运动轨迹Ti在当前帧t之前m帧的平均颜色特征作为运动轨迹Ti的特征,然后分别计算运动轨迹和观察目标两部分HSV直方图的巴氏系数BCupper和BClower,相似度定义为优选地,所述步骤S5中,若运动轨迹连续4帧未成功匹配到观察目标,则不再参与低层次数据关联。优选地,所述步骤S4中,利用稀疏表示分类器求出该观察目标所属的运动轨迹的具体过程如下:分类任务使用的特征为v=[hT/||h||2,cT/||c||2]T,将观察目标作为测试图像,其特征为y,将可能与该观察目标关联的各条运动轨迹本文档来自技高网...
一种单摄像头的行人跟踪方法

【技术保护点】
一种单摄像头的行人跟踪方法,其特征在于:包括以下步骤:S1.对视频图像进行检测,将检测出来的行人称为观察目标;S2.设在当前帧t检测到有n个观察目标,提取这n个观察目标的特征;S3.设在当前帧t,同时存在若干条在当前帧t之前的运动轨迹,T={d

【技术特征摘要】
1.一种单摄像头的行人跟踪方法,其特征在于:包括以下步骤:S1.对视频图像进行检测,将检测出来的行人称为观察目标;S2.设在当前帧t检测到有n个观察目标,提取这n个观察目标的特征;S3.设在当前帧t,同时存在若干条在当前帧t之前的运动轨迹,T={ds,ds+1,...,de}表示一条运动轨迹,其中s、e分别为轨迹T的起始时刻和终止时刻;对于运动轨迹通过位置约束条件选出在当前帧t可能关联的观察目标,然后计算运动轨迹Ti与可能关联的观察目标的相似度,将与运动轨迹Ti相似度最高的观察目标作为该运动轨迹的最佳观察目标;S4.经过步骤S3的匹配后,每个观察目标遇到以下三种情况之一:A.观察目标不是任何运动轨迹的的最佳观察目标,因而未能成功配对;B.观察目标仅是一条运动轨迹的最佳观察目标,则将该观察目标与该运动轨迹配对;C.观察目标是多条运动轨迹的最佳观察目标,则利用稀疏表示分类器对观察目标进行分类,利用分类器确定该观察目标所属的运动轨迹,将观察目标与该运动轨迹配对;S5.执行步骤S4后,对运动轨迹进行更新:A.对于未成功配对到运动轨迹的观察目标,新建立一条以该观察目标为起点的运动轨迹;B.对于成功配对到运动轨迹的观察目标,将该观察目标连接到运动轨迹的末端;C.对于未成功配对到观察目标的运动轨迹,则利用该运动轨迹在当前帧t之前m帧的位置线性预测出其在当前帧t的位置,并将其称之为预测目标,若预测目标和运动轨迹的相似度大于阈值,则将预测目标连接到运动轨迹的末端;S6.重复执行步骤S3-S5,直到遍历完图像序列,低层次数据关联过程结束;S7.通过时空约束条件选出有可能关联的运动轨迹对(Ta,Tb);S8.采集足够数量的行人图像;若图像中行人腿部是呈靠拢状态的,则标记为正样本,否则标记为负样本;对图像中行人腿部计算梯度方向直方图,并且以此作为特征,离线训练一个能够区分图像中行人腿部是否呈靠拢状态的支持向量机;S9.使用支持向量机判别Ta、Tb的每张图像中行人腿部是否呈靠拢状态,并选出判别结果为正的图像作为Ta、Tb的代表性图像子集(Aa,Ab);S10.对运动轨迹对(Ta,Tb)的代表性图像子集(Aa,Ab)进行图像特征提取,然后基于提取的特征使用双向重构的策略来计算运动轨迹对(Ta,Tb)的距离,若运动轨迹对(Ta,Tb)的距离大于指定阈值,则舍弃该运动轨迹对;S11.基于层次聚类的轨迹匹配:将运动轨迹视为点,将S10得到的运动轨迹对视为边,边的权值取运动轨迹对的距离,由此构成一个无向图G=(V,E),其中V={T1,T2,...,Tn},E={(Ta,Tb,D(Ta,Tb))|D(Ta,Tb)<θD且1≤a,b≤n},n为运动轨迹数;聚类开始时,设类别数为n,每个类只包含一个点;每个点具有一个时间跨度Zi={si,si+1,...,ei};每个类的时间跨度为该类所有点的时间跨度的并集;然后进行如下聚类:A.从边集中选出权值最小的边l;B.若边l的两端点所属类的时间跨度没有交集,则把这两个类聚合成一个类;C.从边集中删除边l,若边集为空集,聚类结束,否则返回A;D.聚类结束后,每一类表示一个行人目标;S12.轨迹修复:对于S11得到的每一个类,把所有观察目标的垂直坐标x、水平坐标y、检测窗口高度h分开处理,使用样条线分别拟合x-t曲线、y-t曲线、h-t曲线,以填补缺失的轨迹点并对轨迹进行平滑。2.根据权利要求1所述的单摄像头的行人跟踪方法,其特征在于:所述步骤S2中,提取观察目标特征的具体过程如下...

【专利技术属性】
技术研发人员:郑慧诚林梓健马东宏
申请(专利权)人:中山大学
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1