一种融合上下文探测的弱结构感知视觉目标跟踪方法技术

本发明专利技术公开了一种融合上下文探测的弱结构感知视觉目标跟踪方法。初始化时通过感知目标与周围环境各部件的弱结构关系建立模型。模型维护对应于目标和周围的两个部件集合，利用特征点及特征描述符表达部件外观。在跟踪过程中，将部件集与运动模型结合，生成潜在目标中心，然后通过对潜在目标中心的聚类，剔除噪声获得精确目标位置，并更新目标尺寸。在弱结构跟踪框架下，为了增强部件位置的预测，引入自底向上和自顶向下两种方式对目标上下文进行探测。自底向上探测通过估计像素级的局部运动，为各部件提供一致的跟踪信息。自顶向下探测则通过构建超像素核模型，在个体层面学习目标和背景的差异，为目标定位和模型更新提供指导信息。

【技术实现步骤摘要】

本专利技术属于计算机视觉
，涉及一种目标跟踪方法，更为具体的说，是涉及一种融合上下文探测的弱结构感知视觉目标跟踪方法。
技术介绍
视觉目标跟踪，是指以连续的视频图像序列作为输入，对其中的特定目标，在连续帧中确定该目标所在位置或者所在的图像区域。目标跟踪作为计算机视觉领域的一项重要研究，在众多智能视觉系统中扮演重要角色。其典型的应用包括智能监控、自动驾驶和人机交互领域。近年来，许多研究人员针对视觉目标跟踪进行了大量的研究，取得了长足的进展，在一些特定应用领域克服了许多难题。然而对于视觉目标跟踪，在一些复杂的情况下，如目标因为快速移动、形体变形、遮挡、周围环境而产生较大外形变化时，准确跟踪目标依旧是一项困难的挑战。对于一个没有指定目标类型的泛型目标跟踪方法而言，跟踪任意类别的目标将更为困难。综上可知，现有的目标跟踪方法在实际使用上存在局限性，所以有必要加以改进。
技术实现思路
为解决以上问题，本专利技术针对泛型目标跟踪，公开了一种鲁棒的基于部件的目标跟踪方法。该专利技术有机结合目标内各个不同的部件，基于弱结构感知机制提供目标跟踪解决方案。该方法采用特征点以及相关联的特征描述符对各个目标部件进行建模表达，具备了如尺度不变性、旋转不变性和光照不变性等的优良特性，并显著提高了跟踪时的准确性和稳定性。本专利技术所解决的技术问题可采用如下的技术解决方案来实现：本专利技术提供了一种融合上下文探测的弱结构感知视觉目标跟踪方法，包括以下步骤：步骤A，初始化跟踪目标，构建跟踪框架的外观模型。具体的，读取视频，在第一帧图像用矩形包围框b＝(x,y,w,h)标识出目标，其中x,y表示目标框的左上角顶点坐标，w和h则表示目标框的宽和高。在包含了目标的包围框内部及周围区域提取特征点以初始化目标点集PO和背景点集PB。步骤B，构建相对目标中心的运动模型。具体的，对于在第t帧的每个特征点，设定它的运动状态为其中δ表示该点相对目标中心的位移向量；v为该点运动速度。步骤C，读取下一帧图像。步骤D，在本帧中利用自底向上的上下文探测对特征点进行搜寻，将候选特征点与前一帧的特征点进行匹配，得到特征点集合PO与PB中的特征点在本帧图像的新位置。具体的，为获取局部区域的运动信息，将在特征点检测区域进行稀疏光流估计。对于在PO、PB中的每个活跃特征点(即在特征点匹配中正确匹配的点)pi，它在第t-1帧的位置为xi,t-1。通过光流法对该点进行光流估计，得到其光流向量Vi,t-1。根据光流信息，该点在第t帧的位置应为xi,t＝xi,t-1+Vi,t-1。再从xi,t出发，反向估计从第t帧到第t-1帧的光流V′i,t-1。得到xi,t在第t-1帧中对应的位置x′i,t-1＝xi,t+V′i,t-1。设定阈值判断xi,t-1与x′i,t-1的距离是否足够相近。只有当这两个点足够相近时，才认定点pi的光流估计是有效的。对于上面所说的光流估计无效的点，利用在光流中局部运动一致的原理，可以借助周围的光流信息，对该点的光流进行赋值。具体而言，如果光流向量集合的一致性指数大于某个阈值，则认为该光流估计失效的特征点周围区域的光流具有一致性。在这种情况下，该特征点的光流与周围区域的光流也是一致的，把光流向量集合内的中值赋值为该点的光流向量。步骤E，对特征点的运动状态进行估计，获知每个特征点的运动状态。步骤F，根据运动状态估测潜在目标中心位置，得到一组潜在目标中心点集合，通过聚类对目标进行定位。具体的，对于每一个特征点pi，它能够产生一个在第t帧的对应潜在目标中心，对潜在目标中心点集的聚类，得到若干聚类以及一些离群点。在聚类集合中找出规模最大的聚类，以此估算出在第t帧中，目标的中心位置。步骤G，更新目标的宽度和高度。具体的，假定PO内的特征点数量为N。在第t帧中，特征点pi与其它特征点间的距离被保存在集合St,i＝{st,i,1,st,i,2,st,i,3,…st,i,N,本文档来自技高网...

【技术保护点】
一种融合上下文探测的弱结构感知视觉目标跟踪方法，其特征在于，所述方法包括以下步骤：步骤A，初始化跟踪目标，构建跟踪框架的外观模型。步骤B，构建相对目标中心的运动模型。步骤C，读取下一帧图像。步骤D，在本帧中利用自底向上的上下文探测对特征点进行搜寻，并将候选特征点与前一帧的特征点匹配，以得到特征点在本帧图像的新位置。步骤E，对特征点的运动状态进行估计，获知每个特征点的运动状态。步骤F，根据运动状态估测潜在目标中心位置，得到一组潜在目标中心点集合，通过聚类对目标进行定位。步骤G，更新目标的宽度和高度。步骤H，利用自顶向下的上下文探测检测遮挡并更新模型。重复执行步骤C至步骤H，直至处理完所有图像序列。

【技术特征摘要】
1.一种融合上下文探测的弱结构感知视觉目标跟踪方法，其特征在于，所述方法包括以下步骤：步骤A，初始化跟踪目标，构建跟踪框架的外观模型。步骤B，构建相对目标中心的运动模型。步骤C，读取下一帧图像。步骤D，在本帧中利用自底向上的上下文探测对特征点进行搜寻，并将候选特征点与前一帧的特征点匹配，以得到特征点在本帧图像的新位置。步骤E，对特征点的运动状态进行估计，获知每个特征点的运动状态。步骤F，根据运动状态估测潜在目标中心位置，得到一组潜在目标中心点集合，通过聚类对目标进行定位。步骤G，更新目标的宽度和高度。步骤H，利用自顶向下的上下文探测检测遮挡并更新模型。重复执行步骤C至步骤H，直至处理完所有图像序列。2.根据权利要求1所述的融合上下文探测的弱结构感知视觉目标跟踪方法，其特征在于，步骤A所述的外观模型是基于部件的目标跟踪框架上进行构建的，并且采用特征点以及相关的特征描述符建立目标模型，将目标和背景特征点分别保存在两个集合内。3.根据权利要求1所述的融合上下文探测的弱结构感知视觉目标跟踪方法，其特征在于，步骤D所述的特征点搜寻是基于光流估计自底向上的上下文探测过程，在特征点匹配中使用多级的描述方式。首先利用正反双向光流估计法结合局部像素的信息，在较低层级上描述特征点的运动。依据特征点的光流向量，计算出特征点在下一帧的范围。只有正反向估计的两个点小于设定阈值时，才认定这个点的光流估计是一致有效的。然后利用特征点相关联的特征描述符进一步对特征点进行匹配。对于匹配失败的情况，如果光流向量集合的一致性指数大于某个阈值，则认为该光流估计失效的特征点周...

【专利技术属性】
技术研发人员：吴贺丰，刘畅，朱恒政，刘宁，
申请(专利权)人：广东外语外贸大学，
类型：发明
国别省市：广东;44