使用GPU硬件加速的Struck目标跟踪方法技术

本发明专利技术公开了一种使用GPU硬件加速的Struck目标跟踪方法，解决了现有技术跟踪性能不高和不具有实时处理能力的问题。本发明专利技术实现的步骤：(1)获取灰度图像；(2)判断加载的图像是否为第1帧图像；(3)初始化跟踪目标的位置矩形框；(4)提取灰度图像的所有测试样本的特征；(5)确定跟踪目标的位置矩形框；(6)提取灰度图像的所有训练样本的特征；(7)初始化训练样本的权值和梯度；(8)获得和更新支持样本的权值、梯度；(9)判断是否加载完所有图像；(10)结束目标跟踪。本发明专利技术可用在通用计算机上实现对视频中的目标进行实时跟踪。

【技术实现步骤摘要】
使用GPU硬件加速的Struck目标跟踪方法
本专利技术属于计算机
，更进一步涉及计算机视频目标跟踪
中的一种使用计算机图形处理器GPU硬件加速的基于核方法的结构输出Struck目标跟踪方法。本专利技术可以实现对基于核方法的结构输出Struck目标跟踪方法加速，可用在通用计算机上实现对视频中的目标进行实时跟踪。
技术介绍
具有高速、高性能的目标跟踪方法是计算机视觉领域的核心技术。目前的目标跟踪方法分为两类：一类是基于特征匹配的跟踪方法，该方法主要是构建能够代表目标的特征，然后通过特征间的匹配度来判断目标的位置；另一类是基于目标与背景分离的跟踪方法，该方法运用机器学习的方法学习一个能够分离目标与背景的分类器，学习过程一般为在线训练过程，通过学习到的分类器来判断目标位置。相比之下，前者具有计算简单，但对具有光照、遮挡、尺度等因素变化的情况不能很好地处理。后者在一定程度上能够解决前者遇到的问题，而具有较高的鲁棒性，但其计算复杂度较高。西北农林科技大学提出的专利申请“一种基于全局搜索的实时分布场目标跟踪方法”(申请日：2014年6月26日，申请号：201410298728.7，公开号：CN104036528A)中公开了一种基于特征匹配的跟踪方法。该方法将目标的分布场作为目标模型，在计算候选区域分布场与目标模型相关系数矩阵时，借助二维傅里叶变换的良好性质，将局部范围的搜索扩大到全局范围的搜索，并且保证了很高的处理速度，具有实时处理的能力。但是，该方法仍然存在的不足是，采用了一种简单的线性更新方法来更新目标图像分布场模型，对于目标被暂时遮挡的情况，这种更新方法会丢掉目标信息，从而出现模板漂移的问题。武汉大学提出的专利申请“一种多特征提取逐步求精的高速目标跟踪算法”(申请日：2014年9月2日，申请号：201410442527.X，公开号：CN104200216A)中公开了一种基于特征匹配的跟踪方法。该方法将目标的多种特征进行融合作为目标模型，采用MeanShift方法计算出多特征融合后的目标位置。该方法虽然具有较高的跟踪精度，一定程度上避免了模板漂移的问题。但是，该方法仍然存在的不足是，只通过初始目标模型和当前候选目标模型来更新目标模型，因此，该方法对目标的初始化很敏感，该方法具有鲁棒性低的缺点。SamHare、AmirSaffari和PhilipH.S.Torr发表的论文“Struck:StructuredOutputTrackingwithKernels”(IEEEInternationalConferenceonComputerVision,ICCV2011,Barcelona,Spain,November6-13,2011,pages263–270)中公开提出了一种基于目标与背景分离的跟踪方法，该方法简称为Struck目标跟踪方法。该方法采用基于结构化支持向量机模型StructuredSVM，学习一个能区分目标与背景的分类器，通过学习到的分类器来判断目标的位置。该方法虽然具有性能高的优点，在一定程度上克服了传统方法不能解决由遮挡和光照变化造成的鲁棒性降低的问题。但是，该方法仍然存在的不足是，该方法采用串行计算的方法进行提取训练样本和测试样本的特征、获得和更新支持样本的权值、梯度和计算测试样本的判别值，由于以上每个过程都涉及很大计算量，因此该实现具有处理速度慢的缺点。实验表明，对于一个长时间的视频序列，该方法的平均处理速度大约为5fps，显然该方法不具有实时性，从而限制了它的实际应用。
技术实现思路
本专利技术的目的在于克服上述现有技术的不足，提供了一种使用GPU硬件加速的Struck目标跟踪方法，可实现对视频中的目标进行实时跟踪。本专利技术的步骤如下：(1)获取灰度图像：(1a)将待跟踪图像序列中的一帧图像加载到计算机主机内存中；(1b)将加载到计算机主机内存的图像转化为灰度图像；(1c)调用开源计算机视觉库OpenCV中的积分图计算函数cvIntegral，计算灰度图像的积分图；(1d)将灰度图像复制到灰度图像集合中；(2)判断加载的图像是否为待跟踪图像序列中的第1帧图像，若是，则执行步骤(3)，否则，执行步骤(4)；(3)初始化跟踪目标的位置矩形框：在灰度图像中选取一个将跟踪目标包含在内的矩形框，将所选的矩形框作为跟踪目标的位置矩形框，执行步骤(6)；(4)提取灰度图像的所有测试样本的特征：(4a)对灰度图像的所有测试样本，分别采用全采样法，采集测试样本的位置矩形框；(4b)根据灰度图像的积分图和所有测试样本的位置矩形框，利用计算机图形处理器GPU，并行提取灰度图像的所有测试样本的哈尔特征；(5)确定跟踪目标的位置矩形框：利用计算机图形处理器GPU，并行计算灰度图像的所有测试样本的判别值，找出最大判别值所对应的测试样本，将该测试样本的位置矩形框作为跟踪目标的位置矩形框；(6)提取灰度图像的所有训练样本的特征：(6a)将灰度图像的第一个训练样本的位置矩形框设定为跟踪目标的位置矩形框；(6b)对灰度图像的其余所有训练样本，分别采用等步长采样法，采集训练样本的位置矩形框；(6c)将灰度图像的所有训练样本的位置矩形框，复制到训练样本位置矩形框集合中；(6d)根据灰度图像的积分图和所有训练样本的位置矩形框，利用计算机图形处理器GPU，并行提取灰度图像的所有训练样本的哈尔特征；(6e)将灰度图像的所有训练样本的特征，复制到训练样本特征集合中；(7)初始化训练样本的权值和梯度：将灰度图像的训练样本的权值和梯度初始化为0；将灰度图像的训练样本的权值、梯度分别加入到训练样本权值集合、训练样本梯度集合；(8)获得和更新支持样本的权值、梯度：(8a)采用最小化梯度方法，从灰度图像的训练样本中选择两个训练样本，将选择的两个训练样本作为支持样本A、B；采用最大化梯度差方法，更新支持样本A、B的权值和梯度；当支持样本的总数超过100时，采用最小化影响度方法，更新所有支持样本的权值和梯度；(8b)采用最大最小化梯度方法，从灰度图像集合中选择一个灰度图像，从选择的灰度图像的训练样本中选择两个训练样本，将选择的两个训练样本作为支持样本A、B；采用最大化梯度差方法，更新支持样本A、B的权值和梯度；若支持样本的总数超过100，则采用最小化影响度方法，更新所有支持样本的权值和梯度；(8c)采用最大最小化梯度方法，从灰度图像集合中选择一个灰度图像，从选择的灰度图像的训练样本中选择两个训练样本，将选择的两个训练样本作为支持样本A、B；采用最大化梯度差方法，更新支持样本A、B的权值和梯度；将本步骤连续操作9次；(8d)循环执行步骤(8b)、步骤(8c)9次；(9)判断是否加载完待跟踪图像序列的所有帧图像，若是，则执行步骤(10)，否则，执行步骤(1)；(10)结束目标跟踪。本专利技术与现有技术相比，具有以下优点：第一，本专利技术采用计算机图像处理器GPU，实现了Struck目标跟踪方法，克服了现有技术中由遮挡和光照变化造成的鲁棒性降低的问题，使得本专利技术具有很高的鲁棒性。第二，本专利技术采用计算机图形处理器GPU，并行提取训练样本和测试样本的特征，克服了现有技术中提取样本特征慢的问题，使得本专利技术在提高样本特征的提取速度的同时，大大提高了跟踪目标的速度。第本文档来自技高网...

【技术保护点】
使用GPU硬件加速的Struck目标跟踪方法，包括如下步骤：(1)获取灰度图像：(1a)将待跟踪图像序列中的一帧图像加载到计算机主机内存中；(1b)将加载到计算机主机内存的图像转化为灰度图像；(1c)调用开源计算机视觉库OpenCV中的积分图计算函数cvIntegral，计算灰度图像的积分图；(1d)将灰度图像复制到灰度图像集合中；(2)判断加载的图像是否为待跟踪图像序列中的第1帧图像，若是，则执行步骤(3)，否则，执行步骤(4)；(3)初始化跟踪目标的位置矩形框：在灰度图像中选取一个将跟踪目标包含在内的矩形框，将所选的矩形框作为跟踪目标的位置矩形框，执行步骤(6)；(4)提取灰度图像的所有测试样本的特征：(4a)对灰度图像的所有测试样本，分别采用全采样法，采集测试样本的位置矩形框；(4b)根据灰度图像的积分图和所有测试样本的位置矩形框，利用计算机图形处理器GPU，并行提取灰度图像的所有测试样本的哈尔特征；(5)确定跟踪目标的位置矩形框：利用计算机图形处理器GPU，并行计算灰度图像的所有测试样本的判别值，找出最大判别值所对应的测试样本，将该测试样本的位置矩形框作为跟踪目标的位置矩形框；(6)提取灰度图像的所有训练样本的特征：(6a)将灰度图像的第一个训练样本的位置矩形框设定为跟踪目标的位置矩形框；(6b)对灰度图像的其余所有训练样本，分别采用等步长采样法，采集训练样本的位置矩形框；(6c)将灰度图像的所有训练样本的位置矩形框，复制到训练样本位置矩形框集合中；(6d)根据灰度图像的积分图和所有训练样本的位置矩形框，利用计算机图形处理器GPU，并行提取灰度图像的所有训练样本的哈尔特征；(6e)将灰度图像的所有训练样本的特征，复制到训练样本特征集合中；(7)初始化训练样本的权值和梯度：将灰度图像的训练样本的权值和梯度初始化为0；将灰度图像的训练样本的权值、梯度分别加入到训练样本权值集合、训练样本梯度集合；(8)获得和更新支持样本的权值、梯度：(8a)采用最小化梯度方法，从灰度图像的训练样本中选择两个训练样本，将选择的两个训练样本作为支持样本A、B；采用最大化梯度差方法，更新支持样本A、B的权值和梯度；当支持样本的总数超过100时，采用最小化影响度方法，更新所有支持样本的权值和梯度；(8b)采用最大最小化梯度方法，从灰度图像集合中选择一个灰度图像，从选择的灰度图像的训练样本中选择两个训练样本，将选择的两个训练样本作为支持样本A、B；采用最大化梯度差方法，更新支持样本A、B的权值和梯度；若支持样本的总数超过100，则采用最小化影响度方法，更新所有支持样本的权值和梯度；(8c)采用最大最小化梯度方法，从灰度图像集合中选择一个灰度图像，从选择的灰度图像的训练样本中选择两个训练样本，将选择的两个训练样本作为支持样本A、B；采用最大化梯度差方法，更新支持样本A、B的权值和梯度；将本步骤连续操作9次；(8d)循环执行步骤(8b)、步骤(8c)9次；(9)判断是否加载完待跟踪图像序列的所有帧图像，若是，则执行步骤(10)，否则，执行步骤(1)；(10)结束目标跟踪。...

【技术特征摘要】
1.使用GPU硬件加速的Struck目标跟踪方法，包括如下步骤：(1)获取灰度图像：(1a)将待跟踪图像序列中的一帧图像加载到计算机主机内存中；(1b)将加载到计算机主机内存的图像转化为灰度图像；(1c)调用开源计算机视觉库OpenCV中的积分图计算函数cvIntegral，计算灰度图像的积分图；(1d)将灰度图像复制到灰度图像集合中；(2)判断加载的图像是否为待跟踪图像序列中的第1帧图像，若是，则执行步骤(3)，否则，执行步骤(4)；(3)初始化跟踪目标的位置矩形框：在灰度图像中选取一个将跟踪目标包含在内的矩形框，将所选的矩形框作为跟踪目标的位置矩形框，执行步骤(6)；(4)提取灰度图像的所有测试样本的特征：(4a)对灰度图像的所有测试样本，分别采用全采样法，采集测试样本的位置矩形框；(4b)根据灰度图像的积分图和所有测试样本的位置矩形框，利用计算机图形处理器GPU，并行提取灰度图像的所有测试样本的哈尔特征；(5)确定跟踪目标的位置矩形框：利用计算机图形处理器GPU，并行计算灰度图像的所有测试样本的判别值，找出最大判别值所对应的测试样本，将该测试样本的位置矩形框作为跟踪目标的位置矩形框；(6)提取灰度图像的所有训练样本的特征：(6a)将灰度图像的第一个训练样本的位置矩形框设定为跟踪目标的位置矩形框；(6b)对灰度图像的其余所有训练样本，分别采用等步长采样法，采集训练样本的位置矩形框；(6c)将灰度图像的所有训练样本的位置矩形框，复制到训练样本位置矩形框集合中；(6d)根据灰度图像的积分图和所有训练样本的位置矩形框，利用计算机图形处理器GPU，并行提取灰度图像的所有训练样本的哈尔特征；(6e)将灰度图像的所有训练样本的特征，复制到训练样本特征集合中；(7)初始化训练样本的权值和梯度：将灰度图像的训练样本的权值和梯度初始化为0；将灰度图像的训练样本的权值、梯度分别加入到训练样本权值集合、训练样本梯度集合；(8)获得和更新支持样本的权值、梯度：(8a)采用最小化梯度方法，从灰度图像的训练样本中选择两个训练样本，将选择的两个训练样本作为支持样本A、B；采用最大化梯度差方法，更新支持样本A、B的权值和梯度；当支持样本的总数超过100时，采用最小化影响度方法，更新所有支持样本的权值和梯度；(8b)采用最大最小化梯度方法，从灰度图像集合中选择一个灰度图像，从选择的灰度图像的训练样本中选择两个训练样本，将选择的两个训练样本作为支持样本A、B；采用最大化梯度差方法，更新支持样本A、B的权值和梯度；若支持样本的总数超过100，则采用最小化影响度方法，更新所有支持样本的权值和梯度；(8c)采用最大最小化梯度方法，从灰度图像集合中选择一个灰度图像，从选择的灰度图像的训练样本中选择两个训练样本，将选择的两个训练样本作为支持样本A、B；采用最大化梯度差方法，更新支持样本A、B的权值和梯度；将本步骤连续操作9次；(8d)循环执行步骤(8b)、步骤(8c)9次；(9)判断是否加载完待跟踪图像序列的所有帧图像，若是，则执行步骤(10)，否则，执行步骤(1)；(10)结束目标跟踪。2.根据权利要求1所述的使用GPU硬件加速的Struck目标跟踪方法，其特征在于，步骤(4a)所述全采样法的具体步骤如下：第1步，以跟踪目标的位置矩形框中心为圆心、30个像素宽度为半径构造一个圆；第2步，以圆内任意一点为中心、跟踪目标的位置矩形框的宽为宽、跟踪目标的位置矩形框的高为高构造一个矩形框，将该矩形框作为一个测试样本的位置矩形框。3.根据权利要求1所述的使用GPU硬件加速的Struck目标跟踪方法，其特征在于，步骤(5)所述的灰度图像的每个测试样本的判别值，按照下式计算：其中，f表示灰度图像的每个测试样本的判别值；n表示支持样本的总数；βi表示第i个支持样本的权值；exp(·)表示以自然常数e为底的指数函数操作；xi表示第i个支持样本的特征；z表示灰度图像的每个测试样本的特征；||·||2表示求向量的模的平方操作。4.根据权利要求1所述的使用GPU硬件加速的Struck目标跟踪方法，其特征在于，步骤(6b)所述等步长采样法的具体步骤如下：第1步，以跟踪目标的位置矩形框的中心为起点，向该中心点的周围均匀地发散8条线段，每条线段的长度为60个像素宽度；第2步，在任意一条线段上选取一点，该点到跟踪目标的位置矩形框中心之间的距离为m个像素宽度，m∈{12,24,36,48,60}；以所选取的点为中心、跟踪目标的位置矩形框的宽为宽、跟踪目标的位置矩形框的高为高构造一个矩形框，将该矩形框作为一个训练样本的位置矩形框。5.根据权利要求1所述的使用GPU硬件加速的Struck目标跟踪方法，其特征在于，步骤(8a)所述最小化梯度方法的具体步骤如下：第1步，按照下式，利用计算机图形处理器GPU，并行计算灰度图像的每个训练样本的梯度：其中，g表示灰度图像的每个训练样本的梯度；a表示灰度图像的每个训练样本的位置矩形框区域与灰度图像的第一个训练样本的位置矩形框区域相交区域的面积；b表示灰度图像的每个训练样本的位置矩形框区域与灰度图像的第一个训练样本的位置矩形框区域相并区域的面积；n表示支持样本的总数；βi表示第i个支持样本...

【专利技术属性】
技术研发人员：李云松，尹万春，宋长贺，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61