一种基于超像素时空显著性分割的视觉跟踪方法技术

本发明专利技术实施例公开了一种基于超像素时空显著性分割的视觉跟踪方法，所述方法包括以下步骤：结合超像素在空域的颜色直方图和在时域的稀疏光流，对目标外观进行建模，该模型表示目标的颜色、尺度和运动特征；将基于图模型的显著性检测算法应用到基于超像素的目标追踪上；基于迭代阈值分割算法完成前景超像素和背景超像素的分离，通过对相关系数矩阵进行聚类，精准切割目标；使用切割样本去训练SVM分类器，将训练好的分类器用于后续帧的目标前景识别中。实施本发明专利技术实施例，使用超像素可以大大减少复杂图像处理的计算时间，并且与高级和低级特征相比更具有灵活性。

A Visual Tracking Method Based on Spatiotemporal Significance Segmentation of Superpixels

【技术实现步骤摘要】
一种基于超像素时空显著性分割的视觉跟踪方法
本专利技术涉及计算机视觉处理
，尤其涉及一种基于超像素时空显著性分割的视觉跟踪方法。
技术介绍
在追踪过程中，目标将会发生各种复杂的变形，例如行为变化、角度变化、尺度变化和遮挡。为了构建一个有效的目标外观模型，基于切割的追踪算法使用像素级的颜色和纹理特征或者是利用外部切割算法构建目标外观。虽然像素级特征在跟踪过程中能够保持更多的一致性，但是仅仅对目标的语义结构进行建模是不够的。近年来，跟踪检测方法利用目标纹理特征或其他高级特征，建立分类器来区分目标和背景。但是，这些算法通常依赖于包围框来表示目标，这样做经常会容易损失目标的细节和产生目标漂移问题。为了决解上述问题，有人提出许多基于部件的追踪算法，这些追踪器假设目标的各组成部分间有很强的结构，并通过最小化模型转换的误差来定位目标，但是在目标发生大的姿态变化、平面外运动和非刚性变形的情况下，这些算法通常是无效的。近年来，超像素已被用于表示区域级感兴趣对象的基础性应用上，如对象分割、对象识别、人体姿态估计和显著性检测。在超级像素中，具有相似的颜色、纹理或梯度的像素作为一个整体，这是构成目标的视觉特征的局部结构。但采用非超像素导致图像处理比较复杂，计算时间长，导致灵活性差，如何使用超像素来实现相应的图像处理，从而达到相应的解决方法，现有技术也未给出明确的解决方案。
技术实现思路
本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种基于超像素时空显著性分割的视觉跟踪方法，使用超像素可以大大减少复杂图像处理的计算时间，并且与高级和低级特征相比更具有灵活性。本专利技术提供了一种基于超像素时空显著性分割的视觉跟踪方法，所述方法包括以下步骤：结合超像素在空域的颜色直方图和在时域的稀疏光流，对目标外观进行建模，该模型表示目标的颜色、尺度和运动特征；将基于图模型的显著性检测算法应用到基于超像素的目标追踪上；基于迭代阈值分割算法完成前景和背景超像素的分离，通过对相关系数矩阵进行聚类，精准切割目标；使用切割样本去训练SVM分类器，将训练好的分类器用于后续帧的目标前景识别中。所述结合超像素在空域的颜色直方图和在时域的稀疏光流，对目标外观进行建模，该模型表示目标的颜色、尺度和运动特征包括：通过SLIC算法计算超像素，用一串超像素S＝(s1,...,sn)来描述目标，n代表超像素的个数，其中：每一个超像素由一组参数集表式Si＝(xi,yi,fi,θi,δi,li)，其中，xi和yi是Si的笛卡尔坐标，fi表示Si的特征描述符，θi表明Si是否位于图像边界，δi表示Si是前景还是背景超像素，li是Si的一个标签；追踪目标的每一个超像素的特征描述符fi表式为fi＝{L,a,b,ps,pv,score}，fi是由两部分组成：Lab颜色直方图和稀疏光流特征，其中：Lab颜色模型可以表示人类所能看到的所有颜色，在特征描述符fi的表达式中，L表示光线亮度，a代表红色和绿色之间的差值，b表示蓝色和黄色之间的差值；ps是坐标点(x,y)的一个N×2坐标阵列，其对应于超像素中像素的新位置；pv是一个N×1的逻辑矩阵，这个矩阵表示每一个像素点是否达到可靠跟踪；score表示M×1矩阵，表示每个像素的先前位置周围的邻域与新位置之间的相似程度，其中N是超像素的个数。所述结合超像素在空域的颜色直方图和在时域的稀疏光流，对目标外观进行建模，该模型表示目标的颜色、尺度和运动特征还包括：对某一帧t的每一个超像素使用光流KLT算法查找每一个像素的运动，这个运动具有两帧间像素强度差平方和的最小位移。所述将基于图模型的显著性检测算法应用到基于超像素的目标追踪上包括：在基于图模型的显著性检测算法中，将超像素看作图节点，将相邻超像素间的距离看作图边界的权重；依据基于图像的流形排序算法来计算单帧中每个超像素的显著性。所述基于迭代阈值分割算法完成前景和背景超像素的分离，通过对相关系数矩阵进行聚类，精准切割目标包括：采用迭代分离方法，通过聚类超像素之间的相关性来分离前景和背景，这里设定一个求相关系数的一般公式，如下所示：其中Cov(ak,bk)表示向量ak和bk之间的相关系数，Cov∈(0，1)；使用相似性准则来定义聚类方法，通过目标前景F＝{pi}d×M的特征集和当前帧P＝{pi}d×N的特征集计算出相关矩阵Cov＝[cij]M×N，其中d是特征的维数；矩阵的最大值和最小值分别为Cmax和Cmin，阈值α和β表示独立设置阈值，并定义为：其中，其中α和β是控制前景和背景分离的阈值，η是实验参数，值设置为25；得到矩阵Cov的每一列的最大值，该最大值由向量组成，如果Cm(i)>α，则矩阵Cov的i列与前景的相关性很高，所对应的P(i)是前景；若Cm(i)≤β，则矩阵Cov的i列与前景的相关性很低，所对应的P(i)是背景；对于未分出类别的超像素，计算超像素和集合F之间的相似度，得到相关矩阵Cov，然后根据公式(7)得到新的阈值α和β，迭代上述阈值比较的过程，直到所有超像素都被分类完成或达到一定数目的迭代次数后，才结束处理过程，这里最大迭代次数设置为25。所述使用切割样本去训练SVM分类器，将训练好的分类器用于后续帧的目标前景识别中包括：当到达一个新帧时，在先前目标定位位置周围设置出一个搜索区域，并计算出光流，对超像素进行切割和完成显著性检测；使用SVM分类器对搜索范围的超像素进行分类，通过结合应用于前景和背景分割的迭代分割算法，计算出每一个超像素的置信图；在计算出的先前目标定位位置上，使用多尺度包围框围绕目标定位位置，基于多尺度滑动窗口的大小比值反映出先前帧得到的跟踪结果之间的比例值。超像素i的置信值得计算公式如下所示：conf(i)＝(cl(i)∪w(i))·S(i)(9)其中，Cl(i)和w(i)分别表示分类结果和迭代切割的结果，S(i)是超像素i的显著性值。所述在计算出的目标位置上，使用多尺度包围框围绕目标位置，基于多尺度滑动窗口的大小比值反映出先前帧得到的跟踪结果之间的比例值包括：在第t帧的搜索框中，计算每个框中超像素的置信度的和，将具有最大置信度和的边框作为最佳跟踪结果，公式如下所示：其中，k表示第k个搜索框，表示第K个搜索框的前景超像素个数，ρk是尺度系数，用来度量包围框与前一帧跟踪结果之间的相似度的大小。在本专利技术实施例中，使用超像素可以大大减少复杂图像处理的计算时间，并且与高级和低级特征相比更具有灵活性。本专利技术实施例所提供的超像素视觉跟踪方法，给出了一种基于前景和背景时空显著性分割的有效解决方案。通过结合颜色直方特征和稀疏光流对目标外观进行建模，这两个特征都是从超像素块中提取的时空特征向量。由于目标框内除了跟踪目标外还包含有少量的背景信息，为了更加精确地表示目标，通过图模型和流形排序来检测超像素显著性，并计算超像素与初始目标外观的颜色相关度获得超像素的重要性。通过引入了一种迭代切割算法，这个算法设定目标前景与背景的超像素是没有交叉的，并通过对超像素之间的相关系数矩阵进行聚类，自动分割出前景区域，从而准确地分割出目标成分。整体来说，通过结合超像素在空域的颜色直方图和在时域的稀疏光流，进而对目标外观进行建模，这个模型可以表示目标的颜色、尺度和运动特征。将基于图模型的显本文档来自技高网...

【技术保护点】
1.一种基于超像素时空显著性分割的视觉跟踪方法，其特征在于，所述方法包括以下步骤：结合超像素在空域的颜色直方图和在时域的稀疏光流，对目标外观进行建模，该模型表示目标的颜色、尺度和运动特征；将基于图模型的显著性检测算法应用到基于超像素的目标追踪上；基于迭代阈值分割算法完成前景超像素和背景超像素的分离，通过对相关系数矩阵进行聚类，精准切割目标；使用切割样本去训练SVM分类器，将训练好的分类器用于后续帧的目标前景识别中。

【技术特征摘要】
1.一种基于超像素时空显著性分割的视觉跟踪方法，其特征在于，所述方法包括以下步骤：结合超像素在空域的颜色直方图和在时域的稀疏光流，对目标外观进行建模，该模型表示目标的颜色、尺度和运动特征；将基于图模型的显著性检测算法应用到基于超像素的目标追踪上；基于迭代阈值分割算法完成前景超像素和背景超像素的分离，通过对相关系数矩阵进行聚类，精准切割目标；使用切割样本去训练SVM分类器，将训练好的分类器用于后续帧的目标前景识别中。2.如权利要求1所述的基于超像素时空显著性分割的视觉跟踪方法，其特征在于，所述结合超像素在空域的颜色直方图和在时域的稀疏光流，对目标外观进行建模，该模型表示目标的颜色、尺度和运动特征包括：通过SLIC算法计算超像素，用一串超像素S＝(s1，...，sn)来描述目标，n代表超像素的个数，其中：每一个超像素由一组参数集表式Si＝(xi，yi，fi，θi，δi，li)，其中，xi和yi是Si的笛卡尔坐标，fi表示Si的特征描述符，θi表明Si是否位于图像边界，δi表示Si是前景还是背景超像素，li是Si的一个标签；追踪目标的每一个超像素的特征描述符fi表式为fi＝{L，a，b，ps，pv，score}，fi是由两部分组成：Lab颜色直方图和稀疏光流特征，其中：Lab颜色模型可以表示人类所能看到的所有颜色，在特征描述符fi的表达式中，L表示光线亮度，a代表红色和绿色之间的差值，b表示蓝色和黄色之间的差值；ps是坐标点(x，y)的一个N×2坐标阵列，其对应于超像素中像素的中心位置；pv是一个N×1的逻辑矩阵，这个矩阵表示每一个像素点是否达到可靠跟踪；score表示M×1矩阵，表示每个像素的先前位置周围的邻域与新位置之间的相似程度，其中N是超像素的个数。3.如权利要求2所述的基于超像素时空显著性分割的视觉跟踪方法，其特征在于，所述结合超像素在空域的颜色直方图和在时域的稀疏光流，对目标外观进行建模，该模型表示目标的颜色、尺度和运动特征，还包括：对某一帧t的每一个超像素使用光流KLT算法查找每一个像素的运动，这个运动具有两帧间像素强度差平方和的最小位移。4.如权利要求3所述的基于超像素时空显著性分割的视觉跟踪方法，其特征在于，所述将基于图模型的显著性检测算法应用到基于超像素的目标追踪上包括：在基于图模型的显著性检测算法中，将超像素看作图节点，将相邻超像素间的距离看作图边界的权重；依据基于图像的流形排序算法来计算单帧中每个超像素的显著性。5.如权利要求4所述的基于超像素时空显著性分割的视觉跟踪方法，其特征在于，所述基于迭代阈值分割算法完成前景超像素和背景超像素的分离，通过对相关...

【专利技术属性】
技术研发人员：詹瑾，黄智慧，赵慧民，林正春，
申请(专利权)人：广东技术师范大学，
类型：发明
国别省市：广东,44