一种基于颜色聚类和时空正则回归的视频跟踪方法技术

本发明专利技术公开了一种基于颜色聚类和时空正则回归的视频跟踪方法，属于视频跟踪方法领域。本发明专利技术包括以下具体步骤：对目标区域颜色聚类；统计出直方图；计算颜色聚类响应；学习时空融合正则化的相关滤波模型；计算时空正则相关滤波响应；融合颜色聚类响应和时空正则响应；更新分类器参数。本发明专利技术通过对初始颜色的聚类，有效地缓解了噪声的影响；并且通过时空正则化，充分利用了不同帧之间的时间和空间信息，提升了目标跟踪技术在各类场景中的精度。

【技术实现步骤摘要】
一种基于颜色聚类和时空正则回归的视频跟踪方法
本专利技术涉及一种基于颜色聚类和时空正则回归的视频跟踪方法，属于视频跟踪方法领域。
技术介绍
视觉目标跟踪是指从摄像机记录的视频序列中连续地推断特定目标运动状态轨迹的技术，是计算机视觉研究中非常重要的一个研究课题,可用于自动监控、机器人导航、人机接口等很多应用领域。目标跟踪不仅推动了图像处理、模式识别、机器学习和人工智能等领域的理论研究，也成为很多实用的计算机视觉系统必不可少的一个环节。尽管目标跟踪对于人类视觉系统而言是一个非常简单的任务，但对于计算机视觉而言，现有的目标跟踪算法性能还远没有达到人类视觉系统的智能。主要困难在于自然场景中的目标跟踪不仅要解决如何将目标与周围相似的背景区分开来，还要解决跟踪过程中目标由于姿态、光照和遮挡等因素导致的外观变化,需要有效地处理快速运动、遮挡，光照影响，背景杂波等多方面的问题。相当多的基于相关滤波的视频目标跟踪算法方法已经被设计出来了，用于进行快速的视频单目标跟踪，其中具有代表性的是基于颜色补充学习的实时目标跟踪算法。但是，基于补充学习的实时目标跟踪算法仅仅利用了固定的颜色量化方法来统计直方图，而并没有有效利用颜色本身的分布情况，另外，它也没有充分利用帧与帧之间的时间与空间信息，使得目标遇到光照剧烈变化或者背景混乱等干扰时，难以有效区分出背景与前景，造成学到的分类器效果不佳，容易导致跟踪失败。
技术实现思路
为了解决上述问题，本专利技术提出了一种基于颜色聚类和时空正则回归的视频跟踪方法，一方面加入了对颜色的聚类，并以此统计出聚类过后的颜色直方图，训练出一个更加稳定的颜色分类器；另一方面，充分利用帧与帧之间的时空信息训练出一个更可靠的相关滤波分类器，最后将颜色聚类分类器和时空正则相关滤波分类器得到的响应融合在一起，使得跟踪算法在处理问题时变得更稳健更准确。本专利技术为解决其技术问题采用如下技术方案：一种基于颜色聚类和时空正则回归的视频跟踪方法，包括以下步骤：(1)步骤一：输入上一帧结果及分类器参数；(2)步骤二：对目标区域颜色聚类；(3)步骤三：根据聚类中心统计出直方图，计算颜色响应；(4)步骤四：学习时空融合正则化的相关滤波模型；(5)步骤五：计算出时空正则相关滤波响应；(6)步骤六：颜色聚类响应和时空正则响应融合；(7)步骤七：更新分类器参数并输出当前帧结果及分类器参数。步骤一中所述上一帧结果及分类器参数是之前t-1帧时更新的参数。步骤三中所述直方图，是根据步骤二的颜色聚类得到的直方图。步骤四中所述时空融合正则化的相关滤波模型，是充分利用了帧与帧之间的时空信息得到的。步骤六中所述颜色聚类响应和时空正则响应线性融合，融合后的响应最大值即是跟踪结果。本专利技术的有益效果如下：本专利技术提出的一种基于颜色聚类和时空正则回归的视频跟踪方法，有效地利用了颜色分布的信息和帧与帧之间的时空信息，在目标发生遮挡、旋转、尺度变化、快速运动、光照变化等各种复杂情况下，依然可以准确地跟踪目标，显著地提高了跟踪算法的精度和可靠性。附图说明图1为本专利技术的流程图。图2为本专利技术与其它主流跟踪算法的成功率对比图。图3为本专利技术与其它主流跟踪算法的精度对比图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面结合附图和具体实施方式，进一步阐明本专利技术。本专利技术提供的基于颜色聚类补充学习的视频跟踪方法，如图1所示，具体包括以下操作步骤：(1)步骤一：输入上一帧结果及分类器参数，这些参数是前一帧的输出结果，可直接获得。(2)步骤二：对目标区域进行颜色聚类，即在上一帧结果周围获取待处理的样本图片，然后对图片的原始颜色进行k均值聚类，得到若干个聚类中心。根据聚类中心统计出直方图，其中聚类中心通过下式获得：其中所述u是每个像素的RGB颜色值，ci是求得的第i个聚类中心。(3)步骤三：计算颜色响应rcc(u)，计算公式为：rcc(u)＝βtTψ[u]，其中βt是学到的颜色分类器系数，ψ[u]是得到的聚过类的颜色直方图特征，T为转置操作。(4)步骤四：学习时空融合正则化的相关滤波模型，目标函数如下：y表示高斯型的标签，表示第t帧的第d层图片特征，w表示空间正则化矩阵，λ为正则项参数，D为特征或滤波器的层数，fd为第d层滤波器，为(t-1)帧时的第d层滤波器，当前帧的待处理图像，人为给相关滤波器加上的高斯型惩罚，而表示需要求的时空正则相关滤波器；为了简便，我们引入原式重写为因为每层计算独立，为了简便，丢掉层数d，其中：xt为t帧时的图像，g为需要学的滤波器，为了简便表示，把w·g记作gw，根据表示定理，写成频域的形式，其中：为需要学的滤波器g的频域值，为t帧时的图像的频域值，为理想标签的频域值，H为共轭转置，为了求解上面的凸优化问题，我们利用交替迭代的方法，并引入辅助变量h-w·g＝0，得增广拉格朗日形式：其中：为增广拉格朗日函数，为拉格朗日乘子s的频域值，为辅助变量h的频域值，为w·g的简写表示两个向量w和g的点乘，μ为学习率，这里的分别是DFT(离散傅立叶变换)，共轭，共轭转置操作。向量化得：其中F表示D×D的正交傅立叶系数矩阵，即并且M＝diag(m)，m为普通的一个向量，为了简便，我们分别记作四个子项：总式简写成：子问题可分解为：其中：为第(i+1)次迭代的gi为第i次迭代的g，gi+1为第i+1次迭代的g，为第i次迭代的为第i+1次迭代的子问题令复梯度等于零，即简写成：其中：为共轭之后的而表示辅助变量h的频域值，注意：代入原式得：解得：等价于其中：为理想标签的共轭频域值，为第t帧图片特征Xt的共轭频域值，即其中μi+1＝βμi，μi+1为第i+1次迭代的μ，β为μ的学习率，μi为第i次迭代的μ，为第i次迭代的的频域值，子问题gi+1：令复梯度等于零，即其中：为变量g的共轭值，为Mg的共轭值，为M的共轭值，因为m是实值，故简写：代入得：整理得：写一起：因为逆变换的定义式：又因为m中是零的值在g中也一定是零，故即：其中：为第(i+1)次迭代的辅助变量的频域值，其中μi+1＝βμi，这样就能学到滤波器f＝g+ft-1，其中：f为学到的滤波器，ft-1为(t-1)帧时的滤波器。(5)步骤五：计算出时空正则相关滤波响应，相关滤波响应通过训练出的分类器得到，其计算公式为：F-1是傅立叶逆变换，为学到的滤波器f的频域值。(6)步骤六：颜色聚类响应和时空正则响应融合，即颜色响应和相关滤波响应进行线性相加，其计算公式为：r＝ηrcc+(1-η)rcf，其中rcf是相关滤波响应，而rcc是颜色响应。(7)步骤七：更新颜色分类器和相关滤波分类器参数，输出当前帧的跟踪结果，并输出颜色分类器和相关滤波分类器参数，用于下一帧的跟踪。本专利技术效果评价：本专利技术采用两种评价准则评估跟踪器的性能：成功率图(Successplots)和精度图(Precisionplots)。在成功率图中，横坐标表示重叠阈值(Overlapthreshold)，纵坐标表示成功率(Successrate)，重叠率是通过计算跟踪结果目标框与真实结果目标框的重叠率获得的。当重叠率大于阈值时，跟踪结果视为准确。在本专利技术中，曲线下面积AUC(Areaundercurve)用于评估不同的跟踪器，AUC越大的跟踪器性能越好。类似地，本文档来自技高网...

【技术保护点】
1.一种基于颜色聚类和时空正则回归的视频跟踪方法，其特征在于：包括以下步骤：（1）步骤一：输入上一帧结果及分类器参数；（2）步骤二：对目标区域颜色聚类；（3）步骤三：根据聚类中心统计出直方图，计算颜色响应；（4）步骤四：学习时空融合正则化的相关滤波模型；（5）步骤五：计算出时空正则相关滤波响应；（6）步骤六：颜色聚类响应和时空正则响应融合；（7）步骤七：更新分类器参数并输出当前帧结果及分类器参数。

【技术特征摘要】
1.一种基于颜色聚类和时空正则回归的视频跟踪方法，其特征在于：包括以下步骤：（1）步骤一：输入上一帧结果及分类器参数；（2）步骤二：对目标区域颜色聚类；（3）步骤三：根据聚类中心统计出直方图，计算颜色响应；（4）步骤四：学习时空融合正则化的相关滤波模型；（5）步骤五：计算出时空正则相关滤波响应；（6）步骤六：颜色聚类响应和时空正则响应融合；（7）步骤七：更新分类器参数并输出当前帧结果及分类器参数。2.根据权利要求1所述的一种基于颜色聚类和时空正则回归的视频跟踪方法，其特征在于：步骤一中所述上一帧结果...

【专利技术属性】
技术研发人员：宋慧慧，樊佳庆，张开华，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏,32