基于连续时空置信图和半监督极限学习机的目标追踪方法技术

本发明专利技术公开了一种基于连续时空置信图和半监督极限学习机的目标追踪方法，该方法考虑到视频图像帧在时间上是连续的，同时待追踪目标位置也不会发生突变，另外视频图像帧在空间上也是连续的，空间连续性体现在目标和目标周围背景存在某种特定关系，当目标的外观发生很大变化时，这种关系可以帮助区分待追踪目标和背景区域。本发明专利技术针对形变以及遮挡问题，充分考虑到真实目标所能提供的信息，充分挖掘有标签样本和无标签样本的分布相似性，提高追踪的精度，提出了一种挖掘有标签样本和无标签样本分布相似性的基于极限学习机的半监督追踪方法，将上述两种方法结合在一个耦合的追踪框架中，本发明专利技术实现了一种健壮性佳、高鲁棒性的追踪。

【技术实现步骤摘要】
基于连续时空置信图和半监督极限学习机的目标追踪方法
本专利技术涉及基于连续时空置信图和半监督极限学习机的目标追踪方法，属于智能信息处理和目标追踪

技术介绍
目标跟踪是绝大多数视觉系统中不可或缺的环节。在特定的场景应用中(如视频监控等领域)，自动化、快速、高鲁棒性的目标追踪受到关注。视频监控、交通检测，智能机器人，海底目标探测追踪等方面具有广阔的应用前景。目标追踪是计算机视觉领域中极其重要的一部分，视频中运动物体跟踪算法是通过分析待追踪视频图像序列中每一帧的视频图像的信息，在视频中进行数据挖掘，学习目标行为并进行大量的动作捕捉，对信息进行一系列的处理，得到并标记出所追踪到目标在视频图像中相应的位置。物体之间的遮挡形变、背景的复杂性，光照明暗变化，实时性和健壮性差等是追踪过程亟待解决的问题。经典的追踪方法如Meanshift、粒子滤波等依赖于视频中所含目标信息的丰富程度，在实际的视频图像序列中，目标所能提供的信息相当有限，导致不能稳定的追踪目标，如场景中有形变遮挡，这些经典算法更是无能为力。即现有技术中存在的主要问题：(1)待追踪视频场景中追踪的过程中实时性和健壮性差，目标时空位置信息匮乏，目标特征不明显问题；(2)当场景有遮挡物和待追踪目标发生形变的情况下，尤其是会出现整个目标被遮挡和待追踪目标发生巨大的形变的状况，会导致追踪的目标丢失的问题。
技术实现思路
本专利技术的目的是提供一种基于连续时空置信图和半监督极限学习机的目标追踪方法，以弥补现有技术的不足。本专利技术考虑到视频图像帧在时间上是连续的，时间的连续性体现在邻近帧间待追踪目标变化不会很大，同时待追踪目标位置也不会发生突变；与此同时视频图像帧在空间上也是连续的，空间连续性体现在目标和目标周围背景存在某种特定关系，当目标的外观发生很大变化时，这种关系可以帮助区分待追踪目标和背景区域，提出利用连续时空置信图学习的追踪方法克服实时性和健壮性差、目标时空位置信息匮乏和目标特征不明显等的问题。针对形变以及遮挡问题，充分考虑到真实目标所能提供的信息，充分挖掘有标签样本和无标签样本的分布相似性，提高追踪的精度，提出了一种挖掘有标签样本和无标签样本分布相似性的基于极限学习机的半监督追踪方法，将上述两种方法结合在一个耦合的追踪框架中，实现了一种健壮性佳、高鲁棒性的追踪。为达到上述目的，本专利技术采取的具体技术方案是通过以下步骤实现的：步骤一、在特定待追踪监控场景中采集n帧待追踪目标视频A＝{I1,…,Ii,…In}，其中Ii表示第i帧待追踪视频图像序列，利用图像滤波去噪、对比度增强预处理待追踪视频序列降低噪声且突出感兴趣待追踪区域；步骤二、在第t帧待追踪视频图像序列It中使用矩形窗口选取待追踪目标O，确定目标中心位置o*，O表示新目标在场景中的存在，o代表新目标位置，定义一个二维待追踪目标的置信图模型Ct(o)；将待追踪目标区域扩大两倍形成局部背景区域表示为在内提取坐标位置k处的强度位置特征w(k)，组成强度位置特征集I(k)表示坐标位置k处图像的亮度，表示坐标o*的邻域；建立第t帧待追踪目标的先验模型P(w(k)|O)，以此推算出t帧时空模型步骤三、在待追踪目标中心位置所在区域重叠采样，获得N1个区域块图像作为正样本和N2个区域块图像作为负样本，提取正负样本数据特征xj，记正样本的类别标签是1，负样本的类别标签是0，yj∈{1,0}；建立有标注样本集和无标注样本集Xu组成训练样本集X＝{Xs,Xu}＝{(xj,yj)},j＝1,...,N1+N2；步骤四、用步骤三得到的训练样本集X训练半监督极限学习机网络模型；步骤五、在It+1中，利用步骤二求得的第t帧时空模型进行模型更新，计算得到第t+1帧的时空模型利用求得的t+1帧时空模型卷积It+1得到新目标的时空置信图Ct+1(o)，最大化Ct+1(o)确定在t+1帧中目标位置o；步骤六、判断目标是否被遮挡，若目标未被遮挡，进入步骤五，反之，进入步骤七；步骤七、在It+1中，由It中已求得的o*为目标位置，在目标位置o*所在区域，以目标区域矩形窗口大小重叠采样，获得N个区域块图像作为候选目标，提取候选目标数据特征建立待追踪目标图像块测试样本集将测试样本集输入步骤四已训练完成的半监督极限学习机网络，得到t+1帧测试输出T，最大化在线半监督极限学习机最大分类响应位置，得到t+1帧中目标位置o；步骤八、对最大分类响应结果进行在线半监督极限学习机网络模型更新阈值判定，若在线半监督极限学习机模型不需要更新，进入步骤五，反之进入步骤九；步骤九、由步骤三得到的有标注数据集和步骤七得到的测试样本集作为无标注数据集Xu＝Xt+1，进行步骤四，重新训练半监督极限学习机网络模型；循环重复上述步骤，直至追踪完成整个视频序列。进一步的，所述步骤三：在待追踪目标中心位置o*所在区域，以目标区域矩形窗口大小重叠采样，第j个采样点到目标中心位置的欧式距离为当时，采样获得N1个区域块图像作为正样本，当时，采样获得N2个区域块图像作为负样本，r1、r2和r3分别是采样半径；提取正负样本数据特征xj，建立待追踪目标图像块训练样本集，共收集(N1+N2)个目标图像块作为训练样本集X＝{(xj,yj)},j＝1,...,N1+N2，记正样本的类别标签是1，负样本的类别标签是0，yj∈{1,0}；将训练样本集中的样本顺序打乱并重排，取排在最前面的一定比例的样本(通常比例较低)作为已标注样本集Xs，取剩余样本(通常比例较高)作为未标注样本集Xu，且X＝{Xs,Xu}。所述步骤四：采用随机方式设置输入权值和隐藏层偏置，若用(a,b)表示隐藏层结点获得的输入权重a和阈值b，训练样本为有标注数据集无标注数据集其中Xs和Xu表示输入样本，Ys是与Xs对应的输出样本；隐藏层的映射函数为G(x)，映射函数形式可以表示为G(x)＝1/(1+e-x)，输出权重用β表示，h(xi)＝[G(a1,b1,xi),…,G(aL,bL,xi)]s×m表示第i个隐含层输出矩阵，隐藏层的节点数为m，ei表示第i个输入节点的学习误差(残差)半监督极限学习机的目标函数为：fi＝h(xi)β,i＝1,...,s+u其中ci表示惩罚参数，λ表示权衡参数，L是由标签数据和无标签数据得到的图拉普拉斯运算结果，F是网络的输出矩阵，Tr是迹运算；用矩阵形式表示半监督极限学习机目标函数为：其中是前s行等于Ys，后u行等于零的输出标签样，C是前s个对角线元素为Ci剩余为零的对角阵；对上式对β求偏导得到：令偏导为零，求解得到输出权重β为：当有标签数据大于隐藏层结点数时当有标签数据小于隐藏层结点数时其中，HT为矩阵H的转置矩阵。步骤六所述的判断目标是否被遮挡的方法为对置信图的结果进行遮挡阈值th1判定，若时，表明目标出现遮挡，th1表示遮挡的临界值，会根据场景的不同而变化，本算法应用于不同场景时，人为地调整th1值，正常情况下会在某个范围波动，当目标被遮挡时，会迅速下降，将迅速下降之后的值定义为th1值，以此判断目标是否被遮挡。步骤八所述的判断在线半监督极限学习机网络模型是否需更新的方法为对最大分类响应结果Tmax进行更新阈值th2判定，若Tmax>th2时，表明在线半监督极限学习机网络模型不需更新，以更本文档来自技高网...

【技术保护点】
一种基于连续时空置信图和半监督极限学习机的目标追踪方法，其特征在于，包括以下步骤：步骤一、在特定待追踪监控场景中采集n帧待追踪目标视频A＝{I

【技术特征摘要】
1.一种基于连续时空置信图和半监督极限学习机的目标追踪方法，其特征在于，包括以下步骤：步骤一、在特定待追踪监控场景中采集n帧待追踪目标视频A＝{I1,…,Ii,…In}，其中Ii表示第i帧待追踪视频图像序列，利用图像滤波去噪、对比度增强预处理待追踪视频序列降低噪声且突出感兴趣待追踪区域；步骤二、在第t帧待追踪视频图像序列It中使用矩形窗口选取待追踪目标O，确定目标中心位置o*，O表示新目标在场景中的存在，o代表新目标位置，定义一个二维待追踪目标O的置信图模型Ct(o)；将待追踪目标区域扩大两倍形成局部背景区域表示为在内提取坐标位置k处的强度位置特征w(k)，组成强度位置特征集I(k)表示坐标位置k处图像的亮度，表示坐标o*的邻域。建立第t帧待追踪目标的先验模型P(w(k)|O)，以此推算出t帧时空模型步骤三、在待追踪目标中心位置所在区域重叠采样，获得N1个区域块图像作为正样本和N2个区域块图像作为负样本，提取正负样本数据特征xj，记正样本的类别标签是1，负样本的类别标签是0，yj∈{1,0}；建立有标注样本集和无标注样本集Xu组成训练样本集X＝{Xs,Xu}＝{(xj,yj)},j＝1,...,N1+N2；步骤四、用步骤三得到的训练样本集X训练半监督极限学习机网络模型；步骤五、在It+1中，利用步骤二求得的第t帧时空模型进行模型更新，计算得到第t+1帧的时空模型利用求得的t+1帧时空模型卷积It+1得到新目标的时空置信图Ct+1(o)，最大化Ct+1(o)确定在t+1帧中目标位置o；步骤六、判断目标是否被遮挡，若目标未被遮挡，进入步骤五，反之，进入步骤七；步骤七、在It+1中，由It中已求得的o*为目标位置，在目标位置o*所在区域，以目标区域矩形窗口大小重叠采样，获得N个区域块图像作为候选目标，提取候选目标数据特征建立待追踪目标图像块测试样本集将测试样本集输入步骤四已训练完成的半监督极限学习机网络，得到t+1帧测试输出T，最大化半监督极限学习机最大分类响应位置，得到t+1帧中目标位置o；步骤八、对最大分类响应结果进行半监督极限学习机网络模型更新阈值判定，若半监督极限学习机模型不需要更新，进入步骤五，反之进入步骤九；步骤九、由步骤三得到的有标注数据集和步骤七得到的测试样本集作为无标注数据集Xu＝Xt+1，进行步骤四，重新训练半监督极限学习机网络模型；循环重复上述步骤，直至追踪完成整个视频序列。2.如权利要求1所述的目标追踪方法，其特征在于，所述步骤三具体为：在待追踪目标中心位置o*所在区域，以...

【专利技术属性】
技术研发人员：年睿，邱书琦，常瑞杰，肖玫，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：山东,37