一种基于超像素的复杂场景下的目标跟踪方法技术

本发明专利技术公开了一种基于超像素的复杂场景下的目标跟踪方法，包括以下步骤：（1）初始化参数，取视频流中的前帧图像作为训练集，取3-6；（2）找到上一帧的目标区域，重复上述步骤，采用超像素进行分割，提取超像素特征；（3）计算超像素的置信图；（4）通过上一帧得到的置信图，取个区域作为目标的候选区域；（5）基于贝叶斯理论，可以得到当前帧目标所在区域的概率；（6）更新训练集和外观模型；本发明专利技术更适用于复杂场景下精度要求较高的目标跟踪，不仅可以抵御多种复杂环境，如光照变化、目标姿态变化、尺度变化、目标遮挡等，而且当视频序列中有模糊帧时，仍然能精确跟踪。

【技术实现步骤摘要】
一种基于超像素的复杂场景下的目标跟踪方法
本专利技术涉及一种基于超像素的复杂场景下的目标跟踪方法。
技术介绍
视频中的目标跟踪技术属于视频图像处理的关键技术。它涉及到计算机视觉、模式识别以及人工智能等领域，具有重要的理论意义。现实生活中的场景大多数会发生变化，而现有很多目标跟踪算法无法满足现实复杂场景中的目标跟踪。基于复杂场景的目标跟踪，需要综合考虑视频序列中，所要跟踪的目标周围环境以及付目标本身的一系列复杂变化，包括目标挡、目标丢失、光照变化、目标快速运动、目标姿态变化、目标尺度变化等一系列复杂因素。跟踪失效是复杂场景中目标跟踪面临的主要问题。例如，基于纹理特征的跟踪，如LBP、Haar特征等，可以区分背景和目标，但是却对目标丢失和快速移动时的处理能力有限，而基于颜色特征的跟踪虽然可以使用局部直方图解决部分问题，但是却对尺度变化和姿态变化有较低的抵抗力。使用基于纹理特征与颜色特征相融合的方式可以在一定程度上缓解单独使用时的缺陷，但是，在复杂场景下，这两种特征并不能完全区分背景和目标，导致了在目标运动速度较快或模糊情况下，依然无法精确跟踪。超像素是一种新的像素表示方法。它将图像中那些相近相似的像素点聚集起来，分别用一个集合来表示。超像素对图像的边界有较高的附着率，在图像分割中有较广泛的应用。由上海大学的寇超、白琮、陈泉林、王华红、王少波专利技术的《复杂场景中单个人脸的实时跟踪方法》2008年9月24日向中国国家知识产权局申请专利并获得批准，于2009年3月4日公开，公开号为：CN101377813。该技术方案涉及人机交互界面以及视频监控领域，特别是对复杂场景中单个人脸的实时追踪。该方案以人脸检测的二值化结果表征图像中像素类肤色的概率，并以此为特征对人脸进行跟踪，可以在具有较低计算量的同时对复杂场景中人脸的旋转、倾斜等成功实现跟踪，当失败后也能自动重新进行，且对诸如手部类区域的干扰不明显。该专利在使用均值偏移方法进行人脸跟踪时，考虑到了其对于肤色不敏感的缺陷，首先通过人脸检测检测到人脸，然后消除人脸的类肤色特征，保证高效率的同时又可以对颜色相似的背景免疫。但是，该算法过于依赖人脸检测的结果，若检测的结果并不理想，则整个算法也基本失效；其次，复杂场景下，可能包括光照、尺度、目标动作的变化等，该方法只考虑到了目标动作的变化，并未涉及到其他因素；此外，该算法使用均值偏移作为跟踪算法，并未解决均值偏移在目标运动速度过快时跟踪失败的情况，难以应用于复杂场景的跟踪。由湖南大学的王耀南、万琴、王磊专利技术的《一种复杂场景中的运动目标检测与跟踪方法》2007年8月28日向中国国家知识产权局申请专利并获得批准，于2008年3月12日公开，公开号为：CN101141633。该专利技术采用“匹配矩阵”的方法来确定目标的运动状态，并根据目标不同运动情况采取相应跟踪策略，同时可以针对多目标互相遮挡问题，通过概率推理方法“恢复”目标信息，在多目标跟踪下游较好的效果。但是，若按单个目标来处理的话，该专利技术并没有过多的考虑除遮挡意外的情况，如光照、尺度变化等。在视频中进行目标跟踪时，图像特征的选择一般有两种：1)纹理特征；2)颜色特征。基于纹理特征的跟踪可以区分目标和背景，但是对于严重的遮挡和边缘混乱的处理能力有限。基于颜色特征的跟踪可以使用局部直方图来解决部分遮挡问题，却无法解决尺度变化、形状变化很大或目标与背景相近的情况。因此，复杂场景中的目标跟踪最好融合两种特征。JifengNing、LeiZhang等人在《RobustObjectTrackingUsingJointColor-TextureHistogram》中提出，在由局部直方图标记出目标后，在目标中使用局部二值模式技术来再次提取特征。与常规方法不同的是，该方法在目标区域的边缘处提取特征，可以更好的表示目标，将两种特征融合后采用均值偏移的方法进行跟踪，具有很强的鲁棒性。该方法采用颜色特征与纹理特征相融合的方式对目标进行跟踪，很大程度上解决了目标与背景相似情况下的跟踪问题。但是，由于局部二值模式不能完全将目标与背景分开，在目标运动速度较快，或目标模糊的情况下，容易发生跟丢现象。同时，标准的局部二值模式很难处理光照变化情况。
技术实现思路
鉴于上述不足之处，本方案专利技术目的在于：提出一种基于超像素的复杂场景下的目标跟踪方法。在目标跟踪时，由于超像素作为图像分割的常用方法，使得每一块超像素都可以很好的附着在对象上(即将图像按边界分割出很多块)，同时又保留了颜色特征，克服了上述纹理特征与颜色特征融合时的缺陷，使纹理特征和颜色特征更好的融合在一起为了达到上述目的，本专利技术采用了以下技术方案：步骤1：初始化参数，取视频流中的前m帧图像作为训练集，m可取3-6：步骤1.1：选择目标所在区域，对该区域进行超像素分割：步骤1.1.1：在目标区域中随机选择k个点作为超像素的中心点，也叫超像素的聚类中心CK：CK＝[lk,ak,bk,xk,yk]T在每个大小规则的方框S中取样像素，lk、ak、bk是CIELAB颜色空间中的参数,此颜色空间最为接近人类的视觉，它的lk分量即亮度。可以修改ak(红绿值)和bk(蓝黄值)分量的输出色阶来做精确的颜色平衡，与RGB空间相比在精确度更高。xk、yk表示点的坐标。S可以取其中N为超像素的个数。k的值可以由用户根据跟踪的效果自行选择，一般为300-500之间。步骤1.1.2：将CK移动到3×3的相邻像素中梯度值最低的位置，以防选择的聚类中心点落在图像的边缘，影响聚类效果；步骤1.1.3：对图像中的每一个像素设置标记label(i)为-1，与相近的聚类中心的欧式距离d(i)为无穷大，为了提高运算效率，节省时间，对于围绕在每一个聚类中心CK的2S×2S区域内的像素i，重复1.1.4-1.1.5步骤：步骤1.1.4：计算像素i与聚类中心CK的欧式距离D；步骤1.1.5：若D＜d(i)置d(i)为D，label(i)为k；表示每一个像素对自身周围的聚类中心求欧式距离，取欧式距离最小的那个聚类中心为自己的类别；步骤1.1.6：重复1.1.2，选择新的聚类中心并计算残留误差E，残留误差表示为同一个超像素的聚类中心，经过两次迭代后的欧氏距离，E小于一定的阈值，即提取完全部超像素。取所有超像素残留误差的最大值，这个最大值小于一定阈值即可停止。步骤1.2：提取超像素特征作为训练集：步骤1.2.1：每一个超像素可以表示为：sp(t,r)表示在t帧时第r个超像素，可用ftr表示。步骤1.2.2：取m张图片构成训练集，m一般可取3-5。用一个特征向量F＝{ftr|t＝1,...,m,r＝1,...,Nt}，来表示一个这个训练集所有的超像素；在特征空间中，设每个超像素的聚类中心为fc(i)，半径为rc(i)，则有{ftr|ftr∈C(k)}。步骤1.2.3：假设训练集中的每一个聚类中心对应一个图像区域S(i)，可以设S+(i)为第i个超像素在目标区域内的大小，S-(i)为第i个超像素在目标区域外的大小，此大小即为像素的数量。若S+(i)/S-(i)的值越大，则说明该超像素属于目标的可能性就越大。计算通过以下公式即可得到一个超像素的聚类中心处于背景或目标的可能性大小：由聚类中心fc(i)、半径rc(本文档来自技高网...

【技术保护点】
一种基于超像素的复杂场景下的目标跟踪方法，包括以下步骤：步骤1：初始化参数，取视频流中的前m帧图像作为训练集，m取3‑6；步骤1.1：选择目标所在区域，对该区域进行超像素分割；步骤1.2：提取超像素特征作为训练集；步骤2：由贝叶斯理论可得知，由于两帧图像之间相互独立，设Xt为t时刻的状态，Y1:t为从第一帧到最后一帧的状态，有p(Xt|Y1:t)＝αp(Yt|Xt)∫p(Xt|Xt‑1)p(Xt‑t|Y1:t‑1)dXt‑1令其中表示t时刻目标的位置，表示t时刻目标的尺度，根据贝叶斯跟踪公式可知，关键是要得到观察模型和动作模型，从m+1帧开始直到最后一帧做如下步骤：步骤2.1：找到上一帧的目标区域，重复上述步骤，采用超像素进行分割，提取超像素特征；步骤2.2：计算超像素的置信图；步骤2.3：通过上一帧得到的置信图，取N个区域作为目标的候选区域；步骤2.4：基于贝叶斯理论，可以得到当前帧目标所在区域的概率；步骤2.5：更新训练集和外观模型；步骤2.6：重复步骤2.1至2.5，直到处理完所有视频序列。

【技术特征摘要】
1.一种基于超像素的复杂场景下的目标跟踪方法，包括以下步骤：步骤1：初始化参数，取视频流中的前m帧图像作为训练集，m取3-6；步骤1.1：选择目标所在区域，对该区域进行超像素分割：步骤1.1.1：在目标区域中随机选择k个点作为超像素的中心点，也叫超像素的聚类中心CK：CK＝[lk,ak,bk,xk,yk]T在每个大小规则的方框S中取样像素，lk、ak、bk是CIELAB颜色空间中的参数，此颜色空间最为接近人类的视觉，它的lk分量即亮度，xk、yk表示点的坐标，S取其中N为超像素的个数，k的值由用户根据跟踪的效果自行选择，为300-500之间；步骤1.1.2：将CK移动到3×3的相邻像素中梯度值最低的位置；步骤1.1.3：对图像中的每一个像素设置标记label(i)为-1，与相近的聚类中心的欧式距离d(i)为无穷大，对于围绕在每一个聚类中心CK的2S×2S区域内的像素i，重复1.1.4-1.1.5步骤：步骤1.1.4：计算像素i与聚类中心CK的欧式距离D；步骤1.1.5：若D＜d(i)置d(i)为D，label(i)为k；表示每一个像素对自身周围的聚类中心求欧式距离，取欧式距离最小的那个聚类中心为自己的类别；步骤1.1.6：重复1.1.2，选择新的聚类中心并计算残留误差E，残留误差表示为同一个超像素的聚类中心，经过两次迭代后的欧氏距离，E小于一定的阈值，即提取完全部超像素；步骤1.2：提取超像素特征作为训练集：步骤1.2.1：每一个超像素表示为：sp(t,r)表示在t帧时第r个超像素，用ftr表示；步骤1.2.2：取m张图片构成训练集，m取3-5；用一个特征向量F＝{ftr|t＝1,...,m,r＝1,...,Nt}，来表示一个这个训练集所有的超像素；在特征空间中，设每个超像素的聚类中心为fc(i)，半径为rc(i)，则有{ftr|ftr∈C(k)}。步骤1.2.3：假设训练集中的每一个聚类中心对应一个图像区域S(i)，设S+(i)为第i个超像素在目标区域内的大小，S-(i)为第i个超像素在目标区域外的大小，此大小即为像素的数量；若S+(i)/S-(i)的值越大，则说明该超像素属于目标的可能性就越大；计算通过以下公式即可得到一个超像素的聚类中心处于背景或目标的可能性大小：由聚类中心fc(i)、半径rc(i)和每一个超像素的像素成员{ftr|ftr∈C(k)}构成基于超像素的外观模型，即目标的表示方法；步骤2：由贝叶斯理论可得知，由于两帧图像之间相互独立，设Xt为t时刻的状态，Y1:t为从第一帧到最后一帧的状态，有p(Xt|Y1:t)＝αp(Yt|Xt)∫p(Xt|Xt-1)p(Xt-t|Y1:t-1)dXt-1令其中表示t时刻目标的位置，表示t时刻目标的尺度，根据贝叶斯跟踪公式可知，关键是要得到观察模型和动作模型，从m+1帧开始直到最后一帧做如下步骤：步骤2.1：找到上一帧的目标区域，重复上述步骤，采用超像素进行分割，提取超像素特征；步骤2.2：计算超像素的置信图；步骤2.3：通过上一帧得到的置信图，取N个区域作为目标的候选区域；步骤2.4：基于贝叶斯理论，可以得到当前帧目标所在区域的概率；步骤2.5：更新训练集和外观模型：步骤2.5.1：每播放U帧图像以后，将训练集中最老的一帧图像丢弃，将新的一帧加入到训练集中，U为10；步骤2.5.2：为了抵御小幅度遮挡、丢失或模糊现象，采用如下计算公式：

【专利技术属性】
技术研发人员：蒲晓蓉，陈雷霆，张思远，邱航，蔡洪斌，崔金钟，卢光辉，曹跃，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51