基于在线识别的特定人脸跟踪方法技术

本发明专利技术公开了一种基于在线识别的特定人脸跟踪方法，其采用离线检测、在线跟踪以及在线识别的联合模块对特定人脸进行有效跟踪。该方法主要包括：离线人脸检测、在线目标跟踪、在线人脸识别以及模型的更新几个步骤。通过本发明专利技术方法，能够在实际监控场景中鲁棒地跟踪指定的目标人脸，而不容易跟踪到其他不是指定目标的人脸上去，同时，即使当目标人脸发生严重遮挡或者离开视觉窗口，只要目标人脸重新出现，本发明专利技术方法依然能够重新定位出目标人脸的位置。

【技术实现步骤摘要】

本专利技术涉及模式识别以及计算机视觉
，特别是一种。
技术介绍
人脸跟踪具有很多的实际应用，例如视频监控、人机交互、机器人视觉等等。但是人脸跟踪仍然面临着很多挑战，例如光照、姿态变化、遮挡、表象相似人脸、离开视觉窗ロ以及目标重新出现后的身份认证等等。而特定人脸跟踪又是人脸跟踪中比较重要的ー个研究领域。特定人脸跟踪，顾名思义，就是要在较长时间里跟踪特定的ー个人脸。对于一般的人脸跟踪方法，复杂的表象模型更加受到偏爱，例如多姿态的人脸跟踪。因为这种方法即使在姿态变化比较大的情况下也能够有效地表示人脸的表象，所以他们在相对比较简单的场景下对人脸有比较好的跟踪效果。但是如果目标人脸被严重遮挡了，或者离开摄像机视线了，这种方法就不能进行有效地跟踪。为了能够重新定位到目标人脸，一些跟踪器引入了检测器。虽然检测器在长时间的目标跟踪中是有用的，但是当场景中存在其他表象相似人脸时，这种只基于检测器的跟踪器的鲁棒性就会受到影响。因此，为了更加有效地提高这种包含检测器的跟踪器的性能，加入ー种在线训练的识别器是有必要的。
技术实现思路
本专利技术的目的是解决现有的人脸跟踪方法无法长时间有效地跟踪特定的目标人脸，为此本专利技术提供一种联合了跟踪、检测和识别的特定人脸跟踪方法，以提高现有技术中特定人脸跟踪方法的准确性。本专利技术提出的一种，包括如下步骤:步骤1，训练得到离线模型，所述离线模型包括离线人脸检测模型，离线人眼检测模型和离线正脸和侧脸关联模型；步骤2，对待处理视频第一帧图像中的人脸信息进行人エ标注，同时利用所述离线人眼检测模型检测其中对应的眼睛位置；步骤3，建立在线人脸跟踪模型和在线人脸识别模型，并对两个模型所使用的分类器分别进行初始化；步骤4，利用所述离线人脸检测模型和离线人眼检测模型对所述待处理视频的下ー帧待处理图像进行检测，得到该待处理图像中所有可能的人脸检测结果以及相对应的眼睛位置；步骤5，利用所述在线人脸跟踪模型对所述待处理图像中的特定人脸进行跟踪； 步骤6，对所述步骤5在线跟踪得到的人脸及所述步骤4离线检测得到的人脸分别进行人脸识别，并从中确定最終的目标人脸；步骤7，判断是否满足一更新条件，如果满足，则更新所述在线人脸跟踪模型和所述在线人脸识别模型，否则转入步骤4进行下一帧待处理图像的处理。本专利技术的优点是:本专利技术将跟踪器、检测器以及识别器有效地联合起来，能够处理目标人脸的各种表象变化、遮挡，并且也不会跟踪到非目标的人脸上去，即使目标人脸离开视觉窗ロ后再次出现也能重新跟踪上。附图说明图1是根据本专利技术ー实施例的流程图。具体实施例方式为使本专利技术的目的、技术方案和 优点更加清楚明白，以下结合具体实施例，并參照附图，对本专利技术进ー步详细说明。图1是根据本专利技术ー实施例的流程图，如图1所示，所述包括如下步骤:步骤1，训练得到离线模型，所述离线模型包括离线人脸检测模型，离线人眼检测模型和离线正脸和侧脸关联模型；所述离线人脸检测模型使用AdaBoost算法以及多尺度块局部ニ值模式(Mult1-block Local Binary Patterns, MB-LBP)特征进行人脸检测。所述离线人眼检测模型使用多个Boosting串联起来的概率框架和局部ニ值模式(Local Binary Patterns,LBP)特征进行眼睛检測。本专利技术采用典型关联分析技术(Canonical Correlation Analysis, CCA)来建立正脸和侧脸关联模型:已知训练数据集X= [X1,…，xj和Y = [Yl,…，yn]，且主因子子空间是训练数据集X和Y的线性子空间，其维数是d。典型关联分析技术同时考虑了两个数据集合并且找出最优的线性投影矩阵，也就是所谓的典型投影对'= [W1V-,!^]和本文档来自技高网...

【技术保护点】
一种基于在线识别的特定人脸跟踪方法，其特征在于，该方法包括以下步骤：步骤1，训练得到离线模型，所述离线模型包括离线人脸检测模型，离线人眼检测模型和离线正脸和侧脸关联模型；步骤2，对待处理视频第一帧图像中的人脸信息进行人工标注，同时利用所述离线人眼检测模型检测其中对应的眼睛位置；步骤3，建立在线人脸跟踪模型和在线人脸识别模型，并对两个模型所使用的分类器分别进行初始化；步骤4，利用所述离线人脸检测模型和离线人眼检测模型对所述待处理视频的下一帧待处理图像进行检测，得到该待处理图像中所有可能的人脸检测结果以及相对应的眼睛位置；步骤5，利用所述在线人脸跟踪模型对所述待处理图像中的特定人脸进行跟踪；步骤6，对所述步骤5在线跟踪得到的人脸及所述步骤4离线检测得到的人脸分别进行人脸识别，并从中确定最终的目标人脸；步骤7，判断是否满足一更新条件，如果满足，则更新所述在线人脸跟踪模型和所述在线人脸识别模型，否则转入步骤4进行下一帧待处理图像的处理。

【技术特征摘要】
1.一种基于在线识别的特定人脸跟踪方法，其特征在于，该方法包括以下步骤: 步骤1，训练得到离线模型，所述离线模型包括离线人脸检测模型，离线人眼检测模型和离线正脸和侧脸关联模型； 步骤2，对待处理视频第一帧图像中的人脸信息进行人エ标注，同时利用所述离线人眼检测模型检测其中对应的眼睛位置； 步骤3，建立在线人脸跟踪模型和在线人脸识别模型，并对两个模型所使用的分类器分别进行初始化； 步骤4，利用所述离线人脸检测模型和离线人眼检测模型对所述待处理视频的下ー帧待处理图像进行检测，得到该待处理图像中所有可能的人脸检测结果以及相对应的眼睛位置； 步骤5，利用所述在线人脸跟踪模型对所述待处理图像中的特定人脸进行跟踪； 步骤6，对所述步骤5在线跟踪得到的人脸及所述步骤4离线检测得到的人脸分别进行人脸识别，并从中确定最終的目标人脸； 步骤7，判断是否满足一更新条件，如果满足，则更新所述在线人脸跟踪模型和所述在线人脸识别模型，否则转入步骤4进行下一帧待处理图像的处理。2.根据权利要求1所述的方法，其特征在于，所述离线人脸检测模型使用AdaBoost算法以及多尺度块局部ニ值模式特征进行人脸检测；所述离线人眼检测模型使用多个Boosting串联起来的概率框架和局部ニ值模式特征进行眼睛检測。3.根据权利要求1所述的方法，其特征在于，采用典型关联分析技术来建立正脸和侧脸关联模型，所述正脸和侧脸关联模型中，存在典型投影对4.根据权利要求1所述的方法，其特征在于，所述步骤2中的人工标注包括标注目标人脸的位置和尺度。5.根据权利要求3所述的方法，其特征在于，所述在线人脸跟踪模型采用在线训练的Boosting分类器以及Haar特征；所述在线人脸识别模型基于在线的SVM分类器，其所使用的特征为将样本人脸进行标准人脸模板校正后得到的原始像素值排列成一个列向量，再经过投影矩阵Wx或者W投影得到的投影向量。6.根据权利要求5所述的方法，其特征在于，所述标准人脸模板校正为: 先利用所述离线人眼检测模型检测出样本中眼睛的位置； 再根据检测到的...

【专利技术属性】
技术研发人员：李子青，雷震，文珑银，蔡兆伟，
申请(专利权)人：中国科学院自动化研究所，北京中科奥森科技有限公司，
类型：发明
国别省市：