一种动态人脸跟踪方法技术

本发明专利技术公开一种动态人脸跟踪方法，步骤包括：S1.使用基于特征的跟踪算法对目标进行跟踪，当跟踪丢失目标时，转入执行步骤S2；S2.预测跟踪丢失后人脸区域位置并建立特征点模板，将预测到的人脸区域位置的像素点与当前特征点模板进行匹配，由匹配成功的特征点初始化光流跟踪算法，对目标进行跟踪，并根据特征点的丢失状态进行特征点模板的更新；S3.当恢复到基于特征的跟踪算法能够跟踪到目标位置时，返回执行步骤S1。本发明专利技术能够适用于发生偏转和存在遮挡等复杂情况下进行人脸跟踪，具有实现方法简单、跟踪效率及精度高，能够兼顾稳定性和实时性，且环境适应性以及抗干扰能力强等优点。

A dynamic face tracking method

The invention discloses a dynamic face tracking method, which comprises the following steps: S1. Tracking a target using a feature-based tracking algorithm, turning to executing S2 when tracking a lost target; S2. Predicting the location of the lost face region after tracking and establishing a feature point template, and matching the pixel points of the predicted face region position with the current feature. The feature point template is matched, and the optical flow tracking algorithm is initialized by the matched feature points to track the target, and the feature point template is updated according to the lost state of the feature points; S3. When the feature-based tracking algorithm is restored to track the target position, it returns to execute uuuuuuuu The invention can be applied to face tracking in complex situations such as deflection and occlusion, and has the advantages of simple implementation method, high tracking efficiency and precision, taking into account stability and real-time, environmental adaptability and strong anti-interference ability.

【技术实现步骤摘要】
一种动态人脸跟踪方法
本专利技术涉及目标跟踪
，尤其涉及一种动态人脸跟踪方法。
技术介绍
目前人脸跟踪算法通常是结合模型学习实现对人脸进行跟踪，或通过单一特征对目标人脸进行跟踪，如颜色特征、纹理特征、角点特征等，其中基于模型学习的跟踪随着人脸的运动不断更新人脸模型，实现了较高准确度，但是该类算法计算复杂度较高，对运算系统硬件性能要求较高，如其中建立人脸复杂模型需要提供强大的硬件计算资源，一种解决方式是通过GPU加速卡进行处理，而相应的成本往往很高，很难适用于大规模应用，基于纹理特征实现人脸跟踪也存在该类问题。而基于颜色、角点特征进行人脸跟踪的方式鲁棒性较差，易受到外界环境或者本身特性的影响，如人脸在与相机镜头成不同角度时会呈现不同画面，若相对于初始建立的跟踪模型呈现很大变化，则容易丢失跟踪，而当相机焦距发生变化时，画面整体发生变化，由于算法依赖于静止时建立背景模型对人脸目标进行分割，也会丢失跟踪目标，无法满足需要相机设备焦距变化时的跟踪场合。如基于颜色特征的Camshift算法，通过将运动目标的色调直方图反向投影到候选区域，根据运动目标色调直方图反向投影的概率密度将跟踪框移动到概率最大的区域，算法跟踪效率高、实时性好，Camshift算法是在空间下对颜色信息进行概率计算，相对于空间下的跟踪，空间的信息和光照没有直接联系，因此基于算法的跟踪对光线变化影响具有一定的鲁棒性，但是颜色核是Camshift算法对目标进行跟踪的唯一依据，在遇到与跟踪目标颜色相近的干扰时，跟踪框会发生偏移现象，甚至丢失跟踪目标。如上述，目前实现人脸跟踪方法主要存在以下问题：1、非基于人脸模型类算法当人脸与相机镜头发生偏转、相机设备焦距变化时容易丢失跟踪，无法满足偏转、相机焦距变化以及发生遮挡等复杂情况下；2、建立人脸模型并进行跟踪运算复杂度较高，运用到大范围的安防监控时对实际系统运算能力要求苛刻、成本高。3、人脸跟踪实时性与准确性难以得到平衡。中国专利申请201210296738.8公开一种人脸跟踪方法，通过先确定人脸区域和人脸外区域，根据人脸区域和人脸外区域获得人脸特征模型，在下一帧图像中，根据人脸区域、人脸外区域和人脸特征模型确定人脸区域位置和人脸外区域位置，从而确定人脸位置。该方法就不能够适用于人脸发生偏转或遮挡等情形中，当人脸偏转到一定程度时会造成跟踪的丢失。
技术实现思路
本专利技术要解决的技术问题就在于：针对现有技术存在的技术问题，本专利技术提供一种能够适用于发生偏转和存在遮挡等复杂情况下进行人脸跟踪，实现方法简单、跟踪效率及精度高，能够兼顾稳定性和实时性，环境适应性以及抗干扰能力强的动态人脸跟踪方法。为解决上述技术问题，本专利技术提出的技术方案为：一种动态人脸跟踪方法，其特征在于，步骤包括：S1.基于特征的跟踪：使用基于特征的跟踪算法对目标进行跟踪，当跟踪丢失目标时，转入执行步骤S2；S2.光流跟踪：预测跟踪丢失后人脸区域位置并建立特征点模板，将预测到的人脸区域位置的像素点与当前特征点模板进行匹配，由匹配成功的特征点初始化光流跟踪算法，初始化后使用所述光流跟踪算法对目标进行跟踪，并根据所述特征点的丢失状态进行所述特征点模板的更新；S3.跟踪切换：当恢复到所述基于特征的跟踪算法能够跟踪到目标位置时，返回执行步骤S1以切换回使用基于特征的跟踪算法。作为本专利技术的进一步改进：所述步骤S1中基于特征的跟踪算法具体使用基于色调和梯度幅值的组合特征的Camshift算法。作为本专利技术的进一步改进：所述使用基于色调和梯度幅值的组合特征的Camshift算法的具体步骤为：S11.将图像中目标区域的梯度幅值变换为与色调值相同区间；S12.由图像中目标区域的色调和变换后的所述梯度幅值构成混合矩阵Matmix；S13.计算所述混合矩阵Matmix的统计直方图，并根据所述统计直方图将图像进行反向投影，得到反向投影图；S14.根据所述反向投影图跟踪到目标的位置。作为本专利技术的进一步改进，所述步骤S13的具体步骤为：从图像坐标原点开始平移，每次平移时以平移点坐标点作为左上角顶点创建一个大小与目标相同的矩形区域，并计算所述矩形区域中所述混合矩阵Matmix的统计直方图的巴氏距离，将计算得到的巴氏距离值作为所述矩形区域对应的反向投影图中像素点的像素值，直至完成图像矩阵中所有元素的反向投影，得到所述反向投影图。作为本专利技术的进一步改进，所述步骤S2中具体基于SURF(SpeededUpRobustFeatures)特征点建立SURF特征点模板，将预测到的人脸区域位置的像素点与当前SURF特征点模板进行匹配后，由匹配成功的SURF特征点初始化光流跟踪算法，初始化后基于SURF特征点使用所述光流跟踪算法对目标进行跟踪。作为本专利技术的进一步改进，所述步骤S2中具体基于SURF特征点使用LK光流跟踪算法对目标进行跟踪，具体步骤为：S211.建立光流约束方程：以及对于二维平面图像内的点I(x，y)，建立方程组：其中，q1，q2，...，qn是Ix(x，y)人脸ROI区域的SURF特征点，Ix、Iy分别为第t帧图像里特征点q(x，y)在x、y方向上的偏导数，It是第t帧图像与第t-1帧图像关于时间的偏导数，Vx、Vy分别为像素点在整个图像中运动的速度在x方向、y方向上的分量；S212.令v＝(x，y)，使用最小二乘法求得近似解：其中wi为点qi所占的权值。作为本专利技术的进一步改进，所述步骤S2中预测跟踪丢失后人脸区域位置的具体步骤为：使用二次多项式作为轨迹目标函数f(t)的最佳逼近：当预测第k+N时刻中目标的位置时，使用k,k+1,...,k+N时刻的目标位置数据点计算均方误差最小时的曲线拟合参数αk+N、βk+N、γk+N并实时更新，使得目标位置的预测轨迹和实际轨迹最佳逼近，其中：式中M为行列式的值，bnm为行列式|M|余因子，n,m＝1,2,3，且|M|≠0。作为本专利技术的进一步改进，所述步骤S2中将预测到的人脸区域位置的像素点与当前特征点模板进行匹配的具体步骤为：将目标图像区域划分为L、R两个特征点区域，当其中一个目标特征点区域发生丢失时，以目标特征点区域中右上角坐标点(xRmax,Min(yRmin,yLmin))为起点，在轴负方向的长|xRmax-xLmin|以及向轴正方向宽|Max(yRmax,yLmax)-Min(yRmin,yLmin的区域内寻找满足初始化时人脸区域中SURF特征点的特征向量的像素点，得到与当前特征点模板匹配的SURF特征点，其中xLmax、xLmin、yLmax、yLmin分别为L、R特征点区域中横坐标、纵坐标的最大、最小值，MIN为取最小值函数，Max为取最大值函数。作为本专利技术的进一步改进，所述步骤S2中进行所述特征点模板的更新时，具体判断L、R两个特征点区域中发生丢失的特征点数与初始化模板中SURF特征点总数之间的大小关系，当满足(NLM+NRM)/NT大于预设第一阈值时，启动对特征点模板进行更新，其中NLM、NRM分别为L、R特征点区域发生丢失的SURF特征点数，NT为初始化模板中SURF特征点总数。作为本专利技术的进一步改进，所述步骤S3中具体当人脸区域特征点总数NN与所述初始化模板中SURF特征点总数NT之间的比值NN/NT大于预设第二本文档来自技高网...

【技术保护点】
1.一种动态人脸跟踪方法，其特征在于，步骤包括：S1.基于特征的跟踪：使用基于特征的跟踪算法对目标进行跟踪，当跟踪丢失目标时，转入执行步骤S2；S2.光流跟踪：预测跟踪丢失后人脸区域位置并建立特征点模板，将预测到的人脸区域位置的像素点与当前特征点模板进行匹配，由匹配成功的特征点初始化光流跟踪算法，初始化后使用所述光流跟踪算法对目标进行跟踪，并根据所述特征点的丢失状态进行所述特征点模板的更新；S3.跟踪切换：当恢复到所述基于特征的跟踪算法能够跟踪到目标位置时，返回执行步骤S1以切换回使用基于特征的跟踪算法。

【技术特征摘要】
1.一种动态人脸跟踪方法，其特征在于，步骤包括：S1.基于特征的跟踪：使用基于特征的跟踪算法对目标进行跟踪，当跟踪丢失目标时，转入执行步骤S2；S2.光流跟踪：预测跟踪丢失后人脸区域位置并建立特征点模板，将预测到的人脸区域位置的像素点与当前特征点模板进行匹配，由匹配成功的特征点初始化光流跟踪算法，初始化后使用所述光流跟踪算法对目标进行跟踪，并根据所述特征点的丢失状态进行所述特征点模板的更新；S3.跟踪切换：当恢复到所述基于特征的跟踪算法能够跟踪到目标位置时，返回执行步骤S1以切换回使用基于特征的跟踪算法。2.根据权利要求1所述的动态人脸跟踪方法，其特征在于：所述步骤S1中基于特征的跟踪算法具体使用基于色调和梯度幅值的组合特征的Camshift算法。3.根据权利要求2所述的动态人脸跟踪方法，其特征在于，所述使用基于色调和梯度幅值的组合特征的Camshift算法的具体步骤为：S11.将图像中目标区域的梯度幅值变换为与色调值相同区间；S12.由图像中目标区域的色调和变换后的所述梯度幅值构成混合矩阵Matmix；S13.计算所述混合矩阵Matmix的统计直方图，并根据所述统计直方图将图像进行反向投影，得到反向投影图；S14.根据所述反向投影图跟踪到目标的位置。4.根据权利要求3所述的动态人脸跟踪方法，其特征在于，所述步骤S13的具体步骤为：从图像坐标原点开始平移，每次平移时以平移点坐标点作为左上角顶点创建一个大小与目标相同的矩形区域，并计算所述矩形区域中所述混合矩阵Matmix的统计直方图的巴氏距离，将计算得到的巴氏距离值作为所述矩形区域对应的反向投影图中像素点的像素值，直至完成图像矩阵中所有元素的反向投影，得到所述反向投影图。5.根据权利要求1～4中任意一项所述的动态人脸跟踪方法，其特征在于：所述步骤S2中具体基于SURF特征点建立SURF特征点模板，将预测到的人脸区域位置的像素点与当前SURF特征点模板进行匹配后，由匹配成功的SURF特征点初始化光流跟踪算法，初始化后基于SURF特征点使用所述光流跟踪算法对目标进行跟踪。6.根据权利要求5所述的动态人脸跟踪方法，其特征在于，所述步骤S2中具体基于SURF特征点使用LK光流跟踪算法对目标进行跟踪，具体步骤为：S211.建立光流约束方程：…以及对于二维平面图像内的点I(x，y)，建立方程组：其中，q1，q2，...，qn是Ix(x，y)人脸ROI区域的SUR...

【专利技术属性】
技术研发人员：刘双，阮伟，吴成伟，
申请(专利权)人：湖南华诺星空电子技术有限公司，
类型：发明
国别省市：湖南,43