应用于移动设备端的人脸关键点跟踪系统及方法技术方案

本发明专利技术提供一种应用于移动设备端的人脸关键点跟踪系统及方法，该系统包括初始人脸框检测模块、人脸关键点回归模型学习模块、人脸关键点回归计算模块、工作模式判定模块和人脸关键点后处理模块。人脸关键点回归计算模块：包含检测模式与跟踪模式，检测模式根据初始人脸框作为输入回归计算人脸关键点模型；跟踪模式根据上一帧人脸关键点模型作为输入回归计算当前帧关键点模型；该系统及方法为具有检测模式和跟踪模式的人脸关键点定位技术，只需在第一帧进行人脸初始框检测，在后续的定位过程中采用跟踪模式，采用上一帧的关键点定位作为当前帧的输入，这样，在跟踪过程不用再次调用人脸检测模块，节省计算时间，提高系统效率。

Human face key point tracking system and method applied to mobile device end

Face key points of the invention provides an application to the mobile device side tracking system and method, the system includes face detection module, the initial frame face critical point regression model learning module, face critical point regression calculation module, work mode decision module and face key postprocessing module. Key points: face regression calculation module includes detection mode and tracking mode and detection mode according to the initial face frame as the input face critical point regression calculation model; tracking mode according to a frame face critical point regression calculation model as the input current frame the key point of the model; the system and method for face alignment technique with detection mode and tracking the only initial face in the first frame by frame detection, tracking mode in subsequent positioning process, the key point of a frame positioning as the current of the input frame, so, in the tracking process not to call the face detection module, save calculation time, improve the efficiency of the system.

【技术实现步骤摘要】
应用于移动设备端的人脸关键点跟踪系统及方法
本专利技术涉及一种应用于移动设备端的人脸关键点跟踪系统及方法。
技术介绍
人脸跟踪是在视频或图像序列中确定某个人脸的运动轨迹及大小变化的过程，是进行动态人脸信息处理的第一个环节，在人机智能交互有着重要的应用价值。在传统的人脸关键点定位系统中，对于视频中的每一帧图像都要经过人脸检测和人脸对准这两个步骤，才能获得连续的人脸关键点定位，其中人脸检测步骤即为获取到初始人脸框，人脸对准则为关键点的计算。这种方式下，效率较低，耗时长，易在交互过程中出现卡顿现象。在多人脸模式的人脸跟踪中，存在着人脸的增减的情况，因此在跟踪的过程中如果需要同时进行人脸检测，在传统的方法中对每一帧图像都会进行人脸检测，存在着效率低，耗时长的问题。上述问题是在人脸关键点跟踪过程中应当予以考虑并解决的问题。
技术实现思路
本专利技术的目的是提供一种应用于移动设备端的人脸关键点跟踪系统及方法，只需在第一帧进行人脸初始框检测，在后续的定位过程中采用跟踪模式，采用上一帧的关键点定位作为当前帧的输入，节省计算时间，提高系统效率，解决现有技术中存在的上述问题。本专利技术的技术解决方案是：一种应用于移动设备端的人脸关键点跟踪系统，包括：初始人脸框检测模块：读入当前帧图像，获取当前帧图像中人脸的位置，获得初始人脸框；人脸关键点回归模型学习模块：收集各角度的人脸训练图像，通过标定技术对所收集的人脸图像进行68个关键点的标记，选择基于随机森林的LBF算法来进行回归模型的学习；人脸关键点回归计算模块：包含检测模式与跟踪模式，检测模式根据初始人脸框作为输入人脸关键点回归计算模型；跟踪模式根据上一帧人脸形状作为输入当前帧关键点回归计算模型；工作模式判定模块：在第一帧采用检测模式，进行人脸初始框检测；在后续的定位过程中采用跟踪模式，采用上一帧的关键点定位作为当前帧的输入，通过统计方法计算当前帧关键点模型与上一帧人脸关键点模型的关系来判断当前帧关键点模型是否处于跟踪成功的状态；人脸关键点后处理模块：通过滤波算法对人脸关键点位置进行滤波，消除关键点的抖动；通过预先设置的参数对人脸x、y、z轴三个方向的旋转角进行估算，实现人脸姿态估算。进一步地，初始人脸框检测模块，具体为：S11、利用人脸图像提取其中的模式特征，包括色彩特征、直方图特征或Haar特征；S12、利用Adaboost算法组成级联分类器利用提取的模式特征来获取人脸位置的粗略估计；S13、此时获取的人脸粗略估计通常存在一定的漂移误差，利用人眼位置来进行矫正，采用opencv的人眼级联检测器来检测人眼，获取每一个人眼的中心位置；S14、通过人眼的连线与水平位置的夹角来确定人脸框旋转的矫正角度，再通过人眼坐标和人脸框的坐标关系来确定人脸框缩放的尺度因子与平移向量；S15、通过上述计算得到的矫正参数，包括旋转角度、缩放因子、平移向量，对粗略估计的人脸框进行矫正，得到初始人脸框。进一步地，人脸关键点回归模型学习模块，具体为：每个训练样本包含一个训练图像、一个初始人脸形状和一个真实人脸形状，再通过数据增强的方法在原始训练样本的基础上获得更多的训练样本；利用基于随机森林的LBF算法对上述标定的训练样本计算得到特征映射函数，进而计算得到局部LBF特征；将局部LBF特征组合起来得到一个全局的LBF特征，利用全局回归算法对全局LBF特征进行学习获得一个全局线性回归模型。进一步地，人脸关键点回归计算模块中检测模式具体为：S311、载入初始人脸框坐标，计算归一化的人脸框坐标与初始人脸框坐标的仿射变换矩阵；S312、将平均人脸形状，用S表示，按照上述放射变换矩阵投影到初始人脸框的坐标系中，得到初始人脸框的平均人脸形状，用S′表示；S313、将上述S′放入级联随机森林回归器中进行逐级回归计算，每一级回归的输出作为下一级回归的输入；S314、在每一级的回归器中，针对每一个关键点提取LBF特征算子，并且按照该特征算子来推算出关键点应当回归的偏移量ΔSi，其中i表示第i个特征点。进一步地，人脸关键点回归计算模块中跟踪模式具体为：S321、将平均人脸形状，用S表示，与上一帧人脸形状进行归一化计算，再分别计算两个形状的均方差，按照均方差的比列求得两个形状的比例因子；S322、利用放射变换关系计算上述两个归一化后的人脸形状的旋转变换因子，按照比例因子与旋转因子将平均人脸形状变换到当前人脸的坐标系当中，用S′表示；S323、将上述S′放入级联随机森林回归器中进行逐级回归计算，每一级回归的输出作为下一级回归的输入；S324、在每一级的回归器中，针对每一个关键点提取LBF特征算子，并且按照该特征算子来推算出关键点应当回归的偏移量ΔSi，其中i表示第i个特征点。进一步地，工作模式判定模块具体为：S41、记录上一帧的人脸形状坐标，计算与当前人脸形状每一个关键点的坐标的差值；S42、计算所有关键点差值的均值及均方差；S43、当差值均值和均方差小于预设阈值时，判定当前跟踪成功；当上述统计值大于预设阈值时，则判断当前跟踪失败。进一步地，人脸关键点后处理模块：通过滤波算法对人脸关键点位置进行滤波，具体为：S51、利用一个n倍于人脸形状大小的内存空间存储跟踪成功的最近n帧的形状坐标，1≤n≤100，设置起始标志位；S52、利用存储的有效n帧人脸形状坐标信息和卡尔曼滤波器对当前得到的坐标进行滤波处理；S53、将滤波后的形状坐标作为当前帧的真实坐标输出。进一步地，还包括人脸重叠率计算模块，人脸重叠率计算模块：只应用在多人脸跟踪的情况下，设置检测间隙，通过每隔一段检测间隙后进行一次检测，将检测中获取的初始人脸框与跟踪人脸形状进行重叠率计算，当重叠率大于预设阈值时，则判定当前初始人脸与跟踪人脸为同一人脸，不进行后续操作；若重叠率小于预设阈值时，判定当前初始人脸为新加入人脸，调用检测模式进行人脸关键点回归计算模块。一种使用上述应用于移动设备端的人脸关键点跟踪系统的方法，包括以下步骤：在读入当前帧图像以后，通过判断是否需要进行人脸检测，判断依据为当前是否达到规定的跟踪人脸数以及是否满足检测间隙的要求，通过每隔一段检测间隙后进行一次检测，进行人脸检测，则调用人脸检测模块获取得到初始人脸，并对获取的人脸进行重叠率计算，判断出是否有新增人脸，若有新增人脸则对其使用检测模式的关键点回归计算；若当前帧不需要检测人脸以及人脸检测后仍需判断是否存在成功跟踪的人脸，若存在前帧中成功跟踪的人脸，则对该人脸进行跟踪模式的关键点回归计算；否则，返回重新读入下一帧图像。进一步地，将检测中获取的初始人脸框与跟踪人脸关键点模型进行重叠率计算，当重叠率大于预设阈值时，则判定当前初始人脸与跟踪人脸为同一人脸，不进行后续添加新增人脸以及不进行检测模式的关键点回归计算的操作；；若重叠率小于预设阈值时，判定当前初始人脸为新加入人脸，调用检测模式进行人脸关键点回归计算模块。本专利技术的有益效果是：该种应用于移动设备端的人脸关键点跟踪系统及方法，为具有检测模式和跟踪模式的人脸关键点定位技术，只需在第一帧进行人脸初始框检测，在后续的定位过程中采用跟踪模式，采用上一帧的关键点定位作为当前帧的输入，这样，在跟踪过程不用再次调用人脸检测模块，节省计算时间，提高系统效率。附图说明图1是本专利技术实本文档来自技高网...

【技术保护点】
一种应用于移动设备端的人脸关键点跟踪系统，其特征在于，包括：初始人脸框检测模块：读入当前帧图像，获取当前帧图像中人脸的位置，获得初始人脸框；人脸关键点回归模型学习模块：收集各角度的人脸训练图像，通过标定技术对所收集的人脸图像进行68个关键点的标记，选择基于随机森林的LBF算法来进行回归模型的学习；人脸关键点回归计算模块：包含检测模式与跟踪模式，检测模式根据初始人脸框作为输入人脸关键点回归计算模型；跟踪模式根据上一帧人脸形状作为输入当前帧关键点回归计算模型；工作模式判定模块：在第一帧采用检测模式，进行人脸初始框检测；在后续的定位过程中采用跟踪模式，采用上一帧的关键点定位作为当前帧的输入，通过统计方法计算当前帧关键点模型与上一帧人脸关键点模型的关系来判断当前帧关键点模型是否处于跟踪成功的状态；人脸关键点后处理模块：通过滤波算法对人脸关键点位置进行滤波，消除关键点的抖动；通过预先设置的参数对人脸x、y、z轴三个方向的旋转角进行估算，实现人脸姿态估算。

【技术特征摘要】
1.一种应用于移动设备端的人脸关键点跟踪系统，其特征在于，包括：初始人脸框检测模块：读入当前帧图像，获取当前帧图像中人脸的位置，获得初始人脸框；人脸关键点回归模型学习模块：收集各角度的人脸训练图像，通过标定技术对所收集的人脸图像进行68个关键点的标记，选择基于随机森林的LBF算法来进行回归模型的学习；人脸关键点回归计算模块：包含检测模式与跟踪模式，检测模式根据初始人脸框作为输入人脸关键点回归计算模型；跟踪模式根据上一帧人脸形状作为输入当前帧关键点回归计算模型；工作模式判定模块：在第一帧采用检测模式，进行人脸初始框检测；在后续的定位过程中采用跟踪模式，采用上一帧的关键点定位作为当前帧的输入，通过统计方法计算当前帧关键点模型与上一帧人脸关键点模型的关系来判断当前帧关键点模型是否处于跟踪成功的状态；人脸关键点后处理模块：通过滤波算法对人脸关键点位置进行滤波，消除关键点的抖动；通过预先设置的参数对人脸x、y、z轴三个方向的旋转角进行估算，实现人脸姿态估算。2.如权利要求1所述的应用于移动设备端的人脸关键点跟踪系统，其特征在于：初始人脸框检测模块，具体为：S11、利用人脸图像提取其中的模式特征，包括色彩特征、直方图特征或Haar特征；S12、利用Adaboost算法组成级联分类器利用提取的模式特征来获取人脸位置的粗略估计；S13、此时获取的人脸粗略估计通常存在一定的漂移误差，利用人眼位置来进行矫正，采用opencv的人眼级联检测器来检测人眼，获取每一个人眼的中心位置；S14、通过人眼的连线与水平位置的夹角来确定人脸框旋转的矫正角度，再通过人眼坐标和人脸框的坐标关系来确定人脸框缩放的尺度因子与平移向量；S15、通过上述计算得到的矫正参数，包括旋转角度、缩放因子、平移向量，对粗略估计的人脸框进行矫正，得到初始人脸框。3.如权利要求1所述的应用于移动设备端的人脸关键点跟踪系统，其特征在于：人脸关键点回归模型学习模块，具体为：每个训练样本包含一个训练图像、一个初始形状和一个真实形状，再通过数据增强的方法在原始训练样本的基础上获得更多的训练样本；利用基于随机森林的LBF算法对上述标定的训练样本计算得到特征映射函数，进而计算得到局部LBF特征；将局部LBF特征组合起来得到一个全局的LBF特征，利用全局回归算法对全局LBF特征进行学习获得一个全局线性回归模型。4.如权利要求1-3任一项所述的应用于移动设备端的人脸关键点跟踪系统，其特征在于，人脸关键点回归计算模块中检测模式具体为：S311、载入初始人脸框坐标，计算归一化的人脸框坐标与初始人脸框坐标的仿射变换矩阵；S312、将平均人脸形状，用S表示，按照上述放射变换矩阵投影到初始人脸框的坐标系中，得到初始人脸框的平均人脸形状，用S′表示；S313、将上述S′放入级联随机森林回归器中进行逐级回归计算，每一级回归的输出作为下一级回归的输入；S314、在每一级的回归器中，针对每一个关键点提取LBF特征算子，并且按照该特征算子来推算出关键点应当回归的偏移量ΔSi，其中i表示第i个特征点。5.如权利要求1-3任一项所述的应用于移动设备端的人脸关键点跟踪系统，其特征在于，人脸关键点回归计算模块中...

【专利技术属性】
技术研发人员：罗楠，杨通，
申请(专利权)人：南京开为网络科技有限公司，
类型：发明
国别省市：江苏,32