人脸实时跟踪系统及方法技术方案

本发明专利技术揭示了一种人脸实时跟踪系统及方法，所述人脸实时跟踪系统包括视频帧图像获取模块、人脸检测模块、人脸特征点定位模块、人脸跟踪模块。人脸检测模块用以对于每一帧图像，调用不同的人脸检测模型，寻找是否有人脸出现，并记录出现人脸的位置，将对应位置发送至人脸特征点定位模块；人脸特征点定位模块用以定位人脸的二阶特征点的坐标，并修正每个特征点的坐标；人脸跟踪模块用以跟踪视频中的人脸，得到其连续的空间姿态。本发明专利技术提出的人脸实时跟踪系统及方法，可提高实时跟踪人脸信息的精确度、处理速度及稳定性。

【技术实现步骤摘要】
人脸实时跟踪系统及方法
本专利技术属于人脸跟踪
，涉及一种人脸实时跟踪系统，尤其涉及一种基于二阶泛函梯度的人脸实时跟踪系统及方法。
技术介绍
人脸跟踪主要是指在连续的视频序列中确定人脸的运动轨迹，在计算机视觉、人工智能领域等多个领域，都得到了广泛的关注和研究；并在视频监控，机器人，人机交互等中得到了广泛的应用。而随着移动式设备的爆发式增长，需要用到人脸跟踪的应用越来越多，例如移动支付、虚拟化妆、美颜自拍等，传统的人脸跟踪很难适用这些场合，需要结合最新的算法做深入的研究。传统的人脸跟踪算法应用到移动式设备上主要有以下两个问题1)计算资源开销大，难以直接移植到移动式设备上。手机等移动式设备上计算能力较弱，内存少，而传统的高精度模型计算量大，同时需要大量内存，简化模型后，其精度必然下降，很难准确跟踪；2)鲁棒性差，即对于大侧角人脸，部分被遮挡等情况，定位有偏差，跟踪不到。早期人脸跟踪需要对人脸建模。形状建模方法有可变形模板(DeformableTemplate)、点分布模型(主动形状模型ActiveShapeModel)、图模型等。表观建模方法包括全局表观建模和局部表观建模，其中全局方法有主动表观模型ActiveAppearanceModel(产生式模型)和BoostedAppearanceModel(判别式模型)等，局部表观建模则是对局部区域的表观信息建模，包括颜色模型、投影模型、侧剖线模型等。基于建模的方法往往受限于模型本身而准确率较低，主要是简单的模型很难表达实际应用中的一些困难因素，包括光照，遮挡，姿态多变等。最近多级形状回归模型(cascadeshaperegression)在准确率，速度上取得了重大突破，该方法使用回归模型，直接学习从人脸表观到人脸形状(或者人脸形状模型的参数)的映射函数，进而建立从表观到形状的对应关系。且此类方法不需要复杂的形状和表观建模，易于应用。很多对比测试表明，尤其适合与不可控，非配合的场景，而这些正是移动式设备的主要应用场景。此外，基于深度学习的人脸对齐方法也取得令人瞩目的结果。深度学习结合形状回归框架可以进一步提升定位模型的精度，成为当前特征定位的主流方法之一。但由于深度学习模型的数据模型巨大(往往包含几千万个变量)，不适合于移动式设备，以下不再讨论。有鉴于此，如今迫切需要设计一种人脸跟踪方式，以便克服现有人脸跟踪方式存在的上述缺陷。
技术实现思路
本专利技术提供一种人脸实时跟踪系统及方法，可提高实时跟踪人脸信息的精确度、处理速度及稳定性。为解决上述技术问题，根据本专利技术的一个方面，采用如下技术方案：一种人脸实时跟踪系统，所述人脸实时跟踪系统包括：视频帧图像获取模块，用以获取视频的每一帧图像；人脸检测模块，用以对于每一帧图像，调用不同的人脸检测模型，寻找是否有人脸出现；所述人脸检测模型能够遍历图像的每个位置，判断各位置是否有人脸出现，并返回一个可靠度；对某个位置，只有可靠度高于设定值，才认为确实出现人脸，并记录该人脸的位置，将对应位置发送至人脸特征点定位模块；人脸特征点定位模块，用以定位人脸的二阶特征点的坐标(xi,yi)；所述人脸特征点定位模块逐步生成多颗决策树，每颗决策树输入二阶特征点的当前坐标，目标是降低二阶泛函的值；沿着优化梯度的方向来改进坐标(xi,yi)的值，每个特征点(xi,yi)的梯度其中，Ij是特征点所在的叶节点，|Ij|是该叶节点上所有特征点的数量；修正每个特征点的坐标为：xi＝xi+ηdxi，yi＝yi+ηdxi；η为设定常数；人脸跟踪模块，用以跟踪视频中的人脸，得到其连续的空间姿态；对于每一帧视频，都能准确定位人脸的二阶特征点，这些特征点构成的序列代表人脸的运动轨迹；基于这些特征点，判断人脸的空中姿态；不同帧之间特征点的变化，反映人脸的各种变化及运动。作为本专利技术的一种实施方式，所述人脸检测模块对某个位置，只有可靠度>0.95，才认为确实出现人脸。作为本专利技术的一种实施方式，所述人脸检测模块对视频的每一帧图像，调用至少一人脸检测模型，这些模型会遍历图像的每个位置；每个可能的人脸位置，给出一个置信度confidencerate；计算这些置信度的综合置信度：confidencerate＝ω1R1+ω2R2+……；其中，R1,R2，…分别为不同人脸检测模型返回的置信度，ω1，ω2，…分别为设定系数；若综合置信度confidencerate>0.95，则该位置有人脸；记录该位置，将该位置信息发送至人脸特征点定位模块；如检测不到人脸，则继续检测下一帧图像。作为本专利技术的一种实施方式，所述人脸特征点定位模块对每个人脸所在区域，调用二阶特征点定位算法；B1、根据标准模板，初始化N个人脸特征点的坐标(xi,yi)，每个点的初始坐标来自于平均脸，即标注很多人的脸作为样本，对每个特征点，都取这些样本的平均值；B2、二阶泛函定义及优化求解：构造一棵决策树，有T个叶节点；其输入为特征点的当前坐标，其目标是降低如下二阶泛函的值；其中，Ij是样本i所在的叶节点，(dxj,dyj)是最优解在该叶节点的值；gi是损失函数在每个特征点的一阶导数，hi是损失函数在每个特征点的二阶导数，是每个特征点的最优解，该二阶泛函的极值问题转化为这T个叶节点的最优值计算；B3、该泛函取最小值，对应的就是每个特征点的坐标修正；即二阶特征点的修正来自于对二阶泛函取最小值；对于叶节点Tj，其中|Ij|个样本，其定义如下：B4、修正每个特征点的坐标：如果样本i所在的叶节点是Tj，则:xi＝xi+ηdxj，yi＝yi+ηdxj；其中，η为设定常数,一般取值；B5、连续生成多棵决策树，如连续两棵决策树之间的修正(∑|dx|,∑|dy|)小于设定阈值，则该模块收敛，记录这些特征点，将其发送至人脸跟踪模块，否则，继续步骤B2。作为本专利技术的一种实施方式，所述人脸跟踪模块用以根据人脸的二阶特征点计算人脸的空间姿态；所述二阶特征点用以确定位于人脸的关键位置；所述人脸跟踪模块用以根据眼睛处的二阶特征点判断是否眨眼，所述人脸跟踪模块用以根据嘴巴处的二阶特征点判断是否张嘴；所述人脸跟踪模块用以根据人脸的二阶特征点判断人脸的左右、上下姿态；连续多帧的特征点构成的特征点序列，所述人脸跟踪模块用以分析所述特征点序列，得到人脸的运动轨迹。一种人脸实时跟踪系统，所述人脸实时跟踪系统包括：视频帧图像获取模块，用以获取视频的每一帧图像；人脸检测模块，用以对于每一帧图像，调用不同的人脸检测模型，寻找是否有人脸出现；所述人脸检测模型能够遍历图像的每个位置，判断各位置是否有人脸出现，并返回一个可靠度；对某个位置，只有可靠度高于设定值，才认为确实出现人脸，并记录该人脸的位置，将对应位置发送至人脸特征点定位模块；人脸特征点定位模块，用以定位人脸的二阶特征点的坐标；人脸跟踪模块，用以跟踪视频中的人脸，得到本文档来自技高网...

【技术保护点】
1.一种人脸实时跟踪系统，其特征在于，所述人脸实时跟踪系统包括：/n视频帧图像获取模块，用以获取视频的每一帧图像；/n人脸检测模块，用以对于每一帧图像，调用不同的人脸检测模型，寻找是否有人脸出现；所述人脸检测模型能够遍历图像的每个位置，判断各位置是否有人脸出现，并返回一个可靠度；对某个位置，只有可靠度高于设定值，才认为确实出现人脸，并记录该人脸的位置，将对应位置发送至人脸特征点定位模块；/n人脸特征点定位模块，用以定位人脸的二阶特征点的坐标(x

【技术特征摘要】
1.一种人脸实时跟踪系统，其特征在于，所述人脸实时跟踪系统包括：
视频帧图像获取模块，用以获取视频的每一帧图像；
人脸检测模块，用以对于每一帧图像，调用不同的人脸检测模型，寻找是否有人脸出现；所述人脸检测模型能够遍历图像的每个位置，判断各位置是否有人脸出现，并返回一个可靠度；对某个位置，只有可靠度高于设定值，才认为确实出现人脸，并记录该人脸的位置，将对应位置发送至人脸特征点定位模块；
人脸特征点定位模块，用以定位人脸的二阶特征点的坐标(xi,yi)；所述人脸特征点定位模块逐步生成多颗决策树，每颗决策树输入二阶特征点的当前坐标，目标是降低二阶泛函的值；沿着优化梯度的方向来改进坐标(xi,yi)的值，每个特征点(xi,yi)的梯度其中，Ij是特征点所在的叶节点，|Ij|是该叶节点上所有特征点的数量；修正每个特征点的坐标为：xi＝xi+ηdxi，yi＝yi+ηdxi；η为设定常数；
人脸跟踪模块，用以跟踪视频中的人脸，得到其连续的空间姿态；对于每一帧视频，都能准确定位人脸的二阶特征点，这些特征点构成的序列代表人脸的运动轨迹；基于这些特征点，判断人脸的空中姿态；不同帧之间特征点的变化，反映人脸的各种变化及运动。


2.根据权利要求1所述的人脸实时跟踪系统，其特征在于：
所述人脸检测模块对某个位置，只有可靠度>0.95，才认为确实出现人脸。


3.根据权利要求1所述的人脸实时跟踪系统，其特征在于：
所述人脸检测模块对视频的每一帧图像，调用至少一人脸检测模型，这些模型会遍历图像的每个位置；每个可能的人脸位置，给出一个置信度confidencerate；计算这些置信度的综合置信度：
confidencerate＝ω1R1+ω2R2+……；
其中，R1,R2，…分别为不同人脸检测模型返回的置信度，ω1，ω2，…分别为设定系数；
若综合置信度confidencerate>0.95，则该位置有人脸；记录该位置，将该位置信息发送至人脸特征点定位模块；如检测不到人脸，则继续检测下一帧图像。


4.根据权利要求1所述的人脸实时跟踪系统，其特征在于：
所述人脸特征点定位模块对每个人脸所在区域，调用二阶特征点定位算法；
B1、根据标准模板，初始化N个人脸特征点的坐标(xi,yi)，每个点的初始坐标来自于平均脸，即标注很多人的脸作为样本，对每个特征点，都取这些样本的平均值；
B2、二阶泛函定义及优化求解：
构造一棵决策树，有T个叶节点；其输入为特征点的当前坐标，其目标是降低如下二阶泛函的值；



其中，Ij是样本i所在的叶节点，(dxj,dyj)是最优解在该叶节点的值；gi是损失函数在每个特征点的一阶导数，hi是损失函数在每个特征点的二阶导数，是每个特征点的最优解，该二阶泛函的极值问题转化为这T个叶节点的最优值计算；
B3、该泛函取最小值，对应的就是每个特征点的坐标修正；即二阶特征点的修正来自于对二阶泛函取最小值；对于叶节点Tj，其中|Ij|个样本，其定义如下：



B4、修正每个特征点的坐标：
如果样本i所在的叶节点是Tj，则:
xi＝xi+ηdxj，yi＝yi+ηdxj；其中，η为设定常数,一般取值；
B5、连续生成多棵决策树，如连续两棵决策树之间的修正(∑|dx|,∑|dy|)小于设定阈值，则该模块收敛，记录这些特征点，将其发送至人脸跟踪模块，否则，继续步骤B2。


5.根据权利要求1所述的人脸实时跟踪系统，其特征在于：
所述人脸跟踪模块用以根据人脸的二阶特征点计算人脸的空间姿态；所述二阶特征点用以确定位于人脸的关键位置；所述人脸跟踪模块用以根据眼睛处的二阶特征点判断是否眨眼，所述人脸跟踪模块用以根据嘴巴处的二阶特征点判断是否张嘴；所述人脸跟踪模块用以根据人脸的二阶特征点判断人脸的左右、上下姿态；
连续多帧的特征点构成的特征点序列，所述人脸跟踪模块用以分析所述特征点序列，得到人脸的运动轨迹。


6.一种人脸实时跟踪系统，其特征在于，所述人脸实时跟踪系统包括：
视频帧图像获取模块，用以获取视频的每一帧图像；
人脸检测模块，用以对于每一帧图像，调用不同的人脸检测模型，寻找是否有人脸出现；所述人脸检测模...

【专利技术属性】
技术研发人员：陈英时，耿敢超，左建锋，
申请(专利权)人：上海看看智能科技有限公司，
类型：发明
国别省市：上海;31