一种视频人脸识别方法技术

本发明专利技术公开了一种视频人脸识别方法，包括以下步骤：S1：对视频进行人脸检测和跟踪得到人脸序列；S2：对所述人脸序列进行筛选，得到人脸典型帧集合；S3：基于正面人脸生成技术和图像超分辨率技术优化所述人脸典型帧集合，得到增强的人脸典型帧集合；S4：通过将所述增强的人脸典型帧集合与预设的静态人脸图像匹配库比对，进行人脸识别或验证。与现有的视频人脸识别方法相比，本发明专利技术通过使用增强的人脸典型帧集合，过滤和补偿了视频人脸姿态和分辨率的变化，从而提高了视频人脸识别的鲁棒性。

【技术实现步骤摘要】
一种视频人脸识别方法
本专利技术涉及视频监控
，特别涉及一种视频人脸识别方法。
技术介绍
随着视频监控系统的普及和逐渐增加的发展需求，基于视频的人脸识别已经取得了长足的发展，并对智能交通、门禁、信息安全以及安保、安防等安全领域具有十分重要的作用。现有的视频人脸识别方法的一种主要应用模式为视频对静态图像识别，所述视频对静态图像识别采用人脸视频作为输入，通过和静态图像人脸数据库进行比对来实现识别或验证。视频对静态图像识别的一类方法是对每一帧人脸图像采用静态人脸识别方法来识别，最后按照概率打分、距离判决(最近距离，平均距离)或多数投票来融合所有帧的识别结果；另一类方法是利用视频序列生成人脸模型(如3D人脸建模)或者基于运动时序信息生成人脸模型(如HMM建模)的方法；这两类方法的共同缺点是没有有效地过滤和补偿视频里的各种人脸变化，因而视频人脸识别的鲁棒性有待提高。还有一类方法是学习静态图像和视频数据之间的映射关系，以期同时解决视频人脸相比于静态人脸的不同变化以及两者图像质量不同的问题，比如将视频帧的低分辨率空间映射到静态图像的高分辨率空间，或者将异质数据空间映射到一个公共空间上以保持两者的对应关系。现有的映射学习方法是典型相关分析(CCA)和鉴别偏最小二乘方法(PLS)。假设静态图像集和视频帧集合分别是和而且静态图像和视频帧对分别来自c个人脸类别，则CCA是要求解投影矩阵U和V，将集合X和Y分别投影到一个公共空间，使得它们的相关性在这个空间上最大化：其中cov(·,·)是协方差算子；CCA存在的问题是忽略了不同类人脸样本在公共空间里的可分性；PLS的目标是要使得集合X和Y投影到公共空间后的协方差最大：s.t.||U||＝||V||＝1PLS存在的问题是PLS为非监督，没有充分利用c类人脸样本的鉴别信息。现有的映射学习方法存在的问题是：在视频人脸的姿态、分辨率等复合变化下学习到的映射矩阵不准确，并且没有充分引入人脸类别的鉴别信息，因而人脸识别器的鉴别性能不够强。
技术实现思路
(一)要解决的技术问题本专利技术要解决的技术问题是现有的视频人脸识别方法的鲁棒性以及基于映射学习方法的视频人脸识别方法的鉴别性能有待提高。(二)技术方案本专利技术提供一种视频人脸识别方法，包括以下步骤：S1：对视频进行人脸检测和跟踪得到人脸序列；S2：对所述人脸序列进行筛选，得到人脸典型帧集合；S3：基于正面人脸生成技术和图像超分辨率技术优化所述人脸典型帧集合，得到增强的人脸典型帧集合；S4：通过将所述增强的人脸典型帧集合与预设的静态人脸图像匹配库比对，进行人脸识别或验证。优选地，所述步骤S2包括：根据人眼检测置信度、姿态估计和图像模糊评价指标，对所述人脸序列进行筛选，得到人脸典型帧集合，所述姿态估计包括人脸二维姿态估计。优选地，步骤S4具体包括：S41：对所述增强的人脸典型帧集合及预设的静态人脸图像匹配库进行光照预处理后，提取人脸典型帧的Gabor特征及静态人脸图像的Gabor特征；S42：对预设的视频库进行所述步骤S1至S3，得到预设的人脸典型帧集合；提取所述预设的人脸典型帧集合的Gabor特征及预设的静态人脸图像训练库的Gabor特征；对所述预设的人脸典型帧集合的Gabor特征及预设的静态人脸图像训练库的Gabor特征进行鉴别映射学习，得到人脸典型帧映射矩阵及静态人脸图像映射矩阵；S43：通过步骤S42中两个映射矩阵，将步骤S41中人脸典型帧的Gabor特征及静态人脸图像的Gabor特征投影到公共空间，采用所述增强的人脸典型帧集合及预设的静态人脸图像匹配库的最近距离进行人脸识别。优选地，步骤S2具体包括：S21：选取所述人脸序列中人眼检测置信度大于预设阈值一的视频帧；S22：判断选取的视频帧少于5张是否成立，若成立，则选取的视频帧构成人脸典型帧集合，否则，执行S23；S23：估计S21中选取的视频帧的人脸二维姿态；S24：估计S21中选取的视频帧的图像模糊评价指标；S25：根据S23中估计的视频帧的人脸二维姿态和S24中估计的视频帧的图像模糊评价指标，将S21中选取的视频帧按照人脸二维姿态和图像模糊评价指标由小到大的顺序排列，选择排列中前5帧构成人脸典型帧合集。优选地，在S23中，采用嵌入LDA的自适应随机森林算法分别对人脸的左右旋转角度和俯仰旋转角度进行回归估计。优选地，所述S24包括：S241：将所述选取的视频帧通过预设的低通滤波器，得到所述选取的视频帧的模糊图像，计算所述模糊图像的邻域梯度变化；S242：通过比较所述选取的视频帧和所述模糊图像的邻域梯度变化，得到选取的视频帧的图像模糊评价指标，所述指标是0到1范围内的实数。优选地，步骤S3具体包括：S31：采用正面人脸生成技术矫正所述人脸典型帧集合中人脸姿态大于预定阈值二的典型帧；S32：采用图像超分辨率技术增强所述人脸典型帧集合中人脸眼距小于60像素的典型帧的分辨率。优选地，在步骤S32中，所述图像超分辨率技术中图像超分辨放大倍数由典型帧的人脸眼距和60像素的倍数关系确定，超分辨率重建是利用人脸典型帧集合中每一帧的前后两帧进行相似性正则。优选地，步骤S41具体包括：S411：采用按点除以邻域算术均值PDAM的光照预处理方法对所述增强的人脸典型帧集合中的典型帧及预设的静态人脸图像匹配库中的静态人脸图像进行光照归一化；S412：提取人脸典型帧的Gabor幅值特征及静态人脸图像的Gabor幅值特征。优选地，在步骤S42中采用鉴别偏最小二乘方法DPLS学习映射矩阵。(三)有益效果本专利技术提供的视频人脸识别方法通过使用增强的人脸典型帧集合，过滤和补偿了视频人脸姿态和分辨率的变化，从而提高了视频人脸识别的鲁棒性，并且通过采用鉴别偏最小二乘方法DPLS学习映射矩阵，充分利用了人脸的标签信息，从而提高了视频人脸识别性能。附图说明图1是本专利技术实施例的视频人脸识别方法的流程图；图2是本专利技术实施例的基于嵌入LDA的自适应随机森林的姿态估计方法的示意图；图3是本专利技术实施例的图像超分辨率方法的流程图；图4是本专利技术实施例的鉴别偏最小二乘方法(DPLS)的示意图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细说明。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。本专利技术实施例提供一种视频人脸识别方法，如图1所示，具体包括以下步骤：S1：对视频进行人脸检测和跟踪得到人脸序列；本实施例中人脸检测使用的是改进的Adaboost分类器，收集多个视角的人脸样本来训练，并使用编码形状不同的LBP特征来描述人脸。采用马尔科夫随机场模型使得分类器的输出结果为一个包含不同人脸部件的后验概率的矩阵，从而融合为最后的多姿态人脸检测器。人脸跟踪是通过级联的GentleAdaBoost方法训练得到强分类器，再嵌入到自适应粒子滤波过程中来实现稳定跟踪。S2：对所述人脸序列进行筛选，得到人脸典型帧集合；本实施例中，所述步骤S2包括：根据人眼检测置信度、姿态估计和图像模糊评价指标，对所述人脸序列进行筛选，得到人脸典型帧集合，所述姿态估计包括人脸二维姿态估计。本实施例中，步骤S2具体包括：S21：选取所述人脸序列中人眼检测置信度大于预设阈值一的视频帧，这些视频帧初步判定为可靠的人脸典型帧；S22：判断选取的视频帧本文档来自技高网...

【技术保护点】
一种视频人脸识别方法，其特征在于，包括以下步骤：S1：对视频进行人脸检测和跟踪得到人脸序列；S2：对所述人脸序列进行筛选，得到人脸典型帧集合；S3：基于正面人脸生成技术和图像超分辨率技术优化所述人脸典型帧集合，得到增强的人脸典型帧集合；S4：通过将所述增强的人脸典型帧集合与预设的静态人脸图像匹配库比对，进行人脸识别或验证。

【技术特征摘要】
1.一种视频人脸识别方法，其特征在于，包括以下步骤：S1：对视频进行人脸检测和跟踪得到人脸序列；S2：对所述人脸序列进行筛选，得到人脸典型帧集合；S3：基于正面人脸生成技术和图像超分辨率技术优化所述人脸典型帧集合，得到增强的人脸典型帧集合；S4：通过将所述增强的人脸典型帧集合与预设的静态人脸图像匹配库比对，进行人脸识别或验证；步骤S2具体包括：S21：选取所述人脸序列中人眼检测置信度大于预设阈值一的视频帧；S22：判断选取的视频帧少于5张是否成立，若成立，则选取的视频帧构成人脸典型帧集合，否则，执行步骤S23；S23：估计步骤S21中选取的视频帧的人脸二维姿态；S24：估计步骤S21中选取的视频帧的图像模糊评价指标；S25：根据步骤S23中估计的视频帧的人脸二维姿态和步骤S24中估计的视频帧的图像模糊评价指标，将步骤S21中选取的视频帧按照人脸二维姿态和图像模糊评价指标由小到大的顺序排列，选择排列中前5帧构成人脸典型帧合集。2.如权利要求1所述的方法，其特征在于，所述步骤S4包括：S41：对所述增强的人脸典型帧集合及预设的静态人脸图像匹配库进行光照预处理后，提取人脸典型帧的Gabor特征及静态人脸图像的Gabor特征；S42：对预设的视频库进行所述步骤S1至S3，得到预设的人脸典型帧集合；提取所述预设的人脸典型帧集合的Gabor特征及预设的静态人脸图像训练库的Gabor特征；对所述预设的人脸典型帧集合的Gabor特征及预设的静态人脸图像训练库的Gabor特征进行鉴别映射学习，得到人脸典型帧映射矩阵及静态人脸图像映射矩阵；S43：通过步骤S42...

【专利技术属性】
技术研发人员：丁晓青，黄琛，方驰，刘长松，何志翔，雷云，丁鏐，王争儿，梁亦聪，彭良瑞，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11