基于深度学习和关键点特征提取的人脸识别方法技术

本发明专利技术公开了一种新的基于深度学习的视频人脸检测及识别方法，其步骤是：在视频中检测人脸图像，通过对人眼区域的检测，排除非人脸区域对检测结果的干扰，把人脸图像准确的从背景中提取出来；选择人脸区域中受视觉干扰条件影响较小的区域，在这些区域内的关键点上提取局部特征；通过卷积神经网络提取选定的区域的高层人脸特征，与局部特征一起作为表达人脸的特征，在对该特征进行经过降维和归一化处理；对人脸对中两张人脸图像的特征进行相似性度量，逐一进行评估，选择相似性分值最高的一组，最后得到识别结果。本发明专利技术的应用，非限定条件下的良好识别效果，适用于姿态、表情、光照、遮挡等的复杂干扰环境。

【技术实现步骤摘要】

本专利技术属于计算机视觉研究领域，涉及视频图像处理和机器学习方法，特别是涉及基于深度学习和关键点特征提取的人脸识别方法。
技术介绍
随着监控摄像头的广泛应用，人脸识别系统的市场需求也在逐渐扩大。然而，在这些应用中被监控人群大多处于非约束状态，当前的人脸识别产品和人脸识别系统都需要对检测到的人脸具有一定的限定或要求。这些限定条件已成为人脸识别技术推广和应用的主要障碍。存在这些限定条件是因为：在非可控条件下，复杂干扰因素将导致人脸识别精度急剧下降，不能满足应用需求。在非可控条件下，不仅可能存在强光变化、大范围的姿态变化、夸张的表情变化、有意或无意的遮挡、图像分辨率偏低等严重的干扰因素，而且这些因素可能随机组合地出现在视频人脸图像中。这些复杂干扰将导致同一个人的人脸面像呈现巨大差异。这导致在非可控条件下准确地识别人脸非常困难。因此，非限定人脸识别依然是一个非常困难的问题；其识别精度也远不能满足实际应用需求。然而，在非限定人脸识别中，大多数当前工作都着重于减少单张人脸图像包含的干扰，而忽略了“视觉干扰条件差异”这种现象。例如，一些研究者采用图像预处理技术消除图像包含的干扰，如光照规范化技术、图像降噪技术、姿态评估技术等。另外一些研究者通过提取鲁棒的人脸特征表达减少复杂干扰的影响。当一张人脸图像包含强烈干扰时，当前的预处理技术和特征提取技术都无法有效地消除或抑制它们。相应地，当一对人脸图像视觉干扰条件不同时，当前人脸验证技术很难准确地识别它们。对于一对人脸图像，当它们视觉干扰条件不同时，选择具有相似干扰条件的局部区域图像对验证该对人脸，可以有效地减少局部强烈干扰的影响。并且，许多研究已表明，仅利用单个人脸部件判别也能得到令人满意的识别率。基于上述发现，如果预定义多个人脸区域，对于输入的待识别人脸图像对，通过评估它们是否存在视觉干扰条件差异，可以选择更可靠的人脸区域图像对。这将有效地减少局部强烈干扰对人脸验证过程的影响。近年来，国内外学者开始把深度学习方法应用在图像识别问题上，并取得了优异的效果。深度学习算法的一个重要的特性就是对训练样本集规模要求比较大，在视频人脸的识别过程，通过一个系统机构可以轻松的生成数万、数十万的样本数据，因此将视频人脸识别与深度学习算法相结合，可以有效的解决深度学习算法样本集规模不足的问题。同时，由于深度卷积神经网络能够提取对光照、表情、姿势等因素鲁棒且互补的特征，通过它来构建图像的本质特征，可以大大的提高非限定条件下视频人脸识别系统结果的准确性。
技术实现思路
针对上述现有技术，本专利技术目的在于提供基于深度学习和关键点特征提取的人脸识别方法，解决现有技术其深度学习算法样本集规模不足，在非限定条件下视频人脸识别系统抗干扰能力弱、识别精度低且鲁棒性差等技术问题。为达到上述目的，本专利技术采用的技术方案如下：基于深度学习和关键点特征提取的人脸识别方法，包括以下步骤，步骤1、获取视频图像，提取视频图像中的类哈尔特征；步骤2、根据类哈尔特征，构建级联的强分类器，再利用强分类器检测出视频图像中的人眼区域图像；步骤3、对人眼区域图像对称设置至少7个关键点，再对其进行区域划分，获得局部图像块；步骤4、获取人脸数据库中设置有相同关键点的预处理局部图像块，将其匹配局部图像块获得对应关键点的图像块对，再利用深度卷积神经网络提取出图像块对的特征向量；步骤5、计算特征向量的分类器决策分，判断出分类器决策分最高的图像块对，其中属于人脸数据库中的预处理局部图像块所在人脸图像作为识别的输出结果。上述方法中，所述的步骤2，包括如下步骤，步骤2.1、归一化权重，对应类哈尔特征，计算简单分类器的错误率，选择错误率最低的简单分类器作为弱分类器，并更新权重；步骤2.2、根据自适应增强算法，对弱分类器进行步骤2.1循环迭代，得出强分类器，并将所有强分类器级联；步骤2.3、利用级联的强分类器检测出视频图像中人眼区域图像。上述方法中，所述的步骤3，其中，对人眼区域图像设置23个关键点。上述方法中，所述的步骤4，包括如下步骤，步骤4.1、获取人脸数据库中设置有相同关键点的预处理局部图像块，将其匹配局部图像块获得对应关键点的图像块对，计算关键点的梯度并提取图像块对关键点的联合规范化局部特征；步骤4.2、预设梯度差异阈值条件，剔除不满足梯度差异阈值条件的梯度所属关键点所在图像块对；步骤4.3、利用深度卷积神经网络提取出剩余的图像块对的高维度特征向量；步骤4.4、将高维度特征向量连接对应关键点的联合规范化局部特征，获得特征向量。上述方法中，所述的步骤5，包括如下步骤，步骤5.1、计算特征向量的余弦距离向量；步骤5.2、根据余弦距离向量，训练并求出分类器决策函数；步骤5.3、利用分类器决策函数评估图像块对的相似性，判断出分类器决策分最高的图像块对，其中属于人脸数据库中的预处理局部图像块所在人脸图像作为识别的输出结果。与现有技术相比，本专利技术的有益效果：(1)本专利技术能够很好地实现对视频中的人脸图像检测，同时能够减弱非人脸图像对检测结果的干扰；(2)本专利技术用了及与深度学习的特征提取算法，能够得到抗姿态、表情、光照、遮挡等复杂干扰的、更具区分性的、互补的、低维的人脸特征，该特征能够在很大程度上降低人脸识别的错误率；(3)本专利技术能根据视觉条件差异，自适应的选择分类器决策分值，极大地降低非限定条件下人脸识别的错误率。附图说明图1本专利技术提供的的视频人脸检测流程图；图2本专利技术提供的人脸区域划分及关键点位置示意图；图3本专利技术的卷积神经网络结构示意图。具体实施方式本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。下面结合附图对本专利技术做进一步说明：实施例1过程1，基于Adaboost自适应增强算法的人脸检测(1.1)由Adaboost算法训练产生弱分类器的优化组合的具体实现如下，人脸检测流程图参照图1：给定n个训练样本：(x1,y1),(x2,y2),……(xn,yn)其中yi＝0,1,分别表示人脸区域和非人脸区域，xi表示24×24的子窗口。初始化样本权值为：其中m和l分别是负样本和正样本的个数。将Haar-Like类哈尔特征转换为弱分类器，弱分类器的定义公式如下：其中：hj(x)表示简单分类器的值；θj为阈值；pj表示不等号的方向，只能取±1；fj(x)表示从大小归一化到24×24的图像块上，提取到的Haar-Like特征值。选择T个最优的弱分类器，每个分类器选择方法如下：1.归一化权重：2.每一个特征j训练一个分类器，并计算该分类器的错误率：3.选择错误率最低的分类器ht作为一个弱分类器4.更新权重：当样本xi被正确分类时，ei＝0，否则ei＝1,重复上述4步，直到ei＝0。最终把选好的T个弱分类器组合成强分类器：其中，级联训练好的若干强分类器，形成级联分类器，用于人脸检测。(1.2)用训练好的级联分类器对视频中的人脸进行检测，选定若干可能为人脸的区域。本专利技术为了提高人脸检测的准确性，对上述可能的人脸区域，用Haar-Like特征和Adaboost算法，对人眼区域进行检测。若检测到的人脸内部有眼睛区域，则表示该人脸区域是真人脸区域，否则表示该人脸区域是假人脸区域，丢弃该检测结果。过程2，基于本文档来自技高网...

【技术保护点】
基于深度学习和关键点特征提取的人脸识别方法，其特征在于，包括以下步骤，步骤1、获取视频图像，提取视频图像中的类哈尔特征；步骤2、根据类哈尔特征，构建级联的强分类器，再利用强分类器检测出视频图像中的人眼区域图像；步骤3、对人眼区域图像对称设置至少7个关键点，再对其进行区域划分，获得局部图像块；步骤4、获取人脸数据库中设置有相同关键点的预处理局部图像块，将其匹配局部图像块获得对应关键点的图像块对，再利用深度卷积神经网络提取出图像块对的特征向量；步骤5、计算特征向量的分类器决策分，判断出分类器决策分最高的图像块对，其中属于人脸数据库中的预处理局部图像块所在人脸图像作为识别的输出结果。

【技术特征摘要】
1.基于深度学习和关键点特征提取的人脸识别方法，其特征在于，包括以下步骤，步骤1、获取视频图像，提取视频图像中的类哈尔特征；步骤2、根据类哈尔特征，构建级联的强分类器，再利用强分类器检测出视频图像中的人眼区域图像；步骤3、对人眼区域图像对称设置至少7个关键点，再对其进行区域划分，获得局部图像块；步骤4、获取人脸数据库中设置有相同关键点的预处理局部图像块，将其匹配局部图像块获得对应关键点的图像块对，再利用深度卷积神经网络提取出图像块对的特征向量；步骤5、计算特征向量的分类器决策分，判断出分类器决策分最高的图像块对，其中属于人脸数据库中的预处理局部图像块所在人脸图像作为识别的输出结果。2.根据权利要求1所述的基于深度学习和关键点特征提取的人脸识别方法，其特征在于，所述的步骤2，包括如下步骤，步骤2.1、归一化权重，对应类哈尔特征，计算简单分类器的错误率，选择错误率最低的简单分类器作为弱分类器，并更新权重；步骤2.2、根据自适应增强算法，对弱分类器进行步骤2.1循环迭代，得出强分类器，并将所有强分类器级联；步骤2.3、利用级联的强分类器检测出视频图像中人眼区域图像。3.根据权利要...

【专利技术属性】
技术研发人员：高建彬，刘婧月，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51