一种基于关键点区域特征融合的人脸识别方法及装置制造方法及图纸

本发明专利技术实施例公开了一种基于关键点区域特征融合的人脸识别方法及装置，所述方法包括：对训练集或测试集进行数据预处理；构建卷积神经网络模型；使用预处理后的训练集对所述卷积神经网络模型进行训练，提取出人脸关键点区域特征并进行融合；使用预处理后的测试集对所述卷积神经网络模型进行测试。利用卷积神经网络对提取的人脸关键点区域的特征进行融合，克服了传统人脸识别方法对光照差异、面部表情、有无遮挡等多种不确定干扰的敏感性的缺点，综合考虑人脸的全局特征和不变性特征，识别模型更具有鲁棒性和准确性，加强了不同特征之间的联系，使得提取的特征更加完善和完整，能够更加准确地描述人脸信息，提高了分类器的分类能力。

A Face Recognition Method and Device Based on Key Point Region Feature Fusion

The embodiment of the present invention discloses a face recognition method and device based on key point region feature fusion. The method includes: data preprocessing of training set or test set; constructing convolutional neural network model; using preprocessed training set to train the convolutional neural network model, extracting key point region feature of face and fusing it; and using preprocessed training set to train the convolutional neural network model; The convolution neural network model is tested by the test set. Convolutional neural network is used to fuse the features of the extracted key points of human face, which overcomes the shortcomings of traditional face recognition methods that are sensitive to various uncertain disturbances such as illumination difference, facial expression, occlusion or not. Considering the global and invariant features of human face, the recognition model has more robustness and accuracy, and strengthens the relationship between different features. The extracted features are more perfect and complete, can describe face information more accurately, and improve the classification ability of the classifier.

【技术实现步骤摘要】
一种基于关键点区域特征融合的人脸识别方法及装置
本专利技术实施例涉及计算机视觉处理
，具体涉及一种基于关键点区域特征融合的人脸识别方法及装置。
技术介绍
计算机视觉是当前深度学习领域中最为火热的一个研究方向，特别是越来越多的计算机视觉技术已经落地应用，其中应用最广泛技术之一的就是人脸识别技术，人脸识别技术也是在生物特征识别领域里多种技术不断更新迭代竞争淘汰后存活下来的技术。目前人脸识别方法主要分为两类，一类是基于表象的方法，另一类是基于特征的方法。基于表象的方法的基本思想是将二维的人脸图像转换到另外一个空间，然后用统计方法分析人脸模式；而基于特征的方法是先提取人脸的局部或者全局特征，然后送入分类器进行人脸识别。传统的人脸识别方法对光照差异、面部表情、有无遮挡等多种不确定干扰存在敏感性，导致识别准确性大幅降低。卷积神经网络是一个受生物视觉启发、以最简化预处理操作为目的的多层感知器的变形，本质是一个前向反馈神经网络，卷积神经网络与多层感知器的最大区别是网络前几层由卷积层和池化层交替级联组成，模拟视觉皮层中用于高层次特征提取的简单细胞和复杂细胞交替级联结构。卷积层的神经元对前一层输入的一部分区域有响应，提取输入的更高层次特征；池化层的神经元对前一层输入的一部分区域求平均值或最大值，抵抗输入的轻微形变或者位移。卷积神经网络的后几层一般是若干个全连接层和一个分类器构成的输出层。使用卷积神经网络进行人脸识别是一种基于特征的人脸识别方法，区别于传统的人工特征提取和针对特征的高性能分类器设计，它的优点是通过逐层卷积降维进行特征提取，然后经过多层非线性映射，使网络可以从未经特殊处理的训练样本中，自动学习形成适应该识别任务的特征提取器和分类器，该方法降低了对训练样本的要求，而且网络的层数越多，学习到的特征更具有全局性。而现有的基于卷积神经网络的人脸识别方法中存在对特征提取的不完整与不完善的问题，导致分类器分类能力不高，人脸识别准确性和鲁棒性不够。
技术实现思路
为此，本专利技术实施例提供一种基于关键点区域特征融合的人脸识别方法及装置，以解决现有的人脸识别方法识别准确性低以及基于卷积神经网络的人脸识别方法对特征提取不完整、不完善，导致分类器分类能力不高，人脸识别准确性和鲁棒性不够的问题。为了实现上述目的，本专利技术实施例提供如下技术方案：一种基于关键点区域特征融合的人脸识别方法，所述方法包括：对训练集或测试集进行数据预处理；构建卷积神经网络模型；使用预处理后的训练集对所述卷积神经网络模型进行训练，提取出人脸关键点区域特征并进行融合；使用预处理后的测试集对所述卷积神经网络模型进行测试。优选的，所述对训练集或测试集进行数据预处理包括：对所述训练集或测试集进行数据清洗；对所述训练集或测试集中的人脸图片进行人脸检测，抠取出人脸图像；将所述人脸图像进行人脸对齐处理。优选的，所述人脸关键点区域包括左眼区域、右眼区域、鼻子区域以及嘴区域，所述人脸关键点包括左眼关键点、右眼关键点、鼻子关键点、左嘴角关键点以及右嘴角关键点。优选的，所述左眼区域、右眼区域以及鼻子区域分别为以左眼关键点、右眼关键点以及鼻子关键点为中心点，取其周围边长为8的区域；所述嘴区域为以左嘴角关键点和右嘴角关键点的平均点为中心点，取其周围16×8的区域。优选的，所述卷积神经网络模型采用基于ResNet50扩展改进的深度神经网络模型。优选的，所述卷积神经网络模型包括输入层、Conv1卷积层、最大池化层、Conv2卷积层、Conv3卷积层、Conv4卷积层、Conv5卷积层、4个并列的Conv6卷积层和均值池化层；将预处理后的224×224人脸图像输入至所述卷积神经网络模型的输入层，经输入层输出至Conv1卷积层，所述Conv1卷积层的输入为3ch×224×224、输出为64ch×112×112、卷积核尺寸为7×7，然后经Conv1卷积层输出至最大池化层，所述最大池化层的输出为64ch×56×56、卷积核尺寸为3×3，再经最大池化层输出至Conv2卷积层，所述Conv2卷积层包括由3个不同的卷积构成的3个相同的块，所述Conv2卷积层中三个卷积的卷积核尺寸分别为1×1、3×3、1×1，输出分别为64ch×56×56、64ch×56×56、256ch×56×56，再经Conv2卷积层输出至Conv3卷积层，所述Conv3卷积层包括由3个不同卷积构成的4个相同的块，所述Conv3卷积层中三个卷积的卷积核尺寸分别为1×1、3×3、1×1，输出分别为128ch×28×28、128ch×28×28、512ch×28×28，再经Conv3卷积层输出至Conv4卷积层，所述Conv4卷积层包括由3个不同卷积构成的6个相同的块，所述Conv4卷积层中三个卷积的卷积核尺寸分别为1×1、3×3、1×1，输出分别为256ch×14×14、256ch×14×14、1024ch×14×14，再经Conv4卷积层输出至Conv5卷积层，所述Conv5卷积层包括由3个不同卷积构成的3个相同的块，所述Conv5卷积层中三个卷积的卷积核尺寸分别为1×1、3×3、1×1，输出分别为512ch×7×7、512ch×7×7、1024ch×7×7；由Conv3卷积层的中间特征表达上提取出相应人脸关键点区域的特征，所述Conv3卷积层后接入4个并列的Conv6卷积层，所述Conv6卷积层的输入为512ch×28×28、输出为256ch×7×7，每个Conv6卷积层对应提取一个人脸关键点区域的特征，将4个Conv6卷积层的输出端相连进行融合输出为1024ch×7×7，最后通过均值池化层输出1024ch×1×1。优选的，所述训练集采用MS-Celeb-1M数据集。优选的，所述测试集采用LFW数据集。本专利技术实施例还提出了一种基于关键点区域特征融合的人脸识别装置，所述装置包括：预处理模块，用于对训练集或测试集进行数据预处理；网络建立模块，用于构建卷积神经网络模型；训练模块，用于使用预处理后的训练集对所述卷积神经网络模型进行训练，提取出人脸关键点区域特征并进行融合；测试模块，用于使用预处理后的测试集对所述卷积神经网络模型进行测试。优选的，所述预处理模块包括：数据清洗单元，用于对训练集或测试集进行数据清洗；人脸检测单元，用于对训练集或测试集中的人脸图片进行人脸检测，并抠取出人脸图像；人脸对齐单元，用于将所述人脸图像进行人脸对齐处理。本专利技术实施例具有如下优点：本专利技术实施例提出的一种基于关键点区域特征融合的人脸识别方法及装置，利用卷积神经网络对提取的人脸关键点区域的特征进行融合，克服了传统人脸识别方法对光照差异、面部表情、有无遮挡等多种不确定干扰的敏感性的缺点，降低了对训练集样本的要求，使得学习到的特征更具有全局性，识别模型更具有鲁棒性和准确性，综合考虑人脸的全局特征和不变性特征，保证了人脸识别模型不会因干扰因素而降低性能，相较于其他基于卷积神经网络的人脸识别方法，加强了不同特征之间的联系，使得提取的特征更加完善和完整，能够更加准确地描述人脸信息，具备得到全局最优分类的能力，提高了分类器的分类能力。附图说明为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见本文档来自技高网...

【技术保护点】
1.一种基于关键点区域特征融合的人脸识别方法，其特征在于，所述方法包括：对训练集或测试集进行数据预处理；构建卷积神经网络模型；使用预处理后的训练集对所述卷积神经网络模型进行训练，提取出人脸关键点区域特征并进行融合；使用预处理后的测试集对所述卷积神经网络模型进行测试。

【技术特征摘要】
1.一种基于关键点区域特征融合的人脸识别方法，其特征在于，所述方法包括：对训练集或测试集进行数据预处理；构建卷积神经网络模型；使用预处理后的训练集对所述卷积神经网络模型进行训练，提取出人脸关键点区域特征并进行融合；使用预处理后的测试集对所述卷积神经网络模型进行测试。2.根据权利要求1所述的一种基于关键点区域特征融合的人脸识别方法，其特征在于，所述对训练集或测试集进行数据预处理包括：对所述训练集或测试集进行数据清洗；对所述训练集或测试集中的人脸图片进行人脸检测，抠取出人脸图像；将所述人脸图像进行人脸对齐处理。3.根据权利要求1所述的一种基于关键点区域特征融合的人脸识别方法，其特征在于，所述人脸关键点区域包括左眼区域、右眼区域、鼻子区域以及嘴区域，所述人脸关键点包括左眼关键点、右眼关键点、鼻子关键点、左嘴角关键点以及右嘴角关键点。4.根据权利要求3所述的一种基于关键点区域特征融合的人脸识别方法，其特征在于，所述左眼区域、右眼区域以及鼻子区域分别为以左眼关键点、右眼关键点以及鼻子关键点为中心点，取其周围边长为8的区域；所述嘴区域为以左嘴角关键点和右嘴角关键点的平均点为中心点，取其周围16×8的区域。5.根据权利要求1所述的一种基于关键点区域特征融合的人脸识别方法，其特征在于，所述卷积神经网络模型采用基于ResNet50扩展改进的深度神经网络模型。6.根据权利要求5所述的一种基于关键点区域特征融合的人脸识别方法，其特征在于，所述卷积神经网络模型包括输入层、Conv1卷积层、最大池化层、Conv2卷积层、Conv3卷积层、Conv4卷积层、Conv5卷积层、4个并列的Conv6卷积层和均值池化层；将预处理后的224×224人脸图像输入至所述卷积神经网络模型的输入层，经输入层输出至Conv1卷积层，所述Conv1卷积层的输入为3ch×224×224、输出为64ch×112×112、卷积核尺寸为7×7，然后经Conv1卷积层输出至最大池化层，所述最大池化层的输出为64ch×56×56、卷积核尺寸为3×3，再经最大池化层输出至Conv2卷积层，所述Conv2卷积层包括由3个不同的卷积构成的3个相同的块，所述Conv2卷积层中三个卷积的卷积核尺寸分别为1×1、3×3、1×1，输出分别为64ch×56×56、64ch×56×56、256ch×56×...

【专利技术属性】
技术研发人员：安玉山，
申请(专利权)人：北京视甄智能科技有限公司，
类型：发明
国别省市：北京,11