基于人脸关键点校正的人脸检测识别方法及装置制造方法及图纸

一种基于人脸关键点校正的人脸检测识别方法，包括人脸检测识别模型训练方法与人脸检测识别模型使用方法两方面。所述人脸检测识别模型训练方法，将训练数据集送入两级卷积神经网络进行训练，第一级为检测校正网络，完成检测部分模型训练；第二级为识别网络，得到识别部分模型。所述人脸检测识别模型使用方法，将待测图像输入到已训练好的所述检测校正网络，得到人脸关键点位置坐标，根据所述人脸关键点位置对所述待测图像进行裁剪校正，将所述校正后的图像输入到已训练好的所述识别网络，得到人脸的身份识别信息。

Face Detection and Recognition Method and Device Based on Face Key Point Correction

A face detection and recognition method based on face key point correction includes two aspects: training method of face detection and recognition model and using method of face detection and recognition model. The training method of face detection and recognition model puts the training data into two-level convolution neural network for training. The first level is detection and correction network, which completes the training of part of the detection model; the second level is recognition network, which obtains part of the recognition model. The method of using the face detection and recognition model inputs the image to be tested into the trained detection and correction network, obtains the position coordinates of the key points of the face, cuts and corrects the image to be measured according to the position of the key points of the face, inputs the corrected image into the trained recognition network, and obtains the face recognition information.

【技术实现步骤摘要】
基于人脸关键点校正的人脸检测识别方法及装置
本专利技术涉及计算机视觉领域，特别涉及一种基于人脸关键点校正的人脸检测识别方法和装置。
技术介绍
随着深度学习技术的发展和计算机运算能力的飞速提升，人工智能、计算机视觉和图像处理等领域发展迅猛。其中人脸识别作为计算机视觉领域的经典课题，具有很大的可研究性和应用价值，且对其具有很高的需求。人脸识别所解决的主要问题是，对于输入一张包含人脸部的图像，算法可自动在图像上进行人脸部特征提取，并根据特征对脸部图像进行识别，给出识别结果。当前，人脸识别相关技术取得了较大进展，并已经出现了一些成功应用。传统的人脸识别方法包括基于几何特征的方法，基于主成分分析的方法，基于小波变换和图形匹配的方法等。基于几何特征的方法是对人脸关键点(眼，口，鼻等)进行几何关系运算，例如距离、角度等，根据距离或角度关系来进行对人脸的识别，此种方法容易忽略局部细微特征，造成特征丢失，精度较低，更适用于粗分类；基于主成分分析的方法又称为PCA，其基本思想从统计的观点出发，寻找人脸图像分布的基本元素，即人脸图像样本集协方差矩阵的特征向量，以此近似地表征人脸图像，这种方法对训练图像与测试图像相似性要求较高，因此有很大局限性；基于小波变换和图形匹配的方法，精确抽取面部特征点以及基于Gabor引擎的匹配算法，具有较好的准确性，能够排除由于面部姿态、表情、发型、眼镜、照明环境等带来的变化，但其识别速度较慢。近年来，随着计算机视觉与深度学习的发展，深度学习在人脸识别方面的研究获得更多关注。出现了一些利用深度学习进行人脸检测识别的方法，但是人脸识别准确率仍然不高，不能满足日益提高的使用需求。
技术实现思路
本专利技术针对上述问题，提出了一种基于人脸关键点校正的人脸检测识别模型训练方法与装置以及基于人脸关键点校正的人脸检测识别方法和装置，基本思想涉及检测与识别技术，以解决人脸识别准确率低和识别速度慢的问题，拓展了人脸检测识别系统的使用范围。为解决上述技术问题，根据本专利技术的一个方面，提供了一种基于人脸关键点校正的人脸检测识别模型训练方法，所述方法包括以下步骤：1)获取人脸图像，所述人脸图像为多张不同角度的人脸图像；2)对于获取的所述人脸图像，采用人脸关键点检测器对人脸关键点位置进行检测，得到人脸关键点位置坐标作为训练标签数据；3)将所述人脸图像与所述人脸关键点位置坐标输入到检测校正网络，所述检测校正网络为第一级卷积神经网络，得到检测部分模型；4)将所述人脸图像进行校正裁剪；5)将所述校正裁剪后的人脸图像输入识别网络，所述识别网络为第二级卷积神经网络，得到识别部分模型。优选地，所述检测校正网络，在最后一层采用多层全连接层对所述人脸关键点位置坐标进行回归训练，计算第一损失函数值，并进行反向误差计算，对所述第一级卷积神经网络参数进行调整，待所述第一损失函数值收敛到预定值，结束训练。优选地，所述识别网络，将人的身份信息作为最后一层输出，进行softmax分类训练，计算第二损失函数值，并进行反向误差计算，对所述第二级卷积神经网络参数进行调整，待所述第二损失函数值收敛到预定值，结束训练。优选地，所述第一级卷积神经网络的所述第一损失函数采用欧式距离值平均值，计算预测坐标与真实坐标欧式距离值平均值。优选地，所述第二级卷积神经网络的所述第二损失函数采用交叉熵平均值，计算预测向量与真实标签向量交叉熵平均值；并根据所述第二损失函数值判断所述第二级卷积神经网络是否已收敛；若否，则根据所述第二损失函数值调整所述第二级卷积神经网络参数；若是，则确定模型训练完毕，结束训练。优选地，所述人脸图像的获取，包括从照片文件获取或从摄像装置采集获取；特别地，从照片文件获取包括从网络数据集获取；从摄像装置采集获取包括手动拍照采集。根据本专利技术的另一个方面，提供了一种基于人脸关键点校正的人脸检测识别方法，所述方法包括：，1)采用基于人脸关键点校正的人脸检测识别模型训练方法训练得到的所述识别部分模型；2)将待测人脸图像输入训练好的所述第一级卷积神经网络，经神经网络进行卷积计算后，在所述第一级卷积神经网络最后一层即回归层得到人脸关键点位置坐标；3)根据所述人脸关键点位置坐标，根据各关键点相互位置关系，确定人脸位置进行裁剪，并进行旋转校正，得到裁剪校正后的人脸图像；4)将所述裁剪校正后的人脸图像输入训练好的所述第二级卷积神经网络，经神经网络进行卷积计算后，在所述第二级卷积神经网络的最后一层即softmax分类层得到所述人脸图像的身份信息。优选地，所述待测人脸图像来源为照片文件和/或摄像装置采集。根据本专利技术的另一个方面，提供了一种基于人脸关键点校正的人脸检测识别模型训练装置，包括：1)模型图像获取装置，获取人脸图像，所述人脸图像为多张不同角度的人脸图像；2)模型位置检测装置，对于获取的所述人脸图像，采用人脸关键点检测器对人脸关键点位置进行检测，得到人脸关键点位置坐标作为训练标签数据；3)模型检测装置，将所述人脸图像与所述人脸关键点位置坐标输入到检测校正网络，所述检测校正网络为第一级卷积神经网络，得到检测部分模型；4)模型裁剪装置，将所述人脸图像进行校正裁剪；5)模型识别装置，将所述校正裁剪后的人脸图像输入识别网络，所述识别网络为第二级卷积神经网络，得到识别部分模型。根据本专利技术的另一个方面，提供了一种基于人脸关键点校正的人脸检测识别装置，包括：获取装置，采用基于人脸关键点校正的人脸检测识别模型训练方法训练得到的所述识别部分模型；位置检测装置，将待测人脸图像输入训练好的所述第一级卷积神经网络，经神经网络进行卷积计算后，在所述第一级卷积神经网络最后一层即回归层得到人脸关键点位置坐标；裁剪装置，根据所述人脸关键点位置坐标，根据各关键点相互位置关系，确定人脸位置进行裁剪，并进行旋转校正，得到裁剪校正后的人脸图像；识别装置，将所述裁剪校正后的人脸图像输入训练好的所述第二级卷积神经网络，经神经网络进行卷积计算后，在所述第二级卷积神经网络的最后一层即softmax分类层得到所述人脸图像的身份信息。根据本专利技术的上述基于人脸关键点校正的人脸检测识别模型训练方法和装置以及基于人脸关键点校正的人脸检测识别方法和装置，能够将训练数据集送入两级卷积神经网络进行训练，第一级为检测校正网络，完成检测校正任务，将图像输入卷积神经网络，在最后一层对人脸关键点坐标进行回归，完成检测部分模型训练；第二级为识别网络，完成识别任务，将人脸图像输入到第二级卷积神经网络网络，在最后一层softmax得到识别结果，完成识别网络的训练，得到识别部分模型；使用时，将图像输入到检测模型部分，得到人脸关键点位置坐标，根据人脸关键点位置坐标，使用人脸关键点对齐的方式对人脸作出裁剪校正；将裁减校正后的图像输入已训练好的识别部分模型，得到识别结果。从而大大提高了人脸识别的准确率，并且人脸检测识别速度快，提高了人脸检测识别系统的使用范围。本专利技术具有如下优点：1)通过将待测人脸图像根据人脸关键点位置进行裁剪校正，增加大了不同情况下采集到的人脸图像的相似性，减小了复杂环境对人脸图像的影响，有利于提高识别率。2)采用两层卷积神经网络作为检测识别模型的主体部分，相较传统方法，提高了识别速度。附图说明通过结合附图对本专利技术的实施例进行详细描述，本文档来自技高网...

【技术保护点】
1.一种基于人脸关键点校正的人脸检测识别模型训练方法，其特征在于，所述方法包括以下步骤：1)获取人脸图像，所述人脸图像为多张不同角度的人脸图像；2)对于获取的所述人脸图像，采用人脸关键点检测器对人脸关键点位置进行检测，得到人脸关键点位置坐标作为训练标签数据；3)将所述人脸图像与所述人脸关键点位置坐标输入到检测校正网络，所述检测校正网络为第一级卷积神经网络，得到检测部分模型；4)将所述人脸图像进行校正裁剪；5)将所述校正裁剪后的人脸图像输入识别网络，所述识别网络为第二级卷积神经网络，得到识别部分模型。

【技术特征摘要】
1.一种基于人脸关键点校正的人脸检测识别模型训练方法，其特征在于，所述方法包括以下步骤：1)获取人脸图像，所述人脸图像为多张不同角度的人脸图像；2)对于获取的所述人脸图像，采用人脸关键点检测器对人脸关键点位置进行检测，得到人脸关键点位置坐标作为训练标签数据；3)将所述人脸图像与所述人脸关键点位置坐标输入到检测校正网络，所述检测校正网络为第一级卷积神经网络，得到检测部分模型；4)将所述人脸图像进行校正裁剪；5)将所述校正裁剪后的人脸图像输入识别网络，所述识别网络为第二级卷积神经网络，得到识别部分模型。2.根据权利要求1所述的基于人脸关键点校正的人脸检测识别模型训练方法，其特征在于，所述检测校正网络，在最后一层采用多层全连接层对所述人脸关键点位置坐标进行回归训练，计算第一损失函数值，并进行反向误差计算，对所述第一级卷积神经网络参数进行调整，待所述第一损失函数值收敛到预定值，结束训练。3.根据权利要求1所述的基于人脸关键点校正的人脸检测识别模型训练方法，其特征在于，所述识别网络，将人的身份信息作为最后一层输出，进行softmax分类训练，计算第二损失函数值，并进行反向误差计算，对所述第二级卷积神经网络参数进行调整，待所述第二损失函数值收敛到预定值，结束训练。4.根据权利要求2所述的基于人脸关键点校正的人脸检测识别模型训练方法，其特征在于，所述第一级卷积神经网络的所述第一损失函数采用欧式距离值平均值，计算预测坐标与真实坐标欧式距离值平均值。5.根据权利要求3所述的基于人脸关键点校正的人脸检测识别模型训练方法，其特征在于，所述第二级卷积神经网络的所述第二损失函数采用交叉熵平均值，计算预测向量与真实标签向量交叉熵平均值；并根据所述第二损失函数值判断所述第二级卷积神经网络是否已收敛；若否，则根据所述第二损失函数值调整所述第二级卷积神经网络参数；若是，则确定模型训练完毕，结束训练。6.根据权利要求1所述的基于人脸关键点校正的人脸检测识别模型训练方法，其特征在于，所述人脸图像的获取，包括从照片文件获取或从摄像装置采集获取；特别地，从照片文件获取包括从网络数据集获取，从摄像装置采集获取包括手动拍照采集。7.一种基于人脸关键点校正的人脸检测识别方法，其特征在于...

【专利技术属性】
技术研发人员：张红武，舒剑军，
申请(专利权)人：北京英索科技发展有限公司，
类型：发明
国别省市：北京,11