人脸检测与识别装置及方法制造方法及图纸

本发明专利技术公开了一种人脸检测与识别系统及方法，该人脸检测与识别系统包括：人脸检测模块，基于tensorflow神经网络框架，利用多任务卷积神经网络MTCNN方法对获取的视频帧进行人脸检测；特征提取模块，基于所述tensorflow神经网络框架，利用FaceNet方法对所述人脸检测模块检测得到的人脸数据进行特征提取；分类模块，用于对所述特征提取模块得到的人脸特征进行分类，以实现人脸识别。本发明专利技术的上述技术方案，实现了实时人脸检测与识别，具有准确率高、处理速度快、未来更新容易的特点。

Face detection and recognition device and method

The invention discloses a system and method for face detection and recognition, including face detection and recognition system: the face detection module, tensorflow neural network framework based on face detection in the video frame capture using multi task convolutional neural network MTCNN method; feature extraction module, the tensorflow neural network framework based on face data by using the FaceNet method to get the face detection module detect feature extraction; classification module, used for the feature extraction of facial feature modules are classified, in order to achieve face recognition. The above technical scheme of the invention has realized the real-time face detection and recognition, which has the characteristics of high accuracy, fast processing speed and easy to update in the future.

【技术实现步骤摘要】
人脸检测与识别装置及方法
本专利技术涉及图像识别
，具体来说，涉及一种人脸检测与识别装置及方法。
技术介绍
人脸识别系统，是基于人的脸部特征信息进行身份识别的一种生物识别技术，可用于多种领域，如小区门禁、公司考勤、司法刑侦等。其过程是用摄像头采集视频流，自动在图像中检测和跟踪人脸，进而对检测到的人脸进行人像识别。目前，人脸识别系统已得到广泛应用，其成功的关键在于核心算法。随着人工智能的不断发展，人脸识别算法也在逐步更替，从以往的人工特征提取向深度学习方向转变。人脸识别系统的工作流程一般包括人脸检测、人脸特征提取、对提取的特征进行分类，从而完成人脸识别。1.人脸检测所谓人脸检测，就是给定任意一张图片，找到其中是否存在一个或多个人脸，并返回图片中每个人脸的位置和范围。人脸检测算法以往被分为基于知识的、基于特征的、基于模板匹配的、基于外观的四类方法。随着近些年DPM(DirectPartModel)算法(可变部件模型)和深度学习CNN(convolutionalneuralnetworks，卷积神经网络)的广泛运用，人脸检测所有算法可以总分为两类：①Basedonrigidtemplates(基于模板匹配)：现有技术的代表有Boosting(一种算法)+features(特征)和CNN；②Basedonpartsmodel(基于部件模型)。但是，由于人脸是具有相当复杂细节变化的自然结构目标，对于这类目标的检测是一个富有挑战性的课题。具体来讲，其检测难度包括：(1)由于外貌、表情、姿态、皮肤颜色等不同，人脸本身具有模式的可变性；(2)由于刘海、眼镜、胡须等附属物存在的不确定性而使人脸有不同的特征；(3)图像的大小、光源方向和光照强弱等都会影响人脸的最终表达。由此，使得正面/垂直/光线较好的人脸，可以检测出来，而侧面/歪斜/光线不好的人脸，无法检测。也就是说，人脸检测存在人脸检测的精度不高，受外界环境干扰程度较大的问题。因此，如果能找到这些问题的解决办法，成功研究出人脸的检测系统，将会为人脸的自动识别技术的发展产生巨大的推动，而且也会为其它具有类似特征的检测问题提供重要启示。2.人脸特征提取人脸特征提取是在人脸检测的基础上，在人脸所在区域中获取人脸面部特征信息的过程。现有的特征提取方法包括：特征脸法(Eigenface)、PAC(PrincipalComponentAnalysis主成分分析法)。传统深度学习特征提取：softmax作为代价函数，抽取神经网络中的某一层作为特征。但是，人脸特征提取存在问题：(1)非深度学习算法：提取的特征不准确，人脸特征间相似度比较高。原因：在传统的非深度学习算法中，人脸特征常常需要通过有图像知识的工程师进行人工提取或其他数据处理方法进行主要特征提取。然而人脸图像差异小，而且一个人的特征不一定一成不变，人脸本身是一个柔性物体，表情，姿态或者发型，化妆的千变万化都会给正确识别造成相当大的麻烦，因此普通的机器学习算法提取的特征表达性较弱，会导致后续人脸识别结果不准确。此外，提取效率低。(2)传统深度学习算法：生成的图像特征维度大，提取效率低。原因：传统的神经网络特征提取使用softmax作为代价函数，需要在监督学习网络的中间一层抽取。因此很多现有项目中人脸特征及人脸识别作为一个统一的过程，不涉及特征提取步骤，由此产生的问题是训练时间长，在实际工程项目中不实用。3.分类方法分类，是指按照种类、等级或性质分别归类，对提取的特进行分类，从而完成人脸识别。现有的分类方法包括：决策树方法、贝叶斯方法、人工神经网络。但是，朴素贝叶斯作为最简单的机器学习算法虽然计算速度快，但是准确度很低，造成欠拟合。决策树算法准确率也不尽人意。因此，现有的分类方法存在分类不准确、运算复杂、耗时长的问题。而传统KNN算法在实际应用时需要将当前数据与数据库中所有数据进行相似度比对，人脸识别耗时长。深度学习方法准确度较高，但因为模型较为复杂，在前期训练时耗时很长，尤其在实际工程中，如果训练硬件达不到高性能级别，前期训练花费时间会更长。而在人脸识别中，如果应用于门禁、考勤系统，需要定期重新训练算法以加入新的人脸标签，应在方便和准确度之前衡量得失。
技术实现思路
针对相关技术中存在的问题，本专利技术提出一种人脸检测与识别装置及方法，能够实现实时人脸检测与识别，且准确率高、处理速度快、未来更新容易。本专利技术的技术方案是这样实现的：根据本专利技术的一个方面，提供了一种人脸检测与识别系统，包括：人脸检测模块，基于tensorflow神经网络框架，利用多任务卷积神经网络MTCNN方法对获取的视频帧进行人脸检测；特征提取模块，基于tensorflow神经网络框架，利用FaceNet方法对人脸检测模块检测得到的人脸数据进行特征提取；分类模块，用于对特征提取模块得到的人脸特征进行分类，以实现人脸识别。根据本专利技术的实施例，分类模块利用SVM方法对人脸特征进行分类。根据本专利技术的实施例，人脸检测与识别系统还包括：特征标准化模块，用于对人脸数据进行特征标准化，以使得人脸数据的每个维度具有零均值和单位方差。根据本专利技术的实施例，人脸检测与识别系统还包括：数据增强模块，用于对人脸数据进行数据增强。根据本专利技术的实施例，人脸检测与识别系统还包括模型训练模块，用于训练模型以生成人脸检测模块和特征提取模块需要调用的MTCNN模型和FaceNet模型。根据本专利技术的实施例，人脸检测与识别系统还包括：视频帧获取模块，用于获取视频帧；其中视频帧获取模块包括摄像头以及与摄像头连接的opencv3视觉处理库。根据本专利技术的另一个方面，还提供了一种人脸检测与识别方法，包括：基于tensorflow神经网络框架，利用多任务卷积神经网络MTCNN方法对获取的视频帧进行人脸检测；基于tensorflow神经网络框架，利用FaceNet方法对人脸检测得到的人脸数据进行特征提取；对特征提取模块得到的人脸特征进行分类，以实现人脸识别。根据本专利技术的实施例，利用SVM方法对人脸特征进行分类。根据本专利技术的实施例，在进行人脸检测之后还包括：对人脸数据进行特征标准化，以使得人脸数据的每个维度具有零均值和单位方差。根据本专利技术的实施例，在进行人脸检测之后还包括：对人脸数据进行数据增强。本专利技术的人脸检测与识别系统结合使用这两种方法，并使用最新的FaceNet模型用于人脸特征提取，实现了实时人脸检测与识别，具有准确率高、处理速度快、未来更新容易的特点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术实施例的人脸检测与识别系统的框图；图2是根据本专利技术实施例的人脸检测与识别系统的系统架构图；图3是根据本专利技术具体实施例的人脸识别的具体流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。结合图1和本文档来自技高网...

【技术保护点】
一种人脸检测与识别系统，其特征在于，包括：人脸检测模块，基于tensorflow神经网络框架，利用多任务卷积神经网络MTCNN方法对获取的视频帧进行人脸检测；特征提取模块，基于所述tensorflow神经网络框架，利用FaceNet方法对所述人脸检测模块检测得到的人脸数据进行特征提取；分类模块，用于对所述特征提取模块得到的人脸特征进行分类，以实现人脸识别。

【技术特征摘要】
1.一种人脸检测与识别系统，其特征在于，包括：人脸检测模块，基于tensorflow神经网络框架，利用多任务卷积神经网络MTCNN方法对获取的视频帧进行人脸检测；特征提取模块，基于所述tensorflow神经网络框架，利用FaceNet方法对所述人脸检测模块检测得到的人脸数据进行特征提取；分类模块，用于对所述特征提取模块得到的人脸特征进行分类，以实现人脸识别。2.根据权利要求1所述的人脸检测与识别系统，其特征在于，所述分类模块利用支持向量机SVM方法对所述人脸特征进行分类。3.根据权利要求1所述的人脸检测与识别系统，其特征在于，还包括：特征标准化模块，用于对所述人脸数据进行特征标准化，以使得所述人脸数据的每个维度具有零均值和单位方差。4.根据权利要求1所述的人脸检测与识别系统，其特征在于，还包括：数据增强模块，用于对所述人脸数据进行数据增强。5.根据权利要求1所述的人脸检测与识别系统，其特征在于，还包括模型训练模块，用于训练模型以生成所述人脸检测模块和所述特征提取模块需要调用的MTC...

【专利技术属性】
技术研发人员：曲星明，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：北京,11