一种应用于保安机器人的人脸识别系统及方法技术方案

本发明专利技术涉及一种应用于保安机器人的人脸识别系统及方法，针对目前固定的门禁类人脸识别系统环境单一、线性人脸特征描述能力不足等问题，提出了一个基于移动机器人和深度学习的运动人脸识别系统。在设备方面，该系统实现了人和机器人单方运动、人和机器人同时运动情况下的人脸识别，并且采用近红外摄像头，实现夜晚全黑条件下的人脸识别。在算法方面，该系统是一套从人脸检测、特征点检测，到人脸矫正、人脸识别的完整的系统，在特征点检测模块精简了特征点的数量，在人脸识别模块采用了深度卷积神经网络模型，实现对人脸的快速、高准确率的识别。

Face recognition system and method applied to security robot

Face recognition system and method of the invention relates to the security of the robot, aiming at the access type of face recognition system, single fixed linear feature description of power shortage problems, put forward a motion based face recognition system for mobile robot and deep learning. In the aspect of equipment, the system realizes the face recognition between human and robot, and the motion of human and robot at the same time. And the near infrared camera is adopted to realize the face recognition at night. In the algorithm, the system is from a set of face detection, feature point detection, face to face recognition and correction of complete system in the feature point detection module simplifies the number of feature points, in the face recognition module uses convolutional neural network model to achieve fast and accurate recognition of face.

【技术实现步骤摘要】
一种应用于保安机器人的人脸识别系统及方法
本专利技术涉及人脸识别领域，具体涉及一种应用于保安机器人的人脸识别系统及方法。
技术介绍
人脸是人体最重要的生物识别特征之一，依靠人脸进行身份识别已经成为识别通缉犯等特定人员的一种重要手段，而在当前的大数据时代，用人工来检索数据费时费力，显然不可行。现有的自动人脸识别技术只能应用于固定位置的正面人脸识别，例如普遍的门禁系统，在复杂动态环境下的识别率很低。传统的人脸识别技术利用SIFT等人工设计的人脸图像特征，然后再利用线性方法抽取人脸层面上的特征表示，比如利用PCA或LDA来获取Eigenface或Fisherface等人脸特征。然而实际应用表明，这些方法得到的线性人脸特征描述能力不足，抗干扰能力较差。有研究者对上述方法进行改进，提出了基于线性子空间的人脸识别算法，例如使用稀疏表示与尺度学习的思想增加人脸识别算法的鲁棒性。这些方法在带有部分遮挡与旋转角度的人脸识别问题上取得了一定的效果，但是对于真实世界中的复杂人脸识别问题还是不能取得理想效果。另外，普通摄像头只能在白天使用，在夜晚，摄像头拍摄的人脸图片清晰度会大大下降，甚至检测不到人脸，这无疑会影响识别的准确率。与本专利技术最相近的方法有陈国平[1]等人所提出的基于深度神经网络的动态人脸识别方案，包括对卷积神经网络的介绍、其相对传统方法的优势、关键层的描述，以及在实际场景中的应用等；探讨了其中涉及的系统通用性、实时性、智能性、评测标准和实际应用等关键问题，给出了一个成功将深度学习思想应用在人脸识别中的实时系统。[1]陈国平，杜姗姗.基于深度神经网络的动态人脸识别方法及应用[J].微型电脑应用，2015，09：39-41+5.[2]尹萍，赵亚丽.视频监控中人脸识别现状与关键技术课题[J].警察技术，2016(3)：77-80.[3]WuX，HeR，SunZ，etal.ALightCNNforDeepFaceRepresentationwithNoisyLabels[J].ComputerScience，2016.[4]KazemiV，SullivanJ.Onemillisecondfacealignmentwithanensembleofregressiontrees[C]//ComputerVisionandPatternRecognition.IEEE，2014：1867-1874.
技术实现思路
针对目前固定的门禁类人脸识别系统环境单一、线性人脸特征描述能力不足等问题，本专利技术提出了一种基于移动机器人和深度学习的运动人脸识别系统。在设备方面，该系统实现了人和机器人单方运动、人和机器人同时运动情况下的人脸识别，并且采用近红外摄像头，实现夜晚全黑条件下的人脸识别。在算法方面，该系统是一套从人脸检测、特征点检测，到人脸矫正、人脸识别的完整的系统，在特征点检测模块精简了特征点的数量，在人脸识别模块采用了深度卷积神经网络模型，实现对人脸的快速、高准确率的识别。本专利技术首先利用HOG特征实现人脸检测，降低误检率；然后用级联回归器检测关键特征点以实现人脸对齐，提高识别准确率，并且只检测关键特征点，以防止冗余，提高速度；最后利用包含14层卷积层的深度神经网络模型进行人脸匹配识别，不仅提高了准确率，还能较准确地判断出unknown人脸；而采集设备方面，本系统采用了红外摄像头，在夜晚自动打开采集灰度人脸图像，可以有效避免因清晰度下降而不能有效识别人脸，完成了一个完整的、具有一定报警功能的动态人脸实时识别系统。一种人脸识别方法，其特征在于包含以下步骤：一、采集人脸数据，训练后得到模型；二、利用HOG特征进行人脸检测；三、人脸特征点检测：特征点检测模块利用级联的回归器通过像素强度值的稀疏集合来回归面部特征点的位置；四、人脸矫正：计算旋转角度及仿射矩阵后，以左眼中心点为基准点旋转图片，使左右眼中心点连线达到水平，即完成对齐矫正；五、人脸识别：将预处理后的人脸图片喂进网络模型中，经过一系列的卷积、池化操作由全连接层输出得到待识别人脸图片的特征向量，然后经由softmax层基于训练集图片进行对比分类，得到待识别图片与训练集图片相似程度的概率分布，最终选择概率值最大的那个标签作为该图片的输出标签。进一步的，所述方法应用于保安机器人的人脸识别系统。进一步的，所述步骤四中只采用了左右眼两侧眼角的2个点共4个点，然后计算得到每个眼睛中心点的坐标。进一步的，所述步骤五中对训练集人脸将输出名字拼音，对陌生人将输出unknown标签，实现报警功能。一种应用所述人脸识别方法的人脸识别系统，包含高清红外摄像头，外接红外补光板。进一步的，所述高清红外摄像头白天时为720P普通高清摄像头，夜晚时自动转为红外夜视功能。进一步的，所述步骤五中对训练集人脸将输出名字拼音，对陌生人将输出unknown标签，实现报警功能。本专利技术的有益效果是：该技术可应用到机器人自主实时人脸识别上，并且具有夜视功能，不论白天黑夜均能有效识别人脸。本专利技术方法涉及到计算机视觉的图像处理，特别是图像识别检测这一部分，以及神经网络的深度应用，从机器人装载的摄像头进行视频人脸检测，并提取关键特征点以便进行对齐预处理，然后对检测到的人脸进行识别，实现对人脸的实时检测识别过程，并对特定范围之外的人脸输出unknown标签报警，以达到安防目的。附图说明图1为人脸识别系统流程框图；图2a为人脸检测设备图红外摄像头1；图2b为人脸检测设备图红外摄像头2；图2c为人脸检测设备图红外补光灯；图3为模型构成细节图；图4为人脸特征提取流程图；图5为回归器的学习过程图；图6为特征点定位过程图；图7a为不戴眼镜特征点检测结果图；图7b为戴眼镜特征点检测结果图；图8a为不戴眼镜计算后的关键特征点图；图8b为戴眼镜计算后的关键特征点图；图9a为仿射变换示意图a；图9b为仿射变换示意图b；图10a为人脸矫正前图；图10b为人脸矫正后图；图11为深度神经网络模型结构图；图12为一种应用于保安机器人的人脸识别方法流程图；图13a为人脸a检测结果图；图13b为人脸b检测结果图；图14a为识别陌生人图；图14b为识别训练集人员(不戴眼镜)图；图14c为识别训练集人员(戴眼镜)图；图14d为识别夜晚红外光人脸图。具体实施方式以下结合附图对本专利技术进行详细说明：本专利技术提出一种应用于保安机器人的人脸识别系统，图1是人脸识别系统流程框图，主要包括训练模型、人脸检测、特征点检测、人脸识别等七个方面。图2a-2c是保安机器人在人脸识别过程中用到的硬件设备，主要是实时采集视频的高清红外摄像头：白天时为720P普通高清摄像头，夜晚时自动转为红外夜视功能。为了增加夜视效果，还外接了一个红外补光板，有48个红外发射器和一个光敏电阻，以及一个外接电源。本专利技术提出一种应用于保安机器人的人脸识别方法主要包含以下步骤：一、采集人脸数据，训练后得到模型1、本系统在网络下载的通用数据集上添加了真实人脸数据以增强系统的实际应用性能。鉴于光照对人脸识别准确率的影响，以及对夜晚情况的考虑，采集数据时我们分别采集了正面强弱变化光照、左右单侧光照(包括自然光和灯光)，和全黑条件下红外光的图片。其中，正面光照情况下，实验人员随光照变化不断做表情和遮挡(主要遮挡鼻子以下部分)，本文档来自技高网...

【技术保护点】
一种人脸识别方法，其特征在于包含以下步骤：一、采集人脸数据，训练后得到模型；二、利用HOG特征进行人脸检测；三、人脸特征点检测：特征点检测模块利用级联的回归器通过像素强度值的稀疏集合来回归面部特征点的位置；四、人脸矫正：计算旋转角度及仿射矩阵后，以左眼中心点为基准点旋转图片，使左右眼中心点连线达到水平，即完成对齐矫正；五、人脸识别：将预处理后的人脸图片喂进网络模型中，经过一系列的卷积、池化操作由全连接层输出得到待识别人脸图片的特征向量，然后经由softmax层基于训练集图片进行对比分类，得到待识别图片与训练集图片相似程度的概率分布，最终选择概率值最大的那个标签作为该图片的输出标签。

【技术特征摘要】
1.一种人脸识别方法，其特征在于包含以下步骤：一、采集人脸数据，训练后得到模型；二、利用HOG特征进行人脸检测；三、人脸特征点检测：特征点检测模块利用级联的回归器通过像素强度值的稀疏集合来回归面部特征点的位置；四、人脸矫正：计算旋转角度及仿射矩阵后，以左眼中心点为基准点旋转图片，使左右眼中心点连线达到水平，即完成对齐矫正；五、人脸识别：将预处理后的人脸图片喂进网络模型中，经过一系列的卷积、池化操作由全连接层输出得到待识别人脸图片的特征向量，然后经由softmax层基于训练集图片进行对比分类，得到待识别图片与训练集图片相似程度的概率分布，最终选择概率值最大的那个标签作为该图片的输出标签。2.一种根据权利要求1所述的人脸识别方法，其特征在于所述方法应用于保安机器...

【专利技术属性】
技术研发人员：曾碧，任万灵，陈佳腾，张伟，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44