基于神经网络的人脸复杂表情识别方法技术

本发明专利技术公开了一种基于神经网络的人脸复杂表情识别方法，在通用反向传播神经网络的基础上，融合基于面部特征子图提取和基于生物特征参数提取两种方法的人脸识别技术，在基于面部特征子图提取的方法中，提取眼睛、鼻子和嘴巴的四个子图像，并将其馈送到通用反向传播神经网络；在基于生物特征参数提取的方法中，面部特征点之间的七个测量距离将被馈送到另一个通用反向传播神经网络，选择基于面部特征子图提取的方法作为主要神经网络，而基于生物特征参数提取的方法用作辅助神经网络，如主要分类器未识别，用辅助分类器识别。

Facial expression recognition method based on Neural Network

The invention discloses a neural network based face recognition method based on complex expressions, general back-propagation neural network, the fusion graph of facial feature extraction and extraction of two kinds of method of biometric parameters based on face recognition technology based on the method of facial feature extraction based on subgraph extraction, four sub images, eyes the nose and mouth, and fed to the general back-propagation neural network; the method for extracting biological characteristic parameters based on seven, measuring the distance between the facial feature points will be fed to another general back propagation neural network, selection method based on facial feature subgraph extraction as the main neural network, and biological extraction method based on characteristic parameters used as auxiliary neural network, such as the main classifier without recognition auxiliary classifier.

【技术实现步骤摘要】
基于神经网络的人脸复杂表情识别方法
：本专利技术涉及一种生物特征识别领域，特别是涉及一种基于神经网络的人脸复杂表情识别方法。
技术介绍
：高度信息化的社会环境下，传统的身份认证方式存在不易携带、易伪造、易损坏、易受攻击等诸多缺点，难以满足智能化社会发展的需求。近年来，生物特征识别的唯一性、稳定性、安全性和普遍性等优势使其成为当前信息安全领域中极为重要的新兴技术。其中，人脸识别具有的自然性、非接触性、隐蔽性和高可靠性使其比其他如指纹、掌纹、虹膜、语音等识别方式具有更大的应用前景。人脸表情是人类信息交流的重要方式，它所富含的人体行为信息与人的情感状态、精神状态、健康状态等有着极为密切的关联。因此，通过对于人脸表情的识别可以获得很多有价值的信息，从而分析人类的心理活动和精神状态，并为各种机器视觉和人工智能控制系统的应用提供了解决方案。尽管人脸识别技术取得了长足的进步，但仍面临众多挑战。人类面部器官的形状、大小和相对位置的复杂变化才使人类产生了千差万别的表情，这其中眼睛、鼻子、嘴巴等的相对位置变化对表情产生极大地影响，大大增加了识别的难度。
技术实现思路
：本专利技术所要解决的技术问题是：克服现有技术的不足，利用在表情变化时人脸局部特征和特征点之间距离的稳定性，应用融合了基于生物特征参数提取和基于面部特征子图提取两种方法的面部组件特征检测器，然后使用通用反向传播神经网络实现分类识别的基于神经网络的人脸复杂表情识别方法。本专利技术的技术方案是：一种基于神经网络的人脸复杂表情识别方法，其步骤是：A、输入训练集中的人脸图像，先在每个人脸图像上运行面部组件特征检测器CBD，通过点击人脸图像上眼睛、鼻子和嘴巴的中间部分来提取四个特征的子图像；B、使用面部组件特征检测器CBD半自动点击每个人脸图像中眼睛、鼻子和嘴巴的中间部分，并测量之间的七个特征检测距离；C、将步骤A所生成的四个子图像归一化为0和1之间的范围，并作为通用反向传播神经网络分类器的输入特征，对通用反向传播神经网络分类器进行训练学习和分类，其具体步骤为：(1)对应于每个图像的眼睛、鼻子和嘴巴的子图像的灰度级别分别存储在四个矩阵中，四个矩阵成形为一个向量；(2)将所有训练样本的所有输入向量组合成训练矩阵X1，然后进行归一化；(3)测试集中的每个人都有一个数字来识别他的身份。因此，网络的期望输出Y1将是以二进制格式保存相应的输入图像；(4)X1和Y1送入通用反向传播神经网络进行训练；D、将步骤B所生成的七个特征检测距离归一化为0和1之间的范围，并作为通用反向传播神经网络分类器的输入特征，对通用反向传播神经网络分类器进行训练学习和分类，其具体步骤为：(1)将每个图像的七个特征测量距离存储在一个向量中；(2)将所有训练样本的所有输入向量组合成训练矩阵X2，然后进行归一化；(3)输出Y2为相应输入图像的二进制数；(4)将X2和Y2送入通用反向传播神经网络进行训练；E、在步骤C和步骤D训练结束后，分别对两个通用反向传播神经网络计算系统的均方误差MSE，具有较少整体MSE的网络作为主要分类器，另一个作为辅助分类器；F、输入待检测人脸图像，按照步骤A(通过使用图形用户界面GUI半自动捕获眼睛、鼻子和嘴巴子图像的灰度特征矩阵，可以获得面部特征，GUI可以裁剪局部窗口，截取所考虑的面部特征，即：眼睛、鼻子和嘴巴)对待检测人脸图像中的眼睛、鼻子和嘴巴四个特征提取其子图像，对四个子图像的相应灰度级别进行提取，得到四个矩阵，将四个矩阵归一化和重构成长度为1425的行向量，结合输入向量形成的矩阵被馈送到主要分类器进行识别，如主要分类器未识别，用辅助分类器识别；G、根据步骤B取得待检测人脸图像中七个特征检测距离(使用右眼瞳孔、左眼瞳孔、嘴巴的中间位置和鼻尖点来计算面部特征之间的距离)，七个特征检测距离存储在一个向量中，结合输入向量形成的矩阵被馈送到辅助分类器进行识别。所述通用反向传播神经网络包括使用输入事件来计算网络期望输出的前向传播和使用Werbos链规则来对有序导数进行计算并调整权重W的反向传播。所述通用反向传播神经网络输入数据X的尺寸为m，输出数据Y的尺寸为n和(N-m)个隐含层，网络具有(N+n)个可训练神经元。选择N，且N≥m。所述前向传播的过程为：第一个神经元是输入神经元，其输出为xi＝Xi，其中X是输入向量，i∈1...m.令neti表示第i个神经元的输出，可以表示为：这是所有先前神经元输出的饱和线性组合。可得：输出的饱和值S(neti)的计算公式为：最后，我们可以使用以下方法获得每个输出神经元的网络期望输出所述反向传播的过程为：计算权重Wij以最小化训练集上的方差，对于给定的一组权重W，首先计算与每个正向通道相关联的总和方差(SSE)向量：其中t表示事件索引，T是事件的总数，Yi是输出神经元i的期望输出；使用前缀符号"F_"表示SSE相对于冠"F_"的任何变量的有序导数，计算SSE的导数:应用方程(6)，我们可以求出SSE对于Y的有序导数:对于隐藏的神经元，将下标t放在以下等式中，进一步简化：i∈N+n...m+1(8)同时，其中S′(x)是等式(2)中定义的S(x)的导数。S′(x)＝S(x)(1-T(x))(10)通过方程(7)使网络向后运行，以计算SSE相对于网络权重的导数：最后，使用学习率β来调整网络权重:在反向评估结束时，将使用以下函数来获取二进制输出：所述七个特征检测距离为(1)两瞳孔之间的距离；(2)从左眼瞳孔到嘴中心的距离；(3)从右眼瞳孔到嘴中心的距离；(4)从左眼瞳孔到鼻尖的距离；(5)从右眼瞳孔到鼻尖的距离；(6)从两瞳孔之间的中点到鼻尖的距离；(7)从两瞳孔之间的中点到嘴的中心点的距离。所述训练集中的人脸图像来自日本ATR-JAFFE人脸表情数据库。本专利技术的有益效果是：1、本专利技术通用反向传播神经网络的基础上，融合基于面部特征子图提取和基于生物特征参数提取两种方法，并选择基于面部特征子图提取的方法作为主要神经网络，而基于生物特征参数提取的方法用作辅助神经网络，实现对人脸图像的识别。2、本专利技术在基于面部特征子图提取的方法中，我们提取眼睛、鼻子和嘴巴的四个子图像，并将其馈送到通用反向传播神经网络；在基于生物特征参数提取的方法中，面部特征点之间的七个测量距离将被馈送到另一个通用反向传播神经网络，实现两个神经网络的构件，如果主网络没有获得识别结果，则辅助网络将会接管继续识别。3、本专利技术的两个网络分开训练，在训练结束时，将为每个网络计算系统的均方误差(MSE)，具有较少整体MSE的基于面部特征子图提取的方法作为主要分类器，基于生物特征参数提取的方法作为辅助分类器。附图说明：图1为基于神经网络的人脸复杂表情识别方法的流程示意图。图2为训练集中的人脸图像的部分样本。图3为通用反向传播神经网络的结构示意图。图4为通用反向传播神经网络的前向和反向传播过程的示意图。具体实施方式：实施例：参见图1、图2、图3和图4。一种基于神经网络的人脸复杂表情识别方法，其步骤是：A、输入训练集中的人脸图像，先在每个人脸图像上运行面部组件特征检测器CBD，通过点击人脸图像上眼睛、鼻子和嘴巴的中间部分来提取四个特征的子图像；B、使用面部组件特征检测器CBD半自动点击每个人脸图像中眼睛、鼻子和嘴本文档来自技高网...

【技术保护点】
一种基于神经网络的人脸复杂表情识别方法，其步骤是：A、输入训练集中的人脸图像，先在每个人脸图像上运行面部组件特征检测器CBD，通过点击人脸图像上眼睛、鼻子和嘴巴的中间部分来提取四个特征的子图像；B、使用面部组件特征检测器CBD半自动点击每个人脸图像中眼睛、鼻子和嘴巴的中间部分，并测量之间的七个特征检测距离；C、将步骤A所生成的四个子图像归一化为0和1之间的范围，并作为通用反向传播神经网络分类器的输入特征，对通用反向传播神经网络分类器进行训练学习和分类，其具体步骤为：(1)对应于每个图像的眼睛、鼻子和嘴巴的子图像的灰度级别分别存储在四个矩阵中，四个矩阵成形为一个向量；(2)将所有训练样本的所有输入向量组合成训练矩阵X1，然后进行归一化；(3)测试集中的每个人都有一个数字来识别他的身份,网络的期望输出Y1将是以二进制格式保存相应的输入图像；(4)X1和Y1送入通用反向传播神经网络进行训练；D、将步骤B所生成的七个特征检测距离归一化为0和1之间的范围，并作为通用反向传播神经网络分类器的输入特征，对通用反向传播神经网络分类器进行训练学习和分类，其具体步骤为：(1)将每个图像的七个特征测量距离存储在一个向量中；(2)将所有训练样本的所有输入向量组合成训练矩阵X2，然后进行归一化；(3)输出Y2为相应输入图像的二进制数；(4)将X2和Y2送入通用反向传播神经网络进行训练；E、在步骤C和步骤D训练结束后，分别对两个通用反向传播神经网络计算系统的均方误差MSE，具有较少整体MSE的网络作为主要分类器，另一个作为辅助分类器；F、输入待检测人脸图像，按照步骤A对待检测人脸图像中的眼睛、鼻子和嘴巴四个特征提取其子图像，对四个子图像的相应灰度级别进行提取，得到四个矩阵，将四个矩阵归一化和重构成长度为1425的行向量，结合输入向量形成的矩阵被馈送到主要分类器进行识别，如主要分类器未识别，用辅助分类器识别；G、根据步骤B取得待检测人脸图像中七个特征检测距离，七个特征检测距离存储在一个向量中，结合输入向量形成的矩阵被馈送到辅助分类器进行识别。...

【技术特征摘要】
1.一种基于神经网络的人脸复杂表情识别方法，其步骤是：A、输入训练集中的人脸图像，先在每个人脸图像上运行面部组件特征检测器CBD，通过点击人脸图像上眼睛、鼻子和嘴巴的中间部分来提取四个特征的子图像；B、使用面部组件特征检测器CBD半自动点击每个人脸图像中眼睛、鼻子和嘴巴的中间部分，并测量之间的七个特征检测距离；C、将步骤A所生成的四个子图像归一化为0和1之间的范围，并作为通用反向传播神经网络分类器的输入特征，对通用反向传播神经网络分类器进行训练学习和分类，其具体步骤为：(1)对应于每个图像的眼睛、鼻子和嘴巴的子图像的灰度级别分别存储在四个矩阵中，四个矩阵成形为一个向量；(2)将所有训练样本的所有输入向量组合成训练矩阵X1，然后进行归一化；(3)测试集中的每个人都有一个数字来识别他的身份,网络的期望输出Y1将是以二进制格式保存相应的输入图像；(4)X1和Y1送入通用反向传播神经网络进行训练；D、将步骤B所生成的七个特征检测距离归一化为0和1之间的范围，并作为通用反向传播神经网络分类器的输入特征，对通用反向传播神经网络分类器进行训练学习和分类，其具体步骤为：(1)将每个图像的七个特征测量距离存储在一个向量中；(2)将所有训练样本的所有输入向量组合成训练矩阵X2，然后进行归一化；(3)输出Y2为相应输入图像的二进制数；(4)将X2和Y2送入通用反向传播神经网络进行训练；E、在步骤C和步骤D训练结束后，分别对两个通用反向传播神经网络计算系统的均方误差MSE，具有较少整体MSE的网络作为主要分类器，另一个作为辅助分类器；F、输入待检测人脸图像，按照步骤A对待检测人脸图像中的眼睛、鼻子和嘴巴四个特征提取其子图像，对四个子图像的相应灰度级别进行提取，得到四个矩阵，将四个矩阵归一化和重构成长度为1425的行向量，结合输入向量形成的矩阵被馈送到主要分类器进行识别，如主要分类器未识别，用辅助分类器识别；G、根据步骤B取得待检测人脸图像中七个特征检测距离，七个特征检测距离存储在一个向量中，结合输入向量形成的矩阵被馈送到辅助分类器进行...

【专利技术属性】
技术研发人员：栗科峰，熊欣，郑吉玉，王俊华，王炜，郝原，
申请(专利权)人：河南工程学院，
类型：发明
国别省市：河南,41