一种基于深度学习的人脸表情识别方法技术

本发明专利技术公开了一种基于深度学习的人脸表情识别方法，包含如下步骤：从人脸表情数据库中提取人脸表情图像；对人脸表情图像进行预处理；将预处理后的全部图像分为训练样本和测试样本两部分；将训练样本用于深度信念网络的训练；将深度信念网络的训练结果用于多层感知器的初始化；将测试样本输送到初始化后的多层感知器进行识别测试，实现人脸表情识别结果的输出；本发明专利技术的有益效果是：对于表情特征的提取，直接采用了表情图像的原始像素特征信息；将深度信念网络与多层感知器相融合，从而实现深度信念网络的分类功能；充分利用深度信念网络较强的无监督特征学习能力，提供一种高性能的基于深度学习的人脸表情识别方法。

【技术实现步骤摘要】
一种基于深度学习的人脸表情识别方法
本专利技术涉及图像处理、模式识别、人工智能领域，特别是涉及一种基于深度信念网络的人脸表情识别方法。
技术介绍
人脸表情识别是指从给定的表情图像中分析检测出特定的人脸表情状态,从而确定出被识别对象的心理情绪，比如生气、高兴、悲伤、害怕等。该研究已被广泛应用于人机交互、人工智能等方面，是当前模式识别和计算机视觉等领域的热点课题。对表情图像进行特征提取是人脸表情识别中的关键问题，特征的有效性决定着人脸表情识别性能的高低。现有的人脸表情特征提取方法主要有几何特征提取方法、外貌特征提取方法、特征点跟踪法、弹性图匹配法等。这些特征提取方法，计算都比较复杂，实际使用时都需要靠人工手动操作才能完成。此外，这种人工特征提取的方法容易导致部分表情特征表述信息的丢失，使得所取得的识别性能不太令人满意，有待进一步提高。再介绍深度学习技术。深度学习(见文献：YuD,DengL.Deeplearninganditsapplicationstosignalandinformationprocessing.IEEESignalProcessingMagazine,2011,28(1):145-154)作为一种新的机器学习理论，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释图像、声音和文本等数据。深度学习的本质是通过组合低层特征形成更加抽象的高层表示属性特征，以发现数据的分布式特征表示。所以，深度学习也被称为无监督特征学习。Hinton等人提出一种由多个受限玻尔兹曼机(RBM)叠加而成的深度信念网络(DBN)的深度学习方法(见文献：HintonGE,OsinderoS,TehY-W.Afastlearningalgorithmfordeepbeliefnets.Neuralcomputation,2006,18(7):1527-1554)，开启了深度学习在学术界和工业界的新浪潮。当前，深度信念网络(DBN)已成为一种代表性的深度学习技术，被广泛应用于信号处理和计算机视觉等领域。目前，在已有的人脸表情识别研究文献中，对于采用深度学习用于人脸表情识别方面的相关报道甚少。本专利技术利用深度学习所具有的较强的无监督特征学习能力，提供一种基于深度学习的人脸表情识别方法。
技术实现思路
本专利技术的目的就是为了克服上述现有人脸表情识别技术的不足，提供一种基于深度学习的人脸表情识别方法，以便进一步提高人脸表情识别的性能。本专利技术所采用的技术方案是：一种基于深度学习的人脸表情识别方法，该方法包含以下技术步骤：步骤1：从人脸表情数据库中提取人脸表情图像；步骤2：对人脸表情图像进行预处理；步骤3：将预处理后的全部图像分为训练样本和测试样本两部分；步骤4：将训练样本用于深度信念网络(DBN)的训练；步骤5：将深度信念网络(DBN)的训练结果用于多层感知器(MLP)的初始化；步骤6：将测试样本输送到初始化后的多层感知器(MLP)进行识别测试，实现人脸表情识别结果的输出。其中，(1)人脸表情图像的预处理，包括：对人脸表情数据库中的每一幅表情图像进行采样，以便降低表情图像的特征维数，并将表情图像的每个像素值归一化到方差为1和均值为0。(2)深度信念网络(DBN)的训练，包括：预训练(pre-training)和调优(fine-tuning)两个步骤。训练过程中采用的图像样本来源于人脸表情数据库中的训练样本。(2-1)深度信念网络(DBN)的预训练(pre-training)，包括：采用自下而上的无监督学习方式进行预训练，即使用无标签(unlabeled)的样本数据，从底层开始，一层一层的往顶层进行训练。深度信念网络(DBN)的预训练具体过程如下：由于RBM是一种能量模型，它的可视层和隐层之间关系可以用能量函数表示为其中，vi,hj分别代表可视层节点和隐层节点的状态，取0或1；aj和bi表示对应的偏置，wij表示它们之间的连接权重。模型产生可视层矢量的联合概率为可视层和隐层之间的条件概率计算如下：其中，σ(x)＝(1+e-x)-1是Sigmoid函数，即神经元的非线性作用函数。通过对概率的对数求偏导，可以得到RBM模型权重参数的更新值：其中，ε表示学习率，＜·＞是对数据求期望。实际模型的无偏样本往往很难获得，采用对比散度的方法对重构数据的采样近似来更新网络权重。下一层的输入来自于上一层的输出，以此传递，而作为最底层的输入来自于观测变量，也就是对象的原始特征数据，即图像的像素值。(2-2)深度信念网络(DBN)的调优(fine-tuning)，包括：采用自顶向下的监督学习学习方式进行调优，即使用标签(labeled)的样本数据进行训练，误差自顶向下传输，对网络进行调优。通过调优之后，使得深度信念网络(DBN)模型中的每一层隐层的网络权重值都能够达到最优值。深度信念网络(DBN)的调优具体过程如下：根据输入数据和重构数据的误差函数，利用反向传播(BP)算法重新调整网络的参数，最终使网络达到全局最优的过程。输入数据和重构数据的误差函数为其中，x是输入数据，x'是重构数据，||·||2表示重构误差的2范数形式，对误差函数求权重的偏导，可以得到权重的更新值。(3)多层感知器(MLP)的初始化，包括：首先建立一个在隐层层数、隐层节点数上与深度信念网络(DBN)完全一样的多层感知器(MLP)模型。然后，将训练好之后的深度信念网络(DBN)模型中的每一层隐层的网络权重值，直接输入给多层感知器(MLP)模型中相应的每一层隐层网络当中，从而使得多层感知器(MLP)模型与训练好之后的深度信念网络(DBN)模型，在隐层层数、隐层节点数、以及每一层隐层的网络权重值三个方面上都保持一样。(4)人脸表情识别结果的输出，包括：对于人脸表情数据库中的测试样本，采用初始化之后的多层感知器(MLP)模型进行人脸表情图像样本的识别测试，输出人脸表情识别结果。人脸表情识别测试时，采用5次交叉验证方法，即将全部表情图像样本平均分成5份，每次使用其中的4份数据作为训练样本用于训练，剩下的1份数据作为测试样本用于识别测试。这样的识别实验相应重复5次，最后取5次的平均值作为识别结果。与现有技术相比，本专利技术的优点和效果在于：1.对于表情特征的提取，直接采用表情图像的原始像素特征信息，方法简单，不需要任何的人工手动操作。2.考虑到深度信念网络(DBN)自身只能用于特征学习，没有分类功能的特点，将深度信念网络(DBN)与多层感知器(MLP)相融合，从而实现深度信念网络(DBN)的分类功能，用于人脸表情的识别。3.充分利用深度信念网络(DBN)较强的无监督特征学习能力，提供一种高性能的基于深度学习的人脸表情识别方法。本专利技术的其他优点将在下面继续描述。附图说明图1——基于深度学习的人脸表情识别系统框图。图2——本专利技术方法与其它方法对16×16、32×32、64×64三种不同分辨率大小的图像取得的人脸表情正确识别率(％)的比较。图3——本专利技术方法表现最好时的各种表情的正确识别率(％)。图4——JAFFE数据库中人脸表情图像的示例。具体实施方式下面结合附图和实施例，对本专利技术所述的技术方案进一步说明。图1为本系统框图，主要包括：步骤1：从人脸表情数据库中提取人脸表情图像；步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的人脸表情识别方法，其特征在于，该方法包含如下步骤：步骤1、从人脸表情数据库中提取人脸表情图像；步骤2、对人脸表情图像进行预处理；步骤3、将预处理后的全部图像分为训练样本和测试样本两部分；步骤4、将训练样本用于深度信念网络(DBN)的训练；步骤5、将深度信念网络(DBN)的训练结果用于多层感知器(MLP)的初始化；步骤6、将测试样本输送到初始化后的多层感知器(MLP)进行识别测试，实现人脸表情识别结果的输出；其中，(1)人脸表情图像的预处理，包括：对人脸表情数据库中的每一幅表情图像进行采样，以便降低表情图像的特征维数，并将表情图像的每个像素值归一化到方差为1和均值为0；(2)深度信念网络(DBN)的训练，包括：深度信念网络(DBN)的预训练(pre-training)和深度信念网络(DBN)的调优(fine-tuning)两个步骤；训练过程中采用的图像样本来源于人脸表情数据库中的训练样本；(3)多层感知器(MLP)的初始化，包括：首先建立一个在隐层层数、隐层节点数上与深度信念网络(DBN)完全一样的多层感知器(MLP)模型；然后，将训练好之后的深度信念网络(DBN)模型中的每一层隐层的网络权重值，直接输入给多层感知器(MLP)模型中相应的每一层隐层网络当中，从而使得多层感知器(MLP)模型与训练好之后的深度信念网络(DBN)模型，在隐层层数、隐层节点数、以及每一层隐层的网络权重值三个方面上都保持一样；(4)人脸表情识别结果的输出，包括：对于人脸表情数据库中的测试样本，采用初始化之后的多层感知器(MLP)模型进行人脸表情图像样本的识别测试，输出人脸表情识别结果；人脸表情识别测试时，采用5次交叉验证方法，即将全部表情图像样本平均分成5份，每次使用其中的4份数据作为训练样本用于训练，剩下的1份数据作为测试样本用于识别测试；这样的识别...

【专利技术属性】
技术研发人员：张石清，赵小明，
申请(专利权)人：台州学院，张石清，赵小明，
类型：发明
国别省市：