一种基于复杂度感知分类算法的面部表情识别方法技术

本发明专利技术公开了一种基于复杂度感知分类算法的面部表情识别方法，首先设计基于改进残差块的深度卷积神经网络对预处理后的训练数据集进行训练，提取出人脸面部特征；再根据复杂度感知分类算法评估人脸面部特征的复杂度，将训练数据集划分为容易样本集和困难样本集，针对这两类子样本集分别进行训练得到容易样本分类器和困难样本分类器；并分别针对这两类子样本集训练一个二分类的样本复杂度鉴别分类器；对测试数据集进行预处理和人脸面部特征提取后，通过样本复杂度鉴别分类器对测试数据集提取的人脸面部特征进行复杂度鉴别，根据人脸面部特征的复杂度将测试数据集分别输入容易样本分类器和困难样本分类器完成人脸表情类别的识别。

A facial expression recognition method based on complexity perception classification algorithm

The invention discloses a facial expression recognition method based on complexity perception classification algorithm. Firstly, a deep convolution neural network based on improved residual blocks is designed to train the pre-processed training data set and extract facial features. Then, the complexity of facial features is evaluated according to the complexity perception classification algorithm. The training data set is divided into easy sample set and difficult sample set. The easy sample classifier and the difficult sample classifier are trained for these two kinds of sub-sample sets respectively. A two-class sample complexity discriminant classifier is trained for these two kinds of sub-sample sets, and the test data set is preprocessed and human beings are trained. After facial feature extraction, the facial features extracted from the test data set are identified by the sample complexity discriminant classifier. According to the complexity of facial features, the test data set is input into the easy sample classifier and the difficult sample classifier respectively to complete the recognition of facial expression categories.

【技术实现步骤摘要】
一种基于复杂度感知分类算法的面部表情识别方法
本专利技术涉及计算机应用中的图像识别领域，具体涉及一种基于复杂度感知分类算法的面部表情识别方法。
技术介绍
面部微表情识别在人机交互和情感计算领域具有极其广泛的研究前景，包括测谎、智能安防、娱乐、互联网教育和智慧医疗等。面部表情常被人类作为表达情绪的一种主要方式，因此表情识别的主要工作是如何自动、可靠、高效地识别人脸表情传达的信息。在表情识别的研究中定义了7种基本的表情类别：惊讶、害怕、厌恶、生气、高兴、伤心、平和，这7种类别通常被作为表情识别的基础标签。大部分面部表情识别工作主要着眼于特征提取和表情识别这两部分。表情识别方法可以分成静态和动态，其中静态分类适用于静态图像，使用的技术主要有SVM、Bayesiannetworkclassifiers、Radomforests和Softmax。动态分类适用于面部视频，考虑了随着时间推移从每帧独立提取的特征作为分类的依据，使用的模型主要有HMM和VSL-CRF。近几年不同传统机器学习的方法被用于表情识别的研究中来提取图像的外观特征，其中包括Gaborfilters、Localbinarypattern(LBP)、Localgaborbinarypattern(LGBP)、HistogramsoforientedGradients(HOG)和Scaleinvariantfeaturetransform(SIFT)。这些传统的方法提取的特征应用在特定的小样本集中往往比较有效，但是很难进行调整识别新的测试人脸图像。这是由于提取到的特征往往属于低层次的特征，从数据中难以提取和组织对类别划分有区分性的信息。这些不足对于面部表情识别在实际应用中有很大的挑战。ConvolutionalNeuralNetwork(CNN)和Deepbeliefnetwork(DBN)作为深度学习的两种框架在面部表情识别取得了显著的成果，同时已经被用来做特征提取和识别工作。越来越多不同的CNN结构应用在面部表情识别和图像分类问题中，比如：VGG-Net、GoogLeNet、Inceptionlayer、ResNet、DenseNet等。通过CNN中的多个卷积和池化层可能提取到整个面部或者局部区域的更高级多层次的特征，作为面部表情图像辨别特征有不错的分类性能。相比于CNN，DBN通过多层受限玻尔兹曼机(RBM)网络形成分层学习结构，实现了从细粒度到粗粒度的多层次特征学习。利用DBN的模型生成能力可以显著提高有像素缺失或遮挡的人脸面部表情识别的性能。目前面部表情识别工作仍具有很大的挑战，许多相关研究和工作着重于分类模型和特征提取方法的改进，往往很容易忽视面部表情7个基本类别之间的联系和数据集中样本间的关系。一些表情比如：Happy和Surprise属于辨识度很高的类别，很容易通过特征将它们区分开，而有一些表情比如：Fear和Sad，有些环境下是非常相似很难将它们有效的区分开。即由于很难去确切地划分每个表情特征空间，不同的表情类别中的某些样本的面部特征在特征空间中可能非常接近，而属于同一个表情中的某些样本的面部特征在特征空间可能离得比较远。另外在不受控的环境中，人脸很容易受到种族、年龄、性别、头发、周围环境等因素的影响，导致每个样本提取到用于表情分类的面部特征分布和特征复杂性是不同的。
技术实现思路
本专利技术的目的是针对由于人们情绪的不同表达方式和不受控的环境因素导致情绪识别复杂度的不一致性和面部表情类别之间的可变性问题，提供了一种基于复杂度感知分类算法的面部表情识别方法，通过将复杂度感知算法应用在面部微表情识别领域，不仅提高了辨识度较高的面部表情类别的分类准确率，同时缓解了容易混淆表情类别误分的问题，另外也有效解决了数据集样本特征分布不一致的问题。所述方法借鉴奥卡姆剃刀原理的思想，将复杂度感知分类算法用于面部微表情识别，通过评估每一个样本面部特征的复杂性将数据集中的样本划分为容易样本集和困难样本集两部分，分别针对这两种不同特征分布的特征空间进行有区分性的学习，即针对这两个子数据集分别进行训练得到不同样本特征复杂度的分类器；测试样本不再是通过一个整体的分类器完成面部表情识别的分类预测，而是进行特征复杂性的鉴定后划分到相应的分类器中完成面部表情识别工作。本专利技术的目的可以通过如下技术方案实现：一种基于复杂度感知分类算法的面部表情识别方法，所述方法包括以下步骤：S1、对面部表情图像进行预处理后作为训练数据集；S2、设计基于改进残差块的深度卷积神经网络对训练数据集进行训练，提取出人脸面部特征；S3、根据复杂度感知分类算法，通过评估训练数据集提取的人脸面部特征的复杂度，将训练数据集划分为容易训练样本集和困难训练样本集，并针对这两类子样本集分别进行训练得到容易样本分类器和困难样本分类器；S4、分别对容易训练样本集标记{+}标签和困难训练样本集标记{-}标签，针对这两类子样本集训练一个二分类的样本复杂度鉴别分类器，用于衡量面部表情图像分类的难易程度；S5、对测试数据集进行步骤S1的预处理和步骤S2的人脸面部特征提取后，通过样本复杂度鉴别分类器对测试数据集提取的人脸面部特征进行复杂度鉴别，根据人脸面部特征的复杂度将测试数据集分别输入容易样本分类器和困难样本分类器完成人脸表情类别的识别。进一步地，步骤S1中所述对面部表情图像进行预处理具体是指对面部表情图像进行裁剪、白化、归一化预处理，所述每张面部表情图像对应了七种面部表情类型中的一种，七种面部表情类型分别为惊讶、害怕、厌恶、生气、高兴、伤心、平和。进一步地，步骤S1中作为训练数据集的面部表情图像来自于人脸表情数据集Fer2013。进一步地，所述用于提取人脸面部特征的基于改进残差块的深度卷积神经网络依次由卷积层、maxpooling层、四个改进的残差网络块、平均池化层、两个维度为1024的全连接层和一个维度为7的全连接层组成，其中每个改进的残差网络块包含两个卷积层，并将两个特征图的输出由传统的求和连接修改为串联的组合方式连接，这种组合方式提高了信息流在深度卷积神经网络中的流动性，不易出现梯度消失。进一步地，将基于改进残差块的深度卷积神经网络的倒数第二层，即第二个维度为1024的全连接层的输出作为输入面部表情图像的特征表示。进一步地，步骤S3中的容易样本分类器和困难样本分类器均为Softmax分类器，步骤S4中的样本复杂度鉴别分类器为线性SVM分类器。本专利技术与现有技术相比，具有如下优点和有益效果：1、本专利技术方法设计的深度卷积神经网络是基于改进后的残差网络块，该网络结构不仅能够缓解深度神经网络中容易出现梯度消失的问题，而且显著提高了分类的准确率，通过深度神经网络对图片强大的表达能力，能够对面部表情图片细节进行分类、甄别，从而提取出不同类别的表情特征。2、本专利技术方法利用已经训练好的深度卷积神经网络中第二个维度为1024维的全连接层(倒数第二层)的输出作为输入面部表情图像的特征表示，并将复杂度感知分类算法成功应用于面部微表情识别中，显著提高了表情识别的准确率，缓解了容易混淆表情类别误分的问题，同时有效缓解了微表情识别在不受控环境中实际应用中存在的样本特征分布不一致问题，具有一定的市场价值和实用价值。附图说明图1为本专利技术实施本文档来自技高网...

【技术保护点】
1.一种基于复杂度感知分类算法的面部表情识别方法，其特征在于，所述方法包括以下步骤：S1、对面部表情图像进行预处理后作为训练数据集；S2、设计基于改进残差块的深度卷积神经网络对训练数据集进行训练，提取出人脸面部特征；S3、根据复杂度感知分类算法，通过评估训练数据集提取的人脸面部特征的复杂度，将训练数据集划分为容易训练样本集和困难训练样本集，并针对这两类子样本集分别进行训练得到容易样本分类器和困难样本分类器；S4、分别对容易训练样本集标记{+}标签和困难训练样本集标记{‑}标签，针对这两类子样本集训练一个二分类的样本复杂度鉴别分类器，用于衡量面部表情图像分类的难易程度；S5、对测试数据集进行步骤S1的预处理和步骤S2的人脸面部特征提取后，通过样本复杂度鉴别分类器对测试数据集提取的人脸面部特征进行复杂度鉴别，根据人脸面部特征的复杂度将测试数据集分别输入容易样本分类器和困难样本分类器完成人脸表情类别的识别。

【技术特征摘要】
1.一种基于复杂度感知分类算法的面部表情识别方法，其特征在于，所述方法包括以下步骤：S1、对面部表情图像进行预处理后作为训练数据集；S2、设计基于改进残差块的深度卷积神经网络对训练数据集进行训练，提取出人脸面部特征；S3、根据复杂度感知分类算法，通过评估训练数据集提取的人脸面部特征的复杂度，将训练数据集划分为容易训练样本集和困难训练样本集，并针对这两类子样本集分别进行训练得到容易样本分类器和困难样本分类器；S4、分别对容易训练样本集标记{+}标签和困难训练样本集标记{-}标签，针对这两类子样本集训练一个二分类的样本复杂度鉴别分类器，用于衡量面部表情图像分类的难易程度；S5、对测试数据集进行步骤S1的预处理和步骤S2的人脸面部特征提取后，通过样本复杂度鉴别分类器对测试数据集提取的人脸面部特征进行复杂度鉴别，根据人脸面部特征的复杂度将测试数据集分别输入容易样本分类器和困难样本分类器完成人脸表情类别的识别。2.根据权利要求1所述的一种基于复杂度感知分类算法的面部表情识别方法，其特征在于：步骤S1中所述对面部表情图像进行预处理具体是指对面部表情图像进行裁剪、白化、归一化预处理，所述每张面部表情图像对应了七种...

【专利技术属性】
技术研发人员：文贵华，常天元，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44