一种基于多任务卷积神经网络的人脸表情识别方法技术

一种基于多任务卷积神经网络的人脸表情识别方法，首先设计多任务卷积神经网络结构，在网络中依次提取所有表情共享的低层语义特征和多个单表情判别性特征；然后采用多任务学习，同时学习多个单表情判别性特征学习任务以及多表情识别任务，使用一种联合损失来监督网络的所有任务，并且使用两种损失权重来平衡网络的损失；最后根据训练好的网络模型，从模型最后的柔性最大分类层得到最终的人脸表情识别结果。将特征提取与表情分类放在一个端到端的框架中进行学习，从输入图片中提取出判别性特征，对输入图片做出可靠地表情识别。通过实验分析可知，本算法性能卓越，可有效地区分复杂的人脸表情，在多个公开的数据集上都取得了良好的识别性能。

A facial expression recognition method based on multi task convolution neural network

A facial expression recognition method based on Multi-task convolution neural network is proposed. Firstly, the structure of multi-task convolution neural network is designed to extract the low-level semantic features shared by all expressions and multiple discriminant features of single expression in turn in the network. Secondly, multi-task learning is adopted and multiple discriminant features of single expression are learned at the same time. The task of task and multi-expression recognition uses a joint loss to supervise all tasks of the network, and uses two loss weights to balance the loss of the network. Finally, according to the trained network model, the final result of facial expression recognition is obtained from the last flexible maximum classification layer of the model. The feature extraction and expression classification are studied in an end-to-end framework, and discriminant features are extracted from the input pictures to make reliable expression recognition for the input pictures. The experimental analysis shows that the algorithm has excellent performance, can effectively distinguish complex facial expressions, and has achieved good recognition performance on many open data sets.

【技术实现步骤摘要】
一种基于多任务卷积神经网络的人脸表情识别方法
本专利技术涉及计算机视觉技术，尤其是涉及一种基于多任务卷积神经网络的人脸表情识别方法。
技术介绍
在过去的几十年时间里，人脸表情自动识别已经吸引了越来越多计算机视觉的专家和学者广泛的关注。人脸表情识别的目标是，对给定的人脸表情图片，设计一种系统，能够自动预测其所属的人脸表情类别。人脸表情自动识别技术有着广泛的应用场景，如人机交互，安全驾驶和医疗保健等。尽管这些年来这项技术已经取得了不小的成功，但是在不可控的环境条件下进行可靠的人脸表情自动识别仍然是一个巨大的挑战。一个人脸表情识别系统包括三个模块：人脸检测、特征提取和人脸表情分类。其中，人脸检测技术已经发展得相当成熟，目前的人脸表情识别方法主要集中解决特征提取和人脸表情分类这两个模块。通常来说，这些技术可大致分为两类：基于手工设计特征的方法和基于卷积神经网络特征的方法。Zhong等人(L.Zhong,Q.Liu,P.Yang,J.Huang,D.N.Metaxas,“Learningactivefacialpatchesforexpressionanalysis”,inIEEEConferenceonComputerVisionandPatternRecognition(CVPR),2012,pp.2562–2569.)提出了一种多任务稀疏学习方法，该方法使用多任务学习从人脸表情图片中提取通用人脸区域和特定人脸区域，其中，通用人脸区域对所有表情的识别都有作用，特定人脸区域只对特定一种表情的识别有作用。然而，这种方法所提取出的通用人脸区域和特定人脸区域可能会有重合，为了解决这个问题，Liu等人(P.Liu,J.T.Zhou,W.H.Tsang,Z.Meng,S.Han,Y.Tong,“Featuredisentanglingmachine-anovelapproachoffeatureselectionanddisentanglinginfacialexpressionanalysis”,inEuropeanConferenceonComputerVision(ECCV),2014,pp.151–166.)提出了一种人脸表情特征分解的方法，该方法将稀疏SVM和多任务学习结合到一个框架中，从人脸表情图片中直接提取两种没有重合的特征：通用特征和特定特征，通用特征被所有表情所共享，而特定特征用于识别特定的一种表情。然而，这些基于手工设计特征的方法将特征学习和分类器训练分开进行，可能会导致比较差的泛化性能。最近，卷积神经网络在计算机视觉领域取得了重大的突破。借助卷积神经网络，许多计算视觉领域的工作取得了非常不错的结果。多数的卷积神经网络模型是通过在交叉熵损失监督下训练得到的。虽然利用交叉熵损失学习到的特征是可分的，但是只用交叉熵损失来训练网络可能无法得到令人满意的判别性的特征分布。最近Wen等人(Y.Wen,K.Zhang,Z.Li,Y.Qiao,“Adiscriminativefeaturelearningap-620proachfordeepfacerecognition”,inEuropeanConferenceonComputerVision(ECCV),2016,pp.499–515.)提出一种类内损失作为卷积神经网络的辅助监督信号。类内损失可以有效地减小特征的类内差异性，然而，类内损失并没有显式地扩大特征的类间差异性。
技术实现思路
本专利技术的目的在于提供一种基于多任务卷积神经网络的人脸表情识别方法。本专利技术包括以下步骤：1)准备训练样本集i＝1,...,N，j＝1,...c，其中，N为样本的数目，c表示训练样本集包含的类别数，N和c为自然数；Pi表示第i个训练样本对应的固定大小的图像；表示第i个训练样本对于第j类表情的类别标签：2)设计多任务卷积神经网络结构，网络由两部分组成，第一部分用于提取图片的低层语义特征，第二部分用于提取图片的高层语义特征以及预测输入人脸图片所属的表情类别；3)在设计好的多任务卷积神经网络里，采用多任务学习，同时执行多个单表情判别性特征学习任务以及多表情识别任务，并使用一种联合损失来监督每个单表情判别任务，用于学习对某种表情具有判别性的特征；4)使用大的人脸识别数据集，利用反向传播算法进行预训练；5)使用给定的人脸表情训练样本集进行微调，得到训练好的模型；6)利用训练好的模型进行人脸表情识别。在步骤2)中，所述设计多任务卷积神经网络结构的具体方法可为：(1)网络的第一部分为全卷积网络，用于提取输入图像的中被所有表情所共享的低层语义特征，对于网络的第一部分，采用预激活残差单元结构(K.He,X.Zhang,S.Ren,J.Sun,“IdentityMappingsinDeepResidualNetworks”,arXiv:1603.05027,2016.)堆叠多个卷积层；(2)网络的第二部分由多个并行的全连接层和一个用于多表情分类的柔性最大(softmax)分类层组成，多个并行的全连接层的个数与训练样本集包含的类别数一致，每个并行的全连接层接收网络的第一部分所输出的特征作为输入，获得所有并行的全连接层的输出之后，将这些输出串联起来，作为柔性最大分类层的输入。在步骤3)中，所述在设计好的多任务卷积神经网络里，采用多任务学习，同时执行多个单表情判别性特征学习任务以及多表情识别任务的具体方法可为：(1)每个单表情判别性特征学习任务，用于学习对特定一个表情具有判别性的特征，第j个任务对应所有并行的全连接层中的第j个全连接层，每个单表情判别性特征学习任务需要学习两个向量和作为两种样本的类中心，表示第j类表情特征的类中心，表示除第j类表情之外，其他类表情特征的类中心，计算样本特征到每个类中心的距离，具体计算公式如下所示：其中，表示输入训练样本Pi在第j个全连接层得到的特征。为标签，表示属于第j类表情，表示不属于第j类表情，||.||2表示欧式距离，是正距离，表示样本特征到所属类中心的欧氏距离的平方，是负距离，表示样本特征到另一个类中心的欧氏距离的平方；(2)在和的基础上，对每个输入样本，计算如下两种损失：其中是在单个样本上的类内损失，是在单个样本上的类间损失，α是边界阈值，用于控制和的相对间隔；(3)在每个样本上，使用样本敏感损失权重对两种损失和进行加权：其中，和分别是样本的类内损失和类间损失的损失敏感权重，通过一种调制函数得来，调制函数公式如下：调制函数δ(x)将输入的样本损失归一化到区间[0,1)，作为样本的损失敏感权重，和分别对应第j个表情的类内损失和类间损失，m为第j个任务训练时的样本数量；(4)对每个表情，使用动态表情权重对两种损失和进行加权，所有单表情判别性特征学习任务的联合损失为：其中，和分别是第j个任务的类内损失和类间损失的动态表情权重，由柔性最大函数计算得来，计算公式如下：经过柔性最大函数计算得到的权重之和为1.0，即(5)将所有单任务学习到的特征串联起来，输入到柔性最大分类层进行分类，对柔性最大分类层计算交叉熵损失：其中，网络计算得到的表明训练样本Pi属于第j类表情的概率；(6)联合损失和交叉熵损失构成网络的总损失：Ltotal＝LJ+Lcls。(12)整个网络通过反向传本文档来自技高网...

【技术保护点】
1.一种基于多任务卷积神经网络的人脸表情识别方法，其特征在于包括以下步骤：1)准备训练样本集

【技术特征摘要】
1.一种基于多任务卷积神经网络的人脸表情识别方法，其特征在于包括以下步骤：1)准备训练样本集i＝1,...,N，j＝1,...c，其中，N为样本的数目，c表示训练样本集包含的类别数，N和c为自然数；Pi表示第i个训练样本对应的固定大小的图像；表示第i个训练样本对于第j类表情的类别标签：2)设计多任务卷积神经网络结构，网络由两部分组成，第一部分用于提取图片的低层语义特征，第二部分用于提取图片的高层语义特征以及预测输入人脸图片所属的表情类别；3)在设计好的多任务卷积神经网络里，采用多任务学习，同时执行多个单表情判别性特征学习任务以及多表情识别任务，并使用一种联合损失来监督每个单表情判别任务，用于学习对某种表情具有判别性的特征；4)使用大的人脸识别数据集，利用反向传播算法进行预训练；5)使用给定的人脸表情训练样本集进行微调，得到训练好的模型；6)利用训练好的模型进行人脸表情识别。2.如权利要求1所述一种基于多任务卷积神经网络的人脸表情识别方法，其特征在于在步骤2)中，所述设计多任务卷积神经网络结构的具体方法为：(1)网络的第一部分为全卷积网络，用于提取输入图像的中被所有表情所共享的低层语义特征，对于网络的第一部分，采用预激活残差单元结构堆叠多个卷积层；(2)网络的第二部分由多个并行的全连接层和一个用于多表情分类的柔性最大分类层组成，多个并行的全连接层的个数与训练样本集包含的类别数一致，每个并行的全连接层接收网络的第一部分所输出的特征作为输入，获得所有并行的全连接层的输出之后，将这些输出串联起来，作为柔性最大分类层的输入。3.如权利要求1所述一种基于多任务卷积神经网络的人脸表情识别方法，其特征在于在步骤3)中，所述在设计好的多任务卷积神经网络里，采用多任务学习，同时执行多个单表情判别性特征学习任务以及多表情识别任务的...

【专利技术属性】
技术研发人员：严严，黄颖，王菡子，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建,35