一种基于图卷积神经网络的人脸表情识别方法技术

本发明专利技术涉及一种基于图卷积神经网络的人脸表情识别方法。其技术方案是：首先，获取人脸表情图像集合Image和人脸表情标记集合Label；然后，根据人脸表情图像集合Image得到人脸表情无向图集合Graph；再根据人脸表情无向图集合Graph和人脸表情标记集合Label，建立人脸表情识别分类器；最后，输入一张待识别的人脸表情图像，进行灰度化，提取人脸部分图像，再将人脸部分图像的大小归一化到m×m，得到归一化后的人脸图像，将归一化后的人脸图像转换成无向图，将无向图输入至人脸表情识别的分类器，得到人脸表情的识别结果。本发明专利技术具有能提取较为广泛的图像特征的特点，人脸表情识别率高。

A Face Expression Recognition Method Based on Graph Convolution Neural Network

【技术实现步骤摘要】
一种基于图卷积神经网络的人脸表情识别方法
本专利技术属于人脸表情识别
具体涉及一种基于图卷积神经网络的人脸表情识别方法。
技术介绍
人脸表情不仅是人类心理活动的生理表现，而且在人际沟通中有着不可或缺的重要性。人脸表情识别的方法有两类：基于机器学习的识别方法和基于深度学习的识别方法。基于机器学习的识别方法易受特征提取效果优劣的影响。而基于深度学习识别方法将特征提取和表情分类结合在一起，克服基于机器学习的识别方法的缺点。基于深度学习的方法中，卷积神经网络被广泛使用于建立表情分类模型。Matsuguetal(MatsuguM,MoriK,MitariY,etal.Subjectindependentfacialexpressionrecognitionwithrobustfacedetectionusingaconvolutionalneuralnetwork[J].NeuralNetworks,2003,16(5-6):555-559)使用卷积神经网络建立人脸表情分类器用于人脸表情的分类。使用该方法虽然获得了较高的识别率，但使用卷积神经网络建立的分类器只能提取图像中的8邻域的相关信息，对于相距较远像素点之间的相关信息的提取能力较差。影响了建立的分类器对人脸表情识别的正确率。
技术实现思路
本专利技术旨在克服现有技术缺陷，目的在于提供一种基于图卷积神经网络的人脸表情识别方法；该方法能提取较为广泛的像素点之间相关信息，人脸表情识别率高。为了实现上述目的，本专利技术采用的技术方案的具体步骤是：步骤1、获取一组大小为m×m的人脸表情的灰度图像，组成人脸表情图像集合Image，将人脸表情图像集合Image中的每张人脸表情的灰度图像对应的人脸表情标记组成人脸表情标记集合Label；其中的每张人脸表情的灰度图像对应的人脸表情标记为高兴、吃惊、悲伤、愤怒、厌恶和恐惧中的一种。步骤2、将人脸表情图像集合Image中每张人脸表情的灰度图像转换成无向图，组成人脸表情无向图集合Graph。所述人脸表情的灰度图像转换成无向图的具体步骤是：步骤2.1、将人脸表情的灰度图像中的每一个像素点作为无向图中的一个顶点。步骤2.2、设人脸表情的灰度图像中相邻的两个像素点之间的距离为1。步骤2.3、将人脸表情的灰度图像中的每一个像素点依次作为中心像素点，然后进行如下操作：先将距中心像素点的欧氏距离小于等于2的像素点组成固定取点集合Fixed。再将距中心像素点的欧氏距离大于2且小于4的像素点组成随机取点集合Random。然后将中心像素点所对应的无向图的顶点与固定取点集合Fixed中所有像素点所对应的无向图的顶点相连，将中心像素点所对应的无向图的顶点与随机取点集合Random中随机选取p个像素点所对应的无向图的顶点相连。步骤2.4、转换成的无向图的邻接矩阵W的第i行第j列的数值Wij为：式(1)中：sij表示人脸表情的灰度图像中的第i个像素点vi与第j个像素点vj之间的欧式距离。所述无向图的邻接矩阵W∈Rnxn。步骤3、根据人脸表情无向图集合Graph和人脸表情标记集合Label，建立人脸表情识别分类器：步骤3.1、一个图卷积神经网络含有6个图卷积层、一个全连接层和一个softmax层；每个图卷积层含有一个图信号滤波层和一个图的粗化层，确定每个图卷积层中的输入无向图的个数、输出无向图的个数和使用滤波器的大小，确定全连接层的节点数Mf；softmax层有6个输出，分别对应6种基本表情。步骤3.2、将第1个图卷积层的可训练参数θ1、第2个图卷积层的可训练参数θ2、第3个图卷积层的可训练参数θ3、第4个图卷积层的可训练参数θ4、第5个图卷积层的可训练参数θ5、第6个图卷积层的可训练参数θ6、全连接层的可训练参数θf和softmax层的可训练参数θsoft组成图卷积神经网络的可训练参数集合θ。步骤3.3、将图卷积神经网络的可训练参数集合θ初始化。步骤3.4、将图卷积神经网络的可训练参数集合θ和人脸表情无向图集合Graph放入图卷积神经网络进行前向传播，得到人脸表情标记预测集合Predict；人脸表情标记预测集合Predict是由人脸表情图像的无向图训练集合Graph中每个无向图的预测的人脸表情标记结果组成。步骤3.5、计算人脸表情标记集合Label与人脸表情标记预测集合Predict之间的误差；使用最小化均方误差代价函数的方法更新图卷积神经网络的可训练参数集合θ，然后执行步骤3.4，直到人脸表情标记集合Label与人脸表情标记预测集合Predict之间的误差小于0.1。步骤3.6、图卷积神经网络的可训练参数集合θ和图卷积神经网络组成人脸表情识别的分类器。步骤4、输入一张待识别的人脸表情图像，进行灰度化，提取人脸部分图像，再将人脸部分图像的大小归一化到m×m，得到归一化后的人脸图像；然后将归一化后的人脸图像转换成无向图，最后将无向图输入至人脸表情识别的分类器，得到人脸表情的识别结果。所述的图卷积神经网络进行前向传播的具体步骤：步骤1、将人脸表情无向图集合Graph输入图卷积神经网络，第s个图卷积层的输入和输出关系是：式(2)和式(3)中：xs,i表示图卷积神经网络的第s个图卷积层输入的第i个无向图；ys,j表示图卷积神经网络的第s个图卷积层输出的第j个无向图；Min表示图卷积神经网络的第s个图卷积层输入点的无向图的个数；K表示图卷积神经网络的第s个图卷积层的滤波器大小；L表示图卷积神经网络的第s个图卷积层输入的无向图的拉普拉斯矩阵；表示第s个图卷积层中将输入的第i个无向图转换成输出的第j个无向图的过程中的可训练参数向量，表示第s个图卷积层中将输入的第i个无向图转换成输出的第j个无向图的过程中的可训练参数向量中第k个数；f(·)表示使用基于贪婪算法的图的粗化算法对括号中的无向图进行粗化操作。步骤2、将经过6个图卷积层后得到的无向图的顶点值排成列向量xfin，将列向量xfin输入全连接层，全连接层的输入和输出为：xfout＝fReLU(θfxfin)(4)式(4)中：xfout表示全连接层的输出向量；θf表示全连接层的可训练参数；表示ReLU激活函数。步骤3、将全连接层的输出xfout输入至softmax层，softmax层的中间向量xsoftmid和输出向量xsoftout的第i个数为：xsoftmid＝fReLU(θsoftxfout)(5)式(5)～(6)中：θsoft表示softmax层的可训练参数；xsoftmid表示softmax层的中间向量；表示softmax层的中间向量xsoftin的第i个数；表示softmax层的输出向量xsoftout中的第i个数。步骤4、softmax层的输出向量xsoftout中的数分别表示6种基本表情的可能性，将softmax层的输出向量xsoftout中数字最大的对应的基本表情作为该无向图的人脸表情标记。由于采用上述技术方案，本专利技术与现有技术相比具有如下积极效果：本专利技术在人脸图像转换成无向图的过程中，使用了固定取点和随机取点相结合的方法。使用固定取点能建立相距较近的像素点之间的连接，即连接了8邻域的像素点，使用随机取点能建立相距较远的像素点之间的连接。将固定取点和随机取点相结合，使得图像中每一个像素点既与较近的本文档来自技高网...

【技术保护点】
1.一种基于图卷积神经网络的人脸表情识别方法，其特征在于所述人脸表情识别方法的具体步骤是：步骤1、获取一组大小为m×m的人脸表情的灰度图像，组成人脸表情图像集合Image，将人脸表情图像集合Image中的每张人脸表情的灰度图像对应的人脸表情标记组成人脸表情标记集合Label；其中的每张人脸表情的灰度图像对应的人脸表情标记为高兴、吃惊、悲伤、愤怒、厌恶和恐惧中的一种；步骤2、将人脸表情图像集合Image中每张人脸表情的灰度图像转换成无向图，组成人脸表情无向图集合Graph；所述人脸表情的灰度图像转换成无向图的具体步骤是：步骤2.1、将人脸表情的灰度图像中的每一个像素点作为无向图中的一个顶点；步骤2.2、设人脸表情的灰度图像中相邻的两个像素点之间的距离为1；步骤2.3、将人脸表情的灰度图像中的每一个像素点依次作为中心像素点，然后进行如下操作：先将距中心像素点的欧氏距离小于等于2的像素点组成固定取点集合Fixed；再将距中心像素点的欧氏距离大于2且小于4的像素点组成随机取点集合Random；然后将中心像素点所对应的无向图的顶点与固定取点集合Fixed中所有像素点所对应的无向图的顶点相连，将中心像素点所对应的无向图的顶点与随机取点集合Random中随机选取p个像素点所对应的无向图的顶点相连；步骤2.4、转换成的无向图的邻接矩阵W的第i行第j列的数值Wij为：...

【技术特征摘要】
1.一种基于图卷积神经网络的人脸表情识别方法，其特征在于所述人脸表情识别方法的具体步骤是：步骤1、获取一组大小为m×m的人脸表情的灰度图像，组成人脸表情图像集合Image，将人脸表情图像集合Image中的每张人脸表情的灰度图像对应的人脸表情标记组成人脸表情标记集合Label；其中的每张人脸表情的灰度图像对应的人脸表情标记为高兴、吃惊、悲伤、愤怒、厌恶和恐惧中的一种；步骤2、将人脸表情图像集合Image中每张人脸表情的灰度图像转换成无向图，组成人脸表情无向图集合Graph；所述人脸表情的灰度图像转换成无向图的具体步骤是：步骤2.1、将人脸表情的灰度图像中的每一个像素点作为无向图中的一个顶点；步骤2.2、设人脸表情的灰度图像中相邻的两个像素点之间的距离为1；步骤2.3、将人脸表情的灰度图像中的每一个像素点依次作为中心像素点，然后进行如下操作：先将距中心像素点的欧氏距离小于等于2的像素点组成固定取点集合Fixed；再将距中心像素点的欧氏距离大于2且小于4的像素点组成随机取点集合Random；然后将中心像素点所对应的无向图的顶点与固定取点集合Fixed中所有像素点所对应的无向图的顶点相连，将中心像素点所对应的无向图的顶点与随机取点集合Random中随机选取p个像素点所对应的无向图的顶点相连；步骤2.4、转换成的无向图的邻接矩阵W的第i行第j列的数值Wij为：式(1)中：sij表示人脸表情的灰度图像中的第i个像素点vi与第j个像素点vj之间的欧式距离；所述无向图的邻接矩阵W∈Rnxn；步骤3、根据人脸表情无向图集合Graph和人脸表情标记集合Label，建立人脸表情识别分类器：步骤3.1、一个图卷积神经网络含有6个图卷积层、一个全连接层和一个softmax层；每个图卷积层含有一个图信号滤波层和一个图的粗化层，确定每个图卷积层中的输入无向图的个数、输出无向图的个数和使用滤波器的大小，确定全连接层的节点数Mf；softmax层有6个输出，分别对应6种基本表情；步骤3.2、将第1个图卷积层的可训练参数θ1、第2个图卷积层的可训练参数θ2、第3个图卷积层的可训练参数θ3、第4个图卷积层的可训练参数θ4、第5个图卷积层的可训练参数θ5、第6个图卷积层的可训练参数θ6、全连接层的可训练参数θf和softmax层的可训练参数θsoft组成图卷积神经网络的可训练参数集合θ；步骤3.3、将图卷积神经网络的可训练参数集合θ初始化；步骤3.4、将图卷积神经网络的可训练参数集合θ和人脸表情无向图集合Graph放入图卷积神经网络进行前向传播，得到人脸表情标记预测集合Predict；人脸表情标记预测集合Predict是由人脸表情图像的无向图训练集合Graph中每个无向图的预...

【专利技术属性】
技术研发人员：柴利，吴晨晖，杨君，盛玉霞，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：湖北,42