基于图结构的神经网络表情识别方法技术

本发明专利技术涉及生物特征识别领域，具体为基于图结构的神经网络表情识别方法，包括：定位脸部表情识别的多个关键点；使用滤波器提取每个关键点的纹理特征向量；将提取的每个纹理特征向量作为节点，每个节点相互连接形成图结构，各关键点之间的连线作为所述图结构的边，用欧式距离表示各关键点之间的几何特征信息，所述图结构用于代替表情图像；所述图结构输入到BRNN神经网络中；使用多次迭代的方式在所述BRNN神经网络的最后一个时间步上输出表情分类的结果。本发明专利技术充分利用不同表情的纹理及几何特征信息，以解决因图像上存在的干扰信息而降低了表情识别精度的问题。

Facial Expression Recognition Based on Graph Structure Using Neural Network

The invention relates to the field of biometric feature recognition, in particular to a neural network expression recognition method based on graph structure, which includes: locating multiple key points of facial expression recognition; extracting texture feature vectors of each key point by using a filter; taking each texture feature vector extracted as a node, and connecting each node to form a graph structure, and linking the key points as described above. The edge of the graph structure is represented by Euclidean distance, which is used to replace the expression image. The graph structure is input into the BRNN neural network, and the result of expression classification is output on the last time step of the BRNN neural network by multiple iterations. The method makes full use of the texture and geometric feature information of different expressions to solve the problem of reducing the accuracy of expression recognition due to the interference information existing in the images.

【技术实现步骤摘要】
基于图结构的神经网络表情识别方法
本专利技术涉及生物特征识别领域，具体为基于图结构的神经网络表情识别方法。
技术介绍
在人脸表情识别的研究中，从人脸图像中抽取有效的表达信息是关键的步骤，早期的表情识别研究主要从特征学习、特征提取和分离器的构建三个方面入手。首先，人们从图像或者视频系列中提取有关面部外观或者几何形状变化信息，代表方法如LBP-TOP，HOG3D，DTAGN和STM-ExpLet。然后，从中选取出可以有效代表面部表情的特征子集，最后，根据提取的特征，构建一个有效的分类器对面部表情进行识别。但相对来说，传统的分类学习办法难取得较好的效果。表情识别方法主要分为两大类，分别是基于单帧静止图像和基于时序多张图像的方法。在早期的表情识别中主要针对静止单帧的图片进行识别，现有的部分研究者开始尝试针对表情序列进行识别，使得传统的办法被扩展为针对表情序列识别，如3D-HOG，LBP-TOP和3D-SIFT等。这些传统方法中，研究者有采用纵向图集构建的方法在Oulu-CASIA数据库上得到了最好的结果；为了提取更加有效的时空特征，又提出了基于时域和空域的方法，并且在CK+和MMI数据库上取得了传统方法中最好的结果。所以，这三个表情数据库在表情识别实验中被广泛的使用。最近几年，由于计算机性能的大幅度提升，深度学习方法在各个领域都取得了卓越的成果。因此，越来越多的研究者尝试使用深度学习方法来进行表情识别，目前已有较好的深度学习方法被提出，其不同于早期的直接将图片输入给神经网络的办法，而是专注于如何优化神经网络的输入。由理论可知，如图1所示，面部表情的产生可以看作是面部关键点附近肌肉的动态变化，如眼角、眉角和嘴角的变化，在图像上表现为这些关键点附近的纹理和几何的双重变化，因此图像上大部分信息对表情的判断并无贡献，反而成为了干扰信息，降低了表情识别效果。
技术实现思路
本专利技术意在提供基于图结构的神经网络表情识别方法，充分利用不同表情的纹理及几何特征信息，以解决因图像上存在的干扰信息而降低了表情识别精度的问题。本专利技术的技术方案是：基于图结构的神经网络表情识别方法，包括：定位脸部表情识别的多个关键点；使用滤波器提取每个关键点的纹理特征向量；将提取的每个特征向量作为节点，每个节点相互连接形成图结构，各关键点之间的连线作为所述图结构的边，用欧式距离表示各关键点之间的几何特征信息，所述图结构用于代替表情图像；所述图结构输入到BRNN神经网络中；使用多次迭代的方式在所述BRNN神经网络的最后一个时间步上输出表情分类的结果。进一步，所述关键点采用DRMF方法标定出人脸的66个关键点，去除人脸外部轮廓的17个关键点，剩余49个关键点作为脸部的表情识别。进一步，所述图结构的表示：所述滤波器采用Gabor滤波器，所述Gabor滤波器包含尺度λ和角度θ两个参数，尺度λ和角度θ两个参数的组合：其中，x,y分别表示所述节点坐标位置，φ表示相位偏移量，σ表示高斯函数的标准差，γ表示空间纵横比，尺度λ和角度θ参数的设置：令θ＝{0,π/4,π/2,3π/4,π,5π/4,3π/2,2π}，产生一组共计5*8＝40组的Gabor特征向量，用xi(i＝1,2,…,49)来表示节点i的值；计算所述图结构中各关键点之间的欧式距离，生成一个49*49的矩阵，用eij(i,j＝1,2,…,49)来表示所述图结构中各条边的值。进一步，所述BRNN神经网络对所述图结构的处理方式：在将所述图结构输入BRNN神经网络之前，将各个节点信息xi和其对应的边信息eij有效组合，形成新的特征向量节点ni(i＝1,2,…,49)；将所述BRNN神经网络中的非线性单元替换为GRU单元；将每个ni输入到各自对应的GRU单元，所述GRU单元中的前向层和后向层定义如下：其中，初始值为T为迭代值；取出前向迭代得到的终值，将其输入到所述BRNN神经网络中的全连接层得到yi，再将yi输入到softmax层得到y′：其中，W1、W2、W3和b1代表所述BRNN神经网络中学习的权重和偏置，f代表ReLU函数，f′代表softmax函数，最终的y′即为表情分类评分。进一步，所述特征向量节点ni的组合方式：对所述图结构的边取平均再点乘到节点上：进一步，还包括：根据上述基于图结构的神经网络表情识别方法建立的模型，通过表情数据库进行其性能的验证。进一步，所述表情数据库包括CK+、Oulu-CASIA、和MMI，用这三个表情数据库分别对所述模型进行验证。进一步，所述Oulu-CASIA对所述模型的验证方法如下：选取Oulu-CASIA中在正常光环境下采集的表情数据集；在所述数据集中所有表情序列从中性表情开始，到表情强度最大值结束，选取每个表情序列中最后三张图片作为新的数据集；作为新的数据集采用十折交叉验证在所述模型中进行测试；将测试出的识别率取平均值得到最后的结果。进一步，在所述模型的测试中，所述Gabor滤波器中的Gabor特征向量的融合采用级联和平均两种方式进行测量，所述Gabor滤波器中的Gabor核尺寸采用3*3、5*5、7*7三个尺度进行测试。进一步，所述模型的验证在Tensorflow深度学习框架上进行。采用上述技术方案后，本专利技术与现有技术相比具有以下有益效果：本方案创造图结构，通过将面部的多个关键点相互连接起来，形成图结构的节点和边。使用图结构进行表情识别的好处在于，不同的表情会在图结构的各个节点周围产生不一样的纹理变化，同时也会造成节点之间的距离发生不一样的几何变化，以实现用节点表示关键点附近的纹理特征足以满足不同表情造成的纹理变化信息，用边表示几何信息特征足以表示不同表情造成的几何变化关系，从而最大程度剥离了脸部上大面积的干扰信息，比如，脸颊、虹膜和头发等大面积区域，并覆盖了表情中的纹理及几何变化信息，从而提高了表情识别的效果，使得表情识别更加精确。将提取的图结构作为BRNN神经网络的输入，在公开的三个常用表情数据库上进行训练测试，最终判断出本方案测出的识别效果优于现有的其他方法。附图说明图1为面部表情识别提取的关键点示意图；图2为本实施例中基于图结构的神经网络表情识别方法的逻辑框图；图3为本实施例中图结构的示意图；图4为本实施例中基于图结构的神经网络表情识别方法的流程图。具体实施方式下面通过具体实施方式进一步详细说明：如图2、图3和图4所示：基于图结构的神经网络表情识别方法，包括：步骤101，定位脸部表情识别的多个关键点。关键点采用DRMF方法标定出人脸的66个关键点，去除人脸外部轮廓的17个关键点，剩余49个关键点作为脸部的表情识别。步骤102，使用滤波器提取每个关键点的纹理特征向量。滤波器采用Gabor滤波器，Gabor滤波器包含尺度λ和角度θ两个参数，尺度λ和角度θ两个参数的组合：其中，x,y分别表示所述节点坐标位置，φ表示相位偏移量，σ表示高斯函数的标准差，γ表示空间纵横比，尺度λ和角度θ参数的设置：令θ＝{0,π/4,π/2,3π/4,π,5π/4,3π/2,2π}，产生一组共计5*8＝40组的Gabor特征向量。步骤103，将提取的每个纹理特征向量作为节点，每个节点相互连接形成图结构，各关键点之间的连线作为所述图结构的边，用欧式距离表示各关键点之间的几何特征信息，本文档来自技高网...

【技术保护点】
1.基于图结构的神经网络表情识别方法，其特征在于，包括：定位脸部表情识别的多个关键点；使用滤波器提取每个关键点的纹理特征向量；将提取的每个纹理特征向量作为节点，每个节点相互连接形成图结构，各关键点之间的连线作为所述图结构的边，用欧式距离表示各关键点之间的几何特征信息，所述图结构用于代替表情图像；所述图结构输入到BRNN神经网络中；使用多次迭代的方式在所述BRNN神经网络的最后一个时间步上输出表情分类的结果。

【技术特征摘要】
1.基于图结构的神经网络表情识别方法，其特征在于，包括：定位脸部表情识别的多个关键点；使用滤波器提取每个关键点的纹理特征向量；将提取的每个纹理特征向量作为节点，每个节点相互连接形成图结构，各关键点之间的连线作为所述图结构的边，用欧式距离表示各关键点之间的几何特征信息，所述图结构用于代替表情图像；所述图结构输入到BRNN神经网络中；使用多次迭代的方式在所述BRNN神经网络的最后一个时间步上输出表情分类的结果。2.根据权利要求1所述的基于图结构的神经网络表情识别方法，其特征在于，所述关键点采用DRMF方法标定出人脸的66个关键点，去除人脸外部轮廓的17个关键点，剩余49个关键点作为脸部的表情识别。3.根据权利要求2所述的基于图结构的神经网络表情识别方法，其特征在于，所述图结构的表示：所述滤波器采用Gabor滤波器，所述Gabor滤波器包含尺度λ和角度θ两个参数，尺度λ和角度θ两个参数的组合：其中，x，y分别表示所述节点坐标位置，φ表示相位偏移量，σ表示高斯函数的标准差，γ表示空间纵横比，尺度λ和角度θ参数的设置：令θ＝{0，π/4，π/2，3π/4，π，5π/4，3π/2，2π}，产生一组共计5*8＝40组的Gabor特征向量，用xi(i＝1，2，...，49)来表示节点i的值；计算所述图结构中各关键点之间的欧式距离，生成一个49*49的矩阵，用eij(i，j＝1，2，...，49)来表示所述图结构中各条边的值。4.根据权利要求3所述的基于图结构的神经网络表情识别方法，其特征在于，所述BRNN神经网络对所述图结构的处理方式：在将所述图结构输入BRNN神经网络之前，将各个节点信息xi和其对应的边信息eij有效组合，形成新的特征向量节点ni(i＝1，2，...，49)；将所述BRNN神经网络中的非线性单元替换为GRU单元；将每个ni输入到各自对应的GRU...

【专利技术属性】
技术研发人员：李剑峰，钟磊，
申请(专利权)人：西南大学，
类型：发明
国别省市：重庆,50