表情强度变化的人脸表情识别方法、系统及存储介质技术方案

本发明专利技术公开了一种表情强度变化的人脸表情识别方法、系统及存储介质。该方法包括：获取数据样本集，所述数据样本集包括峰值表情样本和非峰值表情样本；提取所述数据样本集中每个样本的特征向量，所有样本的特征向量组成特征矩阵；构建第一邻接矩阵和第二邻接矩阵；将所述特征矩阵、所述第一邻接矩阵和所述第二邻接矩阵输入到图卷积神经网络进行训练。本发明专利技术能够充分利用强度相似表情之间的局部信息、峰值表情与非峰值表情之间的峰导信息，能够有效提高强度变化表情的分类精度。高强度变化表情的分类精度。高强度变化表情的分类精度。

【技术实现步骤摘要】
表情强度变化的人脸表情识别方法、系统及存储介质


[0001]本专利技术属于表情识别
，更具体地，涉及一种强度变化的人脸表情识别方法及其应用。

技术介绍

[0002]面部表情作为最重要的非语言交流手段之一，可以传达自己内心的情感。为了使计算机理解各种面部表情，人脸表情识别已经成为计算机视觉领域的研究热点之一。
[0003]图卷积神经网络，是一种在图数据结构上进行卷积操作的神经网络，它的提出源于深度学习中的卷积神经网络，但它可以用于卷积神经网络不擅长的非欧几里德域。图卷积神经网络，继承了深度学习的大部分优点，对图的节点、边或子图表现出很强的流形表示能力。
[0004]现有的大多数深度学习方法主要集中在峰值表情的人脸表情识别，当应用于非峰值表情的人脸表情识别时，现有方法的表现都会受到很大挑战。当表情强度相较于峰值表情产生大范围变化时，人脸表情的类内距离也会相应增大。此外，当表情强度较弱时，人的面部动作变化也是细微的，难以区分的。同时又由于有标签数据的不足，模型得不到充足数据的训练，其泛化能力自然也存在不足。这些问题导致现有的方法在应用时都存在局限性，识别精度低。利用图神经网络的优点有利于解决以上问题，而现有技术上尚无公开的方法如何进一步优化图神经网络用于强度变化的表情识别。

技术实现思路

[0005]针对现有技术的至少一个缺陷或改进需求，本专利技术提供了一种表情强度变化的人脸表情识别方法、系统及存储介质，能够充分利用强度相似表情之间的局部信息、峰值表情与非峰值表情之间的峰导信息，能够有效提高强度变化表情的分类精度。
[0006]为实现上述目的，按照本专利技术的第一方面，提供了一种表情强度变化的人脸表情识别方法，包括：
[0007]获取数据样本集，所述数据样本集包括峰值表情样本和非峰值表情样本；
[0008]提取所述数据样本集中样本的特征向量，所有样本的特征向量组成特征矩阵；
[0009]对每个样本，计算其与其他样本间的距离，取与其距离最近的多个样本作为其第一邻居样本，根据每两个样本间是否存在第一邻居关系构建第一邻接矩阵；对每个样本，计算其与其他峰值表情样本间的距离，取与其距离最近的多个样本作为其第二邻居样本，根据每两个样本间是否存在第二邻居关系构建第二邻接矩阵；
[0010]将所述特征矩阵、所述第一邻接矩阵和所述第二邻接矩阵输入到图卷积神经网络进行训练。
[0011]进一步地，所述构建第一邻接矩阵包括：
[0012]将第i个样本记为x
i
，将第一邻接矩阵中第i行第j列的值记为若样本x
j
是样本
x
i
的第一邻居样本，则否则
[0013]进一步地，所述构建第二邻接矩阵包括：
[0014]将第i个样本记为x
i
，将第二邻接矩阵中第i行第j列的值记为若样本x
j
是样本x
i
的第二邻居样本，则否则
[0015]进一步地，所述图卷积神经网络包括融合模块、图卷积模块和分类模块，所述输入到图卷积神经网络进行训练包括步骤：
[0016]将所述第一邻接矩阵和所述第二邻接矩阵输入到所述融合模块进行加权融合，获得加权邻接矩阵；
[0017]将所述特征矩阵、所述加权邻接矩阵输入到所述图卷积模块；
[0018]将所述图卷积模块的输出数据输入到所述分类模块。
[0019]进一步地，所述第一邻接矩阵中包含样本相似样本间的局部信息，所述第二邻接矩阵中包含非峰值样本与峰值样本间的峰导信息，调整所述第一邻接矩阵和所述第二邻接矩阵的加权权重参数。
[0020]进一步地，所述图卷积神经网络包括第一图卷积模块、第二图卷积模块、注意力模块和分类模块，所述输入到图卷积神经网络进行训练包括步骤：
[0021]将所述特征矩阵、所述第一邻接矩阵输入到所述第一图卷积模块；
[0022]将所述特征矩阵、所述第二邻接矩阵输入到所述第二图卷积模块；
[0023]将所述第一图卷积模块、所述第二图卷积模块的输出数据输入到所述注意力模块；
[0024]将所述注意力模块的输出数据输入到所述分类模块。
[0025]进一步地，所述计算其与其他样本间的距离、所述计算其与其他峰值表情样本间的距离均为计算欧氏距离。
[0026]进一步地，提取特征向量前对样本进行预处理，所述预处理包括：
[0027]通过人脸特征点来确定输入图像中可见的眼睛中心以及嘴巴中心的位置；
[0028]计算输入图像和对齐图像点与点之间的变换矩阵T，变换矩阵T的计算公式为：
[0029]设为对齐图像的水平中心，w为对齐图像的水平宽度，为头部姿态角度，
[0030]S1＝S
mouth
，
[0031][0032]其中，S1、S
mouth
为原始图像中嘴巴中心的坐标，t1为对齐图像中嘴巴中心的坐标，S2为输入图像中眼睛中心的坐标，t2为对齐图像中眼睛中心的坐标，S
l.eye
为输入图像左眼中
心的坐标，S
r.eye
为输入图像右眼中心的坐标，x
center
为对齐图像的水平中心，y
eyes
为对齐图像眼睛的水平中心，d
xmouth
为对齐图像中嘴巴的水平宽带，y
mouth
为对齐图像中嘴巴中心的纵坐标，当一只眼睛在不可见位置的时候，可见的眼睛的坐标用S
v.eye
来表示，S
mouth
表示嘴巴中心的坐标，在输入图像中只有一只眼睛可见的情况下，S2＝S
v.eye
。
[0033]按照本专利技术的第二方面，提供了一种表情强度变化的人脸表情识别系统，包括：
[0034]获取模块，用于获取数据样本集，所述数据样本集包括峰值表情样本和非峰值表情样本；
[0035]特征提取模块，用于提取所述数据样本集中每个样本的特征向量，所有样本的特征向量组成特征矩阵；
[0036]邻接矩阵构建模块，用于对每个样本，计算其与其他样本间的距离，取与其距离最近的多个样本作为其第一邻居样本，根据每两个样本间是否存在第一邻居关系构建第一邻接矩阵；对每个样本，计算其与其他峰值表情样本间的距离，取与其距离最近的多个样本作为其第二邻居样本，根据每两个样本间是否存在第二邻居关系构建第二邻接矩阵；
[0037]训练模块，用于将所述特征矩阵、所述第一邻接矩阵和所述第二邻接矩阵输入到图卷积神经网络进行训练。
[0038]按照本专利技术的第三方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项方法。
[0039]总体而言，本专利技术与现有技术相比，具有有益效果：
[0040](1)本专利技术充分利用了非峰值样本与峰值样本间的峰导信息来构建第二邻接矩阵中，通过缩小峰值表情和非峰值表情在空本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表情强度变化的人脸表情识别方法，其特征在于，包括：获取数据样本集，所述数据样本集包括峰值表情样本和非峰值表情样本；提取所述数据样本集中每个样本的特征向量，所有样本的特征向量组成特征矩阵；对每个样本，计算其与其他样本间的距离，取与其距离最近的多个样本作为其第一邻居样本，根据每两个样本间是否存在第一邻居关系构建第一邻接矩阵；对每个样本，计算其与其他峰值表情样本间的距离，取与其距离最近的多个样本作为其第二邻居样本，根据每两个样本间是否存在第二邻居关系构建第二邻接矩阵；将所述特征矩阵、所述第一邻接矩阵和所述第二邻接矩阵输入到图卷积神经网络进行训练。2.如权利要求1所述的一种表情强度变化的人脸表情识别方法，其特征在于，所述构建第一邻接矩阵包括：将第i个样本记为x
i
，将第一邻接矩阵中第i行第j列的值记为若样本x
j
是样本x
i
的第一邻居样本，则否则3.如权利要求1所述的一种表情强度变化的人脸表情识别方法，其特征在于，所述构建第二邻接矩阵包括：将第i个样本记为x
i
，将第二邻接矩阵中第i行第j列的值记为若样本x
j
是样本x
i
的第二邻居样本，则否则4.如权利要求1所述的一种表情强度变化的人脸表情识别方法，其特征在于，所述图卷积神经网络包括融合模块、图卷积模块和分类模块，所述输入到图卷积神经网络进行训练包括步骤：将所述第一邻接矩阵和所述第二邻接矩阵输入到所述融合模块进行加权融合，获得加权邻接矩阵；将所述特征矩阵、所述加权邻接矩阵输入到所述图卷积模块；将所述图卷积模块的输出数据输入到所述分类模块。5.如权利要求4所述的一种表情强度变化的人脸表情识别方法，其特征在于，所述第一邻接矩阵中包含样本相似样本间的局部信息，所述第二邻接矩阵中包含非峰值样本与峰值样本间的峰导信息，调整所述第一邻接矩阵和所述第二邻接矩阵的加权权重参数。6.如权利要求1所述的一种表情强度变化的人脸表情识别方法，其特征在于，所述图卷积神经网络包括第一图卷积模块、第二图卷积模块、注意力模块和分类模块，所述输入到图卷积神经网络进行训练包括步骤：将所述特征矩阵、所述第一邻接矩阵输入到所述第一图卷积模块；将所述特征矩阵、所述第二邻接矩阵输入到所述第二图卷积模块；将所述第一图卷积模块、所述第二图卷积模块的输出数据输入到所述注意力模块；将所述注意力模块的输出数据输入到所述分类模...

【专利技术属性】
技术研发人员：陈靓影，徐如意，石金鑫，杨宗凯，张坤，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：