一种面部表情识别方法技术

本发明专利技术提供一种面部表情识别方法

【技术实现步骤摘要】
一种面部表情识别方法、系统及电子设备


[0001]本专利技术属于计算机视觉领域，更具体地，涉及一种面部表情识别方法
、
系统及电子设备
。

技术介绍

[0002]人脸表情识别是利用计算机视觉和深度学习技术，对图像或视频中的人脸表情特征进行提取和分类的任务
。
人脸表情是人类表达自身情绪的主要途径之一
。
通过表情识别，可以获取其内在的情绪状态，包括高兴
、
悲伤
、
厌恶
、
愤怒等
。
近年来，人脸表情识别在多个领域得到了前所未有的探索和应用
。
例如，在人机交互研究领域，情感交互的地位显得尤为重要
。
系统可以通过识别用户的情感波动来决策下一步的交互行为，从而实现更加人性化和智能化的交互体验
。
同时，人脸表情识别被广泛用于情绪监测
。
通过实时分析人们面部表情的变化，可以提取出某一时间段内的情绪变化情况，为心理健康测量和身体疾病诊断提供重要依据，推动了自动化早期心理疾病检测和智能化心理咨询干预的发展
。
[0003]图卷积神经网络是一种有效的方法来解决人脸表情识别中的问题
。
通过将人脸特征点作为节点，并按照面部部位的顺序连接这些节点，可以构建一张几何人脸特征点图
。
通过对几何人脸特征点图进行图卷积操作，可以聚合邻居节点的信息，从而对每个节点进行几何感知，提升节点的语义表达能力r/>。
相比传统的卷积神经网络，视觉自注意力模型通过自注意力机制的计算，可以直接在全局范围内进行聚合来捕捉图像的全局信息，这在建立长距离关系方面更加准确和高效
。
其次在表情识别中，自注意力模型中的多头机制既可以进行并行矩阵运算减少耗时，又可以通过它进行特征编码，通过全局的语义关联学习，使得模型能够捕捉更丰富
、
更复杂的特征
。
[0004]尽管视觉自注意力模型在人脸表情识别的性能已经取得了显著进步，但仍然面临诸多问题
。
首先，视觉自注意力模型无法显式的探索人脸几何结构化语义，无法提取有助于面部表情识别的几何关联表征；其次，视觉自注意力模型未探索局部特征和全局特征的语义关联，尤其是五官周围与表情密集有关的局部语义和全局的语义关联
。
与此同时，图卷积神经网络由于其图结构是人工设定且固定的，所以无法探索节点间的高级语义关联，同时也无法自适应地建立新的节点连接
。
由于上述原因，现有的方法仍旧缺少鲁棒
、
具有区分性的特征提取能力
。

技术实现思路

[0005]针对现有技术的缺陷，本专利技术的目的在于提供一种面部表情识别方法
、
系统及电子设备，旨在解决现有面部表情识别效果不佳的问题
。
[0006]为实现上述目的，第一方面，本专利技术提供了一种面部表情识别方法，包括以下步骤：
[0007]获取用户面部图像，并提取用户的面部特征点；
[0008]基于卷积神经网络提取用户面部图像的浅层特征和深层特征，以各个面部特征点
为中心在浅层特征中裁剪出对应的局部特征块，得到面部图像的多个局部特征，并将深层特征切分投影后得到面部图像的多个全局特征；
[0009]将全局特征与各个局部特征的相似度作为对应的注意力权重，之后结合对应的注意力权重将多个全局特征分别自适应融合入各个局部特征，得到多个增强的局部特征；
[0010]基于图卷积神经网络结合多个增强的局部特征对面部特征点对应的特征点图进行图卷积，提取用户脸部的多个结构化语义特征；
[0011]将结构化语义特征与全局特征的相似度作为对应的注意力权重，之后结合对应的注意力权重将多个结构化语义特征分别融合入每个全局特征，在全局特征中增强与面部表情识别关联度高的区域，得到增强的全局特征；
[0012]基于视觉自注意力模型进一步聚合增强的全局特征识别得到用户面部表情
。
[0013]在一种可能的实施方式中，通过
ResNet
‑
18
网络或
IR
‑
50
网络提取用户面部图像的浅层特征和深层特征
。
[0014]在一种可能的实施方式中，以每个用户面部特征点为中心在浅层特征上裁剪出预设大小的局部子块其中，
N
代表用户脸特征点个数，
C
代表通道数，
H
local
和
W
local
代表裁剪出的局部子块大小；最后经过特征展平和特征映射，得到最终的局部特征
d
local
表示局部特征的特征向量维度
。
[0015]设卷积神经网络输出的深层特征对深层特征进行均匀切分，再经过全连接层投影后，得到全局特征其中
H
local
和
W
local
代表深层特征大小，
h、w
代表切分的每个子块的高和宽，
d
global
代表投影后每个全局特征的通道数
。
[0016]在一种可能的实施方式中，所述增强的局部特征
X
′
local
为：
[0017][0018][0019]其中，
d
为特征向量的通道维度，
Softmax(
·
)
为激活函数，用于加快训练收敛，
X
local
为局部特征，
X
global
为全局特征，
w
表示采用全连接层对特征进行投影，表示矩阵乘法，
G2L
Attention
为全局特征相对局部特征的注意力权重
。
[0020]在一种可能的实施方式中，所述结构化语义特征
Z
local
通过如下步骤得到：
[0021]通过用户脸部特征点的几何先验知识来构建图模型
G
＝
(v
，
e)
，
v
代表节点，
e
代表边，每一个特征点子块
x
i
∈v
作为图模型的一个节点，任意两个节点间的边
a
ij
∈e
使用用户脸部特征点的几何图初始化，得到邻接矩阵
A
ij
；
[0022]将增强的局部特征
X
′
local
和邻接矩阵
A
ij
输入到图卷积神经网络，将增强的局部特征增强提取得到脸部的结构化语义特征
Z
local
；所述邻接矩阵为图卷积神经网络的可学习参数，以使图卷积神经网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面部表情识别方法，其特征在于，包括以下步骤：获取用户面部图像，并提取用户的面部特征点；基于卷积神经网络提取用户面部图像的浅层特征和深层特征，以各个面部特征点为中心在浅层特征中裁剪出对应的局部特征块，得到面部图像的多个局部特征，并将深层特征切分投影后得到面部图像的多个全局特征；将全局特征与各个局部特征的相似度作为对应的注意力权重，之后结合对应的注意力权重将多个全局特征分别自适应融合入各个局部特征，得到多个增强的局部特征；基于图卷积神经网络结合多个增强的局部特征对面部特征点对应的特征点图进行图卷积，提取用户脸部的多个结构化语义特征；将结构化语义特征与全局特征的相似度作为对应的注意力权重，之后结合对应的注意力权重将多个结构化语义特征分别融合入每个全局特征，在全局特征中增强与面部表情识别关联度高的区域，得到增强的全局特征；基于视觉自注意力模型进一步聚合增强的全局特征识别得到用户面部表情
。2.
根据权利要求1所述的方法，其特征在于，以每个用户面部特征点为中心在浅层特征上裁剪出预设大小的局部子块其中，
N
代表用户脸特征点个数，
C
代表通道数，
H
local
和
W
local
代表裁剪出的局部子块大小；最后经过特征展平和特征映射，得到最终的局部特征
d
local
表示局部特征的特征向量维度；设卷积神经网络输出的深层特征对深层特征进行均匀切分，再经过全连接层投影后，得到全局特征其中
H
local
和
W
local
代表深层特征大小，
h、w
代表切分的每个子块的高和宽，
d
global
代表投影后每个全局特征的通道数
。3.
根据权利要求1所述的方法，其特征在于，所述增强的局部特征
X
l
′
ocal
为：为：其中，
d
为特征向量的通道维度，
Softmax(
·
)
为激活函数，用于加快训练收敛，
X
local
为局部特征，
X
global
为全局特征，
w
表示采用全连接层对特征进行投影，表示矩阵乘法，
G2L
Attention
为全局特征相对局部特征的注意力权重
。4.
根据权利要求1或3所述的方法，其特征在于，所述结构化语义特征
Z
local
通过如下步骤得到：通过用户脸部特征点的几何先验知识来构建图模型
G
＝
(v,e)
，
v
代表节点，
e
代表边，每一个特征点子块
x
i
∈v
作为图模型的一个节点，任意两个节点间的边
a
ij
∈e
使用用户脸部特征点的几何图初始化，得到邻接矩阵
A
ij
；将增强的局部特征
X
′
local
和邻接矩阵
A
ij
输入到图卷积神经网络，将增强的局部特征增强提取得到脸部的结构化语义特征
Z
local
；所述邻接矩阵为图卷积神经网络的可学习参数，以使图卷积神经网络根据目标任务自适应的寻找用户脸部局部区域之间的关联，减少没有
关联的区域之间的联系，给具有语义关联的局部区域增加边的连接，以提取对应的结构化语义特征
。5.
根据权利要求1所述的方法，其特征在于，所述增强的全局特征
X
′
global
为：为：其中，
d
...

【专利技术属性】
技术研发人员：陈靓影，文仲淳，徐如意，杨宗凯，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：