一种面部表情识别方法技术

本发明专利技术提供一种面部表情识别方法

【技术实现步骤摘要】
一种面部表情识别方法、系统及电子设备


[0001]本专利技术属于计算机视觉领域，更具体地，涉及一种面部表情识别方法
、
系统及电子设备
。

技术介绍

[0002]人脸表情识别是利用计算机视觉和深度学习技术，对图像或视频中的人脸表情特征进行提取和分类的任务
。
人脸表情是人类表达自身情绪的主要途径之一
。
通过表情识别，可以获取其内在的情绪状态，包括高兴
、
悲伤
、
厌恶
、
愤怒等
。
近年来，人脸表情识别在多个领域得到了前所未有的探索和应用
。
例如，在人机交互研究领域，情感交互的地位显得尤为重要
。
系统可以通过识别用户的情感波动来决策下一步的交互行为，从而实现更加人性化和智能化的交互体验
。
同时，人脸表情识别被广泛用于情绪监测
。
通过实时分析人们面部表情的变化，可以提取出某一时间段内的情绪变化情况，为心理健康测量和身体疾病诊断提供重要依据，推动了自动化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面部表情识别方法，其特征在于，包括以下步骤：获取用户面部图像，并提取用户的面部特征点；基于卷积神经网络提取用户面部图像的浅层特征和深层特征，以各个面部特征点为中心在浅层特征中裁剪出对应的局部特征块，得到面部图像的多个局部特征，并将深层特征切分投影后得到面部图像的多个全局特征；将全局特征与各个局部特征的相似度作为对应的注意力权重，之后结合对应的注意力权重将多个全局特征分别自适应融合入各个局部特征，得到多个增强的局部特征；基于图卷积神经网络结合多个增强的局部特征对面部特征点对应的特征点图进行图卷积，提取用户脸部的多个结构化语义特征；将结构化语义特征与全局特征的相似度作为对应的注意力权重，之后结合对应的注意力权重将多个结构化语义特征分别融合入每个全局特征，在全局特征中增强与面部表情识别关联度高的区域，得到增强的全局特征；基于视觉自注意力模型进一步聚合增强的全局特征识别得到用户面部表情
。2.
根据权利要求1所述的方法，其特征在于，以每个用户面部特征点为中心在浅层特征上裁剪出预设大小的局部子块其中，
N
代表用户脸特征点个数，
C
代表通道数，
H
local
和
W
local
代表裁剪出的局部子块大小；最后经过特征展平和特征映射，得到最终的局部特征
d
local
表示局部特征的特征向量维度；设卷积神经网络输出的深层特征对深层特征进行均匀切分，再经过全连接层投影后，得到全局特征其中
H
local
和
W
local
代表深层特征大小，
h、w
代表切分的每个子块的高和宽，
d
global
代表投影后每个全局特征的通道数
。3.
根据权利要求1所述的方法，其特征在于，所述增强的局部特征
X
l
′
ocal
为：为：其中，
d
为特征向量的通道维度，
Softmax(
·
)
为激活函数，用于加快训练收敛，
X
local
为局部特征，
X
global
为全局特征，
w
表示采用全连接层对特征进行投影，表示矩阵乘法，
G2L
Attention
为全局特征相对局部特征的注意力权重
。4.
根据权利要求1或3所述的方法，其特征在于，所述结构化语义特征
Z
local
通过如下步骤得到：通过用户脸部特征点的几何先验知识来构建图模型
G
＝
(v,e)
，
v
代表节点，
e
代表边，每一个特征点子块
x
i
∈v
作为图模型的一个节点，任意两个节点间的边
a
ij
∈e
使用用户脸部特征点的几何图初始化，得到邻接矩阵
A
ij
；将增强的局部特征
X
′
local
和邻接矩阵
A
ij
输入到图卷积神经网络，将增强的局部特征增强提取得到脸部的结构化语义特征
Z
local
；所述邻接矩阵为图卷积神经网络的可学习参数，以使图卷积神经网络根据目标任务自适应的寻找用户脸部局部区域之间的关联，减少没有
关联的区域之间的联系，给具有语义关联的局部区域增加边的连接，以提取对应的结构化语义特征
。5.
根据权利要求1所述的方法，其特征在于，所述增强的全局特征
X
′
global
为：为：其中，
d
...

【专利技术属性】
技术研发人员：陈靓影，文仲淳，徐如意，杨宗凯，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：