一种基于注意力机制的人脸表情识别方法技术

本发明专利技术涉及一种基于注意力机制的人脸表情识别方法，包括：收集数据集，对数据集进行预处理；对于每幅二维人脸图像，标注人脸特征关键点；对图像进行关键位置裁剪，并将裁剪的图片缩放；将得到的图片，以及整张人脸表情图片输入到神经网络中，进行局部特征与全局特征识别和获取；对得到的特征经过特征融合，经分类器输出人脸表情类别；重复以上步骤直到网络参数收敛，而后输入待判别人脸图像，即可得到该人脸图像的表情分类。本发明专利技术通过引入注意力机制，捕获局部人脸区域的细粒度特征及全局特征，从而有效的降低遮挡和姿态变化等对人脸表情的影响，有效的提高了人脸表情分类效果。有效的提高了人脸表情分类效果。有效的提高了人脸表情分类效果。

【技术实现步骤摘要】
一种基于注意力机制的人脸表情识别方法


[0001]本专利技术实施例涉及人脸表情识别领域，具体涉及一种基于注意力机制的人脸表情识别方法。

技术介绍

[0002]面部表情是人类表达情感最有效、最自然的方式之一。识别面部表情对于帮助计算机理解人类行为并与之互动也很重要。近年来，人脸表情识别因其在人机交互、机器人制造、心理治疗等领域的广泛应用而受到越来越多的关注。虽然在构建鲁棒的人脸表情分类器方面已经取得了很大的进展，但对于来自然条件下的人脸表情识别仍然是一个非常具有挑战性的问题。这是由于遮挡和姿态变化会显著改变人脸的外观，从而使人脸表情识别准确率下降。

技术实现思路

[0003]针对上述问题，本专利技术提出一种基于注意力机制的人脸表情识别方法，设计了一种新的注意力机制，引导与强化卷积神经网络去关注特征图有用的信息而抑制其他非关键的信息，针对性地处理各个通道上的信息，提高网络识别效果。
[0004]本专利技术实施例主要提供如下技术方案：
[0005]步骤1：从网络上获取公开数据集或从真实环境中采集数据集，对数据集进行预处理。
[0006]步骤2：对于每幅二维人脸图像，标注了81个人脸特征关键点，关键点位置包括了眼睛，眉毛，鼻子，嘴角，以及完整的人脸轮廓。
[0007]步骤3：对图像进行关键位置裁剪，包括眼睛，眉毛，鼻子，嘴角，脸颊等对表情具有突出贡献的位置，并将裁剪的图像缩放成相应尺寸。
[0008]步骤4：将步骤3中得到的图像，以及整张人脸表情图像输入到设计好的带有注意力机制的深度神经网络中，进行局部特征与全局特征识别和获取。
[0009]步骤5：对步骤4中得到的特征经过特征融合，经分类器输出人脸表情类别。
[0010]步骤6：重复以上步骤2到步骤5直到本专利技术实施例中网络参数收敛，而后再向本专利技术实施例中网络输入待判别人脸图像，即可得到该人脸图像的表情分类。
[0011]在所述步骤4中，局部特征与全局特征获取和识别过程包括以下步骤：
[0012]步骤4.1人脸图像中的眼睛、鼻子、嘴巴和脸颊等局部关键位置被送入局部特征提取模块以生成基于局部人脸区域的细粒度特征表示。
[0013]步骤4.2：注意力模块以步骤4.1中得到的局部表情特征为输入，输出每个特征的重要性权重。具体地，注意力模块由线性全连接(FC)层和Sigmoid激活函数组成，可以表示为，
[0014][0015]其中α
i
是第i个样本的重要权重，W
a
是线性全连接层用于计算注意力的参数，σ是
Sigmoid函数。
[0016]步骤4.3：设F∈R
C
×
H
×
W
(F经过VGG16的前13个卷积层进行特征提取)表示一幅图像的面部特征，位置注意力模块以F为输入，输出每个高维特征的重要性权重。
[0017]具体地，为了更好的捕获局部特征，建立局部特征的相关性，我们引入了位置注意力模块，从而增强其表征能力。接下来，我们详细阐述了捕获相互关联的局部特征过程。
[0018]给定整张人脸图像的面部特征F∈R
C
×
H
×
W
，我们首先将其送入卷积层以分别生成两个新的特征映射Q和K，其中{Q，K}∈R
C
×
H
×
W
，然后我们将它们重塑为R
C
×
N
，其中N＝H
×
W是像素数。之后，我们令Q
T
与K执行矩阵乘法，并应用Softmax层来计算空间注意力b∈R
N
×
N
:
[0019][0020]这里，以β
ij
来衡量位置i对位置j的影响，从而捕获局部特征间的相关细节。
[0021]同时，将特征F送入卷积层生成新的特征图V∈R
C
×
H
×
W
并将其重塑为R
C
×
N
，然后将V与β
T
的转置进行矩阵乘法并将结果重塑为R
C
×
H
×
W
，最后将其与尺度参数η相乘并与特征F进行逐元素求和运算，得到最终输出Res∈R
C
×
H
×
W
：
[0022][0023]从公式上可以得知，在每个位置处得到的特征Res是所有位置上的特征和原始特征的加权和。其中η被初始化为0，通过网络训练逐步为感兴趣区域分配更多的权重，强化网络学习显著特征。从而通过位置注意力模块提高了特征间的紧凑性和语义一致性。
[0024]在所述步骤5中，特征融合过程包括以下步骤：
[0025]步骤5.1：通过研究发现，多个网络的集合通常比单个网络性能更好。同样的，组合不同的信息可以确保互补性和适当的整合策略，于是对局部特征进行拼接：
[0026]F
encm
＝[F
e
；F
n
；F
c
；F
m
][0027]其中F
encm
为拼接后的特征，F
e
、F
n
、F
c
和F
m
分别表示对应于眼睛、鼻子、脸颊和嘴巴的特征；而后，将拼接后的特征F
encm
送到全连接层中，进行对该图像所属表情进行预测。
[0028]步骤5.2：将局部特征与全局特征在决策级别进行集成。在决策层面，采取了简单的平均策略。将局部特征，全局特征分别被送到Softmax层；对于Softmax层的输出，由P
local
＝[a1,a2,...,a
c
]表示局部特征的结果，由P
global
＝[b1,b2,...,b
c
]表示全局特征结果；我们对两个模块的Softmax输出进行平均，以产生融合分数，由该分数确定输入面部表情的类别：
[0029]Output＝argm
i
ax(βP
local
(i)+(1
‑
β)P
global
(i))
[0030]其中i表示相应矢量中分量的索引，β是一个平衡参数，在本实施例中设置为0.5，Output表示面部表情的输出类别。
[0031]训练全网络的损失函数定义为：
[0032][0033]其中y
i
是对应于输入样本标签。融合模型从全局任务和局部任务中学习表情表示，两者互为补充。这样，可以生成全局
‑
局部的空间特征，以实现可靠的面部表情表示和准
确的识别。
[0034]与现有技术相比，本专利技术具有的优点和积极效果是：
[0035]通过引入注意力机制，使深度神本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的人脸表情识别方法，其特征在于，包括以下步骤：步骤1：从网络上获取公开数据集或从真实环境中采集数据集，对数据集进行预处理；步骤2：对于每幅二维人脸图像，标注了81个人脸特征关键点，关键点位置包括了眼睛、眉毛、鼻子、嘴角、以及完整的人脸轮廓；步骤3：对图像进行关键位置裁剪，包括眼睛、眉毛、鼻子、嘴角、脸颊等对表情具有突出贡献的位置，并将裁剪的图像缩放成相应尺寸；步骤4：将步骤3中得到的图像，以及整张人脸表情图片输入到设计好的带有注意力机制的深度神经网络中，进行局部特征与全局特征识别和获取；步骤5：对步骤4中得到的特征经过特征融合，经分类器输出人脸表情类别；步骤6：重复以上步骤2到步骤5直到本发明实施例中网络参数收敛，而后再向本发明实施例中网络输入待判别人脸图像，即可得到该人脸图像的表情分类。2.如权利要求1所述的方法，其特征在于，所述步骤4中局部特征与全局特征获取和识别过程包括以下步骤：步骤4.1人脸图像中的眼睛、鼻子、嘴巴和脸颊等局部关键位置被送入局部特征提取模块以生成基于局部人脸区域的细粒度特征表示；步骤4.2：注意力模块以步骤4.1中得到的局部表情特征为输入，输出每个特征的重要性权重，注意力模块由线性全连接(FC)层和Sigmoid激活函数组成，可以表示为：其中α
i
是第i个样本的重要权重，W
a
是线性全连接层用于计算注意力的参数，σ是Sigmoid函数；步骤4.3：设F∈R
C
×
H
×
W
(F经过VGG16的前13个卷积层进行特征提取)表示一幅图像的全局面部特征，首先将其送入卷积层以分别生成两个新的特征映射Q和K，应用Softmax层来计算空间注意力β∈R
N
×
N
：这里，以β
ij
来衡量位置i对位置j的影响；同时，将特征F送入卷积层生成新的特征...

【专利技术属性】
技术研发人员：李哲阳，崔鹏，沈子荷，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：