一种基于参数迁移和光流特征提取的微表情识别方法技术

本发明专利技术涉及微表情识别技术领域，公开了一种基于参数迁移和光流特征提取的微表情识别方法，包括：数据预处理

【技术实现步骤摘要】
一种基于参数迁移和光流特征提取的微表情识别方法


[0001]本专利技术涉及微表情识别
，具体涉及一种基于参数迁移和光流特征提取的微表情识别方法
。

技术介绍

[0002]微表情是指持续时间极短
、
肉眼难以观察的面部表情
。
与宏表情不同，微表情反映出人的内心感受和意图，通常揭示个体的真实情感
。
传统的微表情识别方法，如
LBP、HOG、Gabor Wavelets
等，需要人工提取特征，再通过分类器进行分类
。
但是，这些方法只能提取静态的面部特征，不能很好地处理动态的微表情
。
采用光流法等方法可以进一步分析视频序列中的运动变化
。
[0003]随着深度学习的发展，基于深度神经网络的微表情识别方法逐渐成为主流
。
神经网络模型
BiVACNN
从
Apex
帧估计光流场，并使用
CNN
编码流场特征
。
换句话说，它只将峰值帧的细节作为输入数据提供给
CNN
架构
。
因此，它最小化了重复输入帧的冗余并缩短了执行时间
。
然而，帧中的不相关运动可能被认为是峰值
。
此外，由于
CNN
直接用于每个帧而没有对时间变化进行建模，现有技术提出了一种结合
CNN
和长短期记忆网络的方法，捕捉视频中的时空信息来定位和识别微表情；该方法首先使用覆盖所有表情的
CNN
分析人脸表情的空间特征，然后将其传递给
LSTM
，提取
CNN
输入的时间关系
。
[0004]由于深度神经网络的权重是随机初始化的，这可能会导致网络优化器陷入局部最优，无法学习到有意义的特征
。
另外，由于微表情数据集难以获得，样本数量很少，同时存在着样本不均衡问题，微表情识别的性能受到了很大的限制
。
为了解决这些问题，本专利技术引入迁移学习技术对现有的神经网络进行改善，将一般图像
(
如宏表情领域
)
学习到的知识迁移到微表情领域
。

技术实现思路

[0005]为解决上述技术问题，本专利技术提供一种基于参数迁移和光流特征提取的微表情识别方法
。
[0006]为解决上述技术问题，本专利技术采用如下技术方案：
[0007]一种基于参数迁移和光流特征提取的微表情识别方法，包括：
[0008]A.
数据预处理阶段，包括人脸检测与对齐
、
动作放大：
[0009]人脸检测与对齐：选择标准人脸图像
M
，利用主动形状模型算法提取标准人脸图像
M
的人脸关键点
Ψ
(M)
；对于面部微表情数据集的第
i
个微表情序列
s
i
，提取
s
i
第一帧微表情图像
f
i,1
的人脸关键点
Ψ
(f
i,1
)
，使用局部加权平均算法计算微表情图像
f
i,1
与标准人脸图像
M
的映射矩阵
T
i
，并将映射矩阵
T
i
作用在
s
i
的每一帧微表情图像上，进行面部对齐；
[0010]动作放大：采用
EVM
算法对面部对齐过的微表情序列中的微表情图像，进行空间金字塔分解，在不同尺度上分别进行动作放大；根据选定的频率范围对微表情图像每个像素点的时间序列进行带通滤波，再应用泰勒级数近似处理后得到放大信号；
[0011]B.
光流特征提取阶段：
[0012]选取微表情序列的起始帧及起始帧的相邻帧，根据起始帧和起始帧的相邻帧中同一像素点在全局位移的前后变化，对起始帧和起始帧的相邻帧应用多项式展开，并采用
Gunnar Farneback
光流方法计算这两帧之间的光流特征；
[0013]选取微表情序列的峰值帧及峰值帧的相邻帧，根据峰值帧和峰值帧的相邻帧中同一像素点在全局位移的前后变化，对峰值帧和峰值帧的相邻帧应用多项式展开，并采用
Gunnar Farneback
光流方法计算这两帧之间的光流特征；
[0014]C.
参数迁移阶段：
[0015]先使用
CK+
宏表情数据集对微表情识别模型进行预训练，获得学习参数来初始化微表情识别模型；再冻结微表情识别模型的卷积层，使用微表情数据集对微表情识别模型全连接层进行微调，训练并输出微表情识别结果
。
[0016]进一步地，数据预处理阶段进行人脸检测与对齐，使用局部加权平均算法计算微表情图像
f
i,1
与标准人脸图像
M
的映射矩阵
T
i
时，具体包括：
[0017]对于微表情序列
s
i
,i
＝
1,...,n
中的每一个关键点，将关键点在标准人脸图像
M
中的位置表示为
(x0,y0)
，在当前帧中的位置表示为
(x
l
,y
l
)
，
n
为面部微表情数据集中微表情序列的总数，则关键点的形变向量表示为：
[0018][0019]然后使用加权函数计算每个关键点的权重：
[0020][0021]其中，
w
l
表示第
l
个关键点的权重，
σ
是控制权重分布的参数；根据计算出的权重，对每个关键点进行加权平均，得到关键点在当前帧中的位置：
[0022][0023]其中，
x
avg
,y
avg
分别表示加权平均后得到的关键点位置
(x
avg
,y
avg
)
的横坐标和纵坐标，
N
表示微表情序列
s
i
中关键点的个数；
[0024]计算得到变换矩阵
T
i
：
T
i
＝
LWM(
Ψ
(M),
Ψ
(fi
i,1
))
；其中
LWM(
·
)
表示局部加权平均算法；
[0025]最后，将映射矩阵
T
i
作用在微表情序列
s
i
中的每一帧图像上：
[0026]f
′
i,j...

【技术保护点】

【技术特征摘要】
1.
一种基于参数迁移和光流特征提取的微表情识别方法，包括：
A.
数据预处理阶段，包括人脸检测与对齐
、
动作放大：人脸检测与对齐：选择标准人脸图像
M
，利用主动形状模型算法提取标准人脸图像
M
的人脸关键点
Ψ
(M)
；对于面部微表情数据集的第
i
个微表情序列
s
i
，提取
s
i
第一帧微表情图像
f
i,1
的人脸关键点
Ψ
(f
i,1
)
，使用局部加权平均算法计算微表情图像
f
i,1
与标准人脸图像
M
的映射矩阵
T
i
，并将映射矩阵
T
i
作用在
s
i
的每一帧微表情图像上，进行面部对齐；动作放大：采用
EVM
算法对面部对齐过的微表情序列中的微表情图像，进行空间金字塔分解，在不同尺度上分别进行动作放大；根据选定的频率范围对微表情图像每个像素点的时间序列进行带通滤波，再应用泰勒级数近似处理后得到放大信号；
B.
光流特征提取阶段：选取微表情序列的起始帧及起始帧的相邻帧，根据起始帧和起始帧的相邻帧中同一像素点在全局位移的前后变化，对起始帧和起始帧的相邻帧应用多项式展开，并采用
Gunnar Farneback
光流方法计算这两帧之间的光流特征；选取微表情序列的峰值帧及峰值帧的相邻帧，根据峰值帧和峰值帧的相邻帧中同一像素点在全局位移的前后变化，对峰值帧和峰值帧的相邻帧应用多项式展开，并采用
Gunnar Farneback
光流方法计算这两帧之间的光流特征；
C.
参数迁移阶段：先使用
CK+
宏表情数据集对微表情识别模型进行预训练，获得学习参数来初始化微表情识别模型；再冻结微表情识别模型的卷积层，使用微表情数据集对微表情识别模型全连接层进行微调，训练并输出微表情识别结果
。2.
根据权利要求1所述的基于参数迁移和光流特征提取的微表情识别方法，其特征在于：数据预处理阶段进行人脸检测与对齐，使用局部加权平均算法计算微表情图像
f
i,1
与标准人脸图像
M
的映射矩阵
T
i
时，具体包括：对于微表情序列
s
i
,i
＝
1,...,n
中的每一个关键点，将关键点在标准人脸图像
M
中的位置表示为
(x0,y0)
，在当前帧中的位置表示为
(x
l
,y
l
)
，
n
为面部微表情数据集中微表情序列的总数，则关键点的形变向量表示为：然后使用加权函数计算每个关键点的权重：其中，
w
l
表示第
l
个关键点的权重，
σ
是控制权重分布的参数；根据计算出的权重，对每个关键点进行加权平均，得到关键点在当前帧中的位置：其中，
x
avg
,y
avg
分别表示加权平均后得到的关键点位置
(x
avg
,y
avg
)
的横坐标和纵坐标，
N
表示微表情序列
s
i
中关键点的个数；计算得到变换矩阵
T
i
：
T
i
＝
LWM(
Ψ
(M),
Ψ
(f
i,1
))
；其中
LWM(
·
)
表示局部加权平均算法；最后，将映射矩阵
T
i
作用在微表情序列
s
i
中的每一帧图像上：
f
′
i,j
＝<...

【专利技术属性】
技术研发人员：樊春晓，李劲滔，王振兴，
申请(专利权)人：合肥综合性国家科学中心人工智能研究院安徽省人工智能实验室，
类型：发明
国别省市：