一种基于局部多样性驱动深度网络的面部微表情识别方法技术

本发明专利技术提供一种基于局部多样性驱动深度网络的面部微表情识别方法，具体为：步骤1：对样本数据进行预处理，所述预处理包括：计算数据集中原始图像的原始表情流图像，对计算得到的原始表情流图像进行运动细节增强，最后对运动细节增强后的表情流图像进行扩充；步骤2：建立局部多样性的面部微表情识别网络，从扩充后的表情流图像中提取微表情相关的特征；步骤3：采用softmax分类器对步骤2中的特征进行分类。本发明专利技术提高了微表情识别的准确性。本发明专利技术提高了微表情识别的准确性。本发明专利技术提高了微表情识别的准确性。

【技术实现步骤摘要】
一种基于局部多样性驱动深度网络的面部微表情识别方法


[0001]本专利技术属于情感识别


技术介绍

[0002]区别于面部宏表情，面部微表情是一种自发的肌肉运动幅度小、动作持续时间短(一般标准为少于500ms)、局部肌肉动作的面部表情动作。面部微表情是人们对面部表情有意识或无意识抑制的结果，是人们真实情绪的泄露。当人们试图隐藏情绪时，无法控制的微表情会揭露人们的真实情感。由于微表情的客观性，因此微表情的识别对心理和临床诊断、讯问和公共安全等领域具有广泛的应用。
[0003]与宏表情识别相似，微表情识别可以分为图像预处理、特征提取和表情分类识别。对微表情识别的有效性影响最大的是从图像序列中提取相关特征。传统方法基于手工特征如光流，使用支持向量机和随机森林等传统分类模型，根据提取的运动属性进行面部微表情识别。
[0004]近期，很多研究提出了定制的深度神经网络(DNN)，以学习的方式提取微表情相关特征。一些研究人员从受试者的面部图像中提取特征，尤其是峰值帧。然而，即使是微表情序列的峰值帧也运动强度低的问题。因此，一些研究人员将计算出的运动属性输入DNN，以挖掘微表情相关特征。与峰值帧相比，这些运动属性对微弱肌肉运动更敏感。因此，从运动属性自动提取的特征更适合用来识别微表情。尽管研究人员成功地将运动属性输入到定制的DNN中，但仍存在一些问题。首先，因为微表情数据的收集过程非常昂贵，所以所有的微表情数据库规模都很小。因此，即使使用随机裁剪或翻转输入图像进行数据增强，DNN也很容易过拟合。此外，严格意义上光流的计算是从相邻两帧计算的，然而微表情流的计算是从受试者的起始帧和峰值帧计算的。因此，从表情流中计算出的运动属性可能会遇到一些干扰因素，如轻微的面部抖动和光照变化。其次，即使从增强的运动属性中也很难提取出与运动相关的特征。以前的研究中大多采用宏表情识别使用的网络，忽略了宏表情识别和微表情识别之间的差异。具体来说，面部微表情往往是由低强度的肌肉运动引起的，它存在于局部但多样的面部区域。

技术实现思路

[0005]专利技术目的：为了解决上述现有技术存在的问题，本专利技术提供了一种基于局部多样性驱动深度网络的面部微表情识别方法。
[0006]技术方案：本专利技术提供了一种基于局部多样性驱动深度网络的面部微表情识别方法，该方法具体包括如下步骤：
[0007]步骤1：对样本数据进行预处理，所述预处理包括：计算数据集中原始图像的原始表情流图像，对计算得到的原始表情流图像进行运动细节增强，最后对运动细节增强后的表情流图像进行扩充；
[0008]步骤2：建立局部多样性的面部微表情识别网络，从扩充后的表情流图像中提取微
表情相关的特征；
[0009]步骤3：采用softmax分类器对步骤2中的特征进行分类。
[0010]进一步的，所述步骤1中的预处理具体为：
[0011]步骤1.1：将数据集中的原始图像的尺寸进行调整，然后提取微表情的起始帧与峰值帧之间的面部肌肉运动属性，得到微表情的起始帧和峰值帧之间的表情流：
[0012]I
t
(x，y)＝I
t+a
(x+u
t
(x，y)δt，y+v
t
(x，y)δt)
[0013]其中，t表示起始帧，I
t
(x，y)表示起始帧中坐标为(x，y)的像素点的光强度，a表示起始帧与峰值帧之间的间隔时间，u
t
(x，y)和v
t
(x，y)分别表示表情流的水平和垂直分量，I
t+a
(x+u
t
(x，y)δt，y+v
t
(x，y)δt)表示峰值帧中坐标为(x+u
t
(x，y)δt，y+v
t
(x，y)δt)像素点的光强度；
[0014]步骤1.2：基于u
t
(x，y)和v
t
(x，y)计算应变分量s：其中u＝[u(x，y)，v(x，y)]T
，T表示转置，表示求导；根据u
t
(x，y)，v
t
(x，y)和s得到原始表情流图像；
[0015]步骤1.3：对数据集中的原始的起始帧与峰值帧进行下采样，并根据步骤1.1和步骤1.2计算下采样后的起始帧与峰值帧之间表情流图像；并将该表情流图像上采样到原始表情流图像的尺寸，得到与微表情无关的运动的模糊表情流图像；
[0016]步骤1.4：将原始表情流图像按像素减去模糊表情流图像，得到与微表情相关的细节表情流图像；并将该细节表情流图像按像素加入到原始表情流图像中，得到运动细节增强的表情流图像；
[0017]步骤1.5：调节运动细节增强的表情流图像的水平分量和垂直分量的权重，并计算相应的应变分量，从而对运动细节增强的表情流图像的数量进行扩充。
[0018]进一步的，所述局部多样性的面部微表情识别网络包括第一～第五特征降采样模块，第一～第九特征增强模块，第一自适应池化层以及全连接层；所述第一特征降采样模块，第一特征增强模块，第二特征降采样模块，第二特征增强模块，第三特征增强模块，第三特征降采样模块，第四～第七特征增强模块，第四特征降采样模块，第八特征增强模块，第五特征降采样模块，第九特征增强模块，第一自适应池化层以及全连接层依次连接。
[0019]进一步的，所述第一～第五特征降采样模块结构相同均包括依次连接的第一卷积层，第一批处理归一化层，最大池化层以及第一P
‑
Relu激活函数层。
[0020]进一步的，所述特征增强模块用于对微表情相关特征进行增强，第一～第九特征增强模块结构相同均包括依次连接的第二卷积层，第二批处理归一化层，第三卷积层，第三批处理归一化层，第二P
‑
Relu激活函层，空间通道注意力模块以及局部多样性特征挖掘模块。
[0021]进一步的，对于输入特征X，所述空间通道注意力模块输出相应的特征进一步的，对于输入特征X，所述空间通道注意力模块输出相应的特征Sa(
·
)表示空间注意力模块，Ca(
·
)表示通道注意力模块；
[0022]所述空间注意力模块包括第四、第五卷积层和sigmoid函数激活；第四、第五卷积层将输入尺寸为C
×
H
×
W的特征，转化为1
×
H
×
W的空间注意力地图，其中C表示通道数，H为高度，W为宽度，sigmoid函数激活将空间注意力地图与输入特征逐元素相乘，得到C
×
H
×
W大小的输出特征；
[0023]所述通道注意力模块包括第二自适应池化层，多层感知器和softmax激活函数；所
述第二自适应池化层将输入尺寸为C
×
H
×
W的特征转化为C维向量，并将C维向量输入至多层感知器，得到通道注意力地图，sof本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局部多样性驱动深度网络的面部微表情识别方法，其特征在于，该方法具体包括如下步骤：步骤1：对样本数据进行预处理，所述预处理包括：计算数据集中原始图像的原始表情流图像，对计算得到的原始表情流图像进行运动细节增强，最后对运动细节增强后的表情流图像进行扩充；步骤2：建立局部多样性的面部微表情识别网络，从扩充后的表情流图像中提取微表情相关的特征；步骤3：采用softmax分类器对步骤2中的特征进行分类。2.根据权利要求1所述的一种基于局部多样性驱动深度网络的面部微表情识别方法，其特征在于，所述步骤1中的预处理具体为：步骤1.1：将数据集中的原始图像的尺寸进行调整，然后提取微表情的起始帧与峰值帧之间的面部肌肉运动属性，得到微表情的起始帧和峰值帧之间的表情流：I
t
(x，y)＝I
t+a
(x+u
t
(x，y)δt，y+v
t
(x，y)δt)其中，t表示起始帧，I
t
(x,y)表示起始帧中坐标为(x,y)的像素点的光强度，a表示起始帧与峰值帧之间的间隔时间，u
t
(x,y)和v
t
(x,y)分别表示表情流的水平和垂直分量，I
t+a
(x+u
t
(x，y)δt，y+v
t
(x，y)δt)表示峰值帧中坐标为(x+u
t
(x，y)δt，y+v
t
(x，y)δt)像素点的光强度；步骤1.2：基于u
t
(x,y)和v
t
(x,y)计算应变分量s：其中u＝[u(x,y),v(x,y)]
T
，T表示转置，表示求导；根据u
t
(x,y)，v
t
(x,y)和s得到原始表情流图像；步骤1.3：对数据集中的原始的起始帧与峰值帧进行下采样，并根据步骤1.1和步骤1.2计算下采样后的起始帧与峰值帧之间表情流图像；并将该表情流图像上采样到原始表情流图像的尺寸，得到与微表情无关的运动的模糊表情流图像；步骤1.4：将原始表情流图像按像素减去模糊表情流图像，得到与微表情相关的细节表情流图像；并将该细节表情流图像按像素加入到原始表情流图像中，得到运动细节增强的表情流图像；步骤1.5：调节运动细节增强的表情流图像的水平分量和垂直分量的权重，并计算相应的应变分量，从而对运动细节增强的表情流图像的数量进行扩充。3.根据权利要求1所述的一种基于局部多样性驱动深度网络的面部微表情识别方法，其特征在于，所述局部多样性的面部微表情识别网络包括第一～第五特征降采样模块，第一～第九特征增强模块，第一自适应池化层以及全连接层；所述第一特征降采样模块，第一特征增强模块，第二特征降采样模块，第二特征增强模块，第三特征增强模块，第三特征降采样模块，第四～第七特征增强模块，第四特征降采样模块，第八特征增强模块，第五特征降采样模块，第九特征增强模块，第一自适应池化层以及全连接层依次连接。4.根据权利要求3所述的一种基于局部多样性驱动深度网络的面部微表情识别方法，...

【专利技术属性】
技术研发人员：刘小峰，倪蓉蓉，李杰，周旭，蔡慧丽，
申请(专利权)人：河海大学，
类型：发明
国别省市：