基于光流特征的微表情识别方法技术

本发明专利技术公开了一种基于光流特征的微表情识别方法，首先选取微表情数据集：CASME、CASMEⅡ和CAS(ME)2，并将三个数据集中的所有视频帧序列的情绪分别映射到“Negative”、“Positive”和“Surprise”三个类别中；对所选数据集的所有视频帧序列进行预处理，得到分辨率为128

【技术实现步骤摘要】
基于光流特征的微表情识别方法


[0001]本专利技术属于数字图像处理与识别
，具体涉及一种基于光流特征的微表情识别方法。

技术介绍

[0002]近年来，微表情识别在心理咨询以及置信测谎等领域有着重要的研究价值。然而，由于微表情自身具有动作幅度小、持续时间短的特点，人工识别微表情存在很大的困难。即使是经过专业培训的心理学专家对微表情的识别准确率也仅仅47％左右。正是因为依靠人眼识别微表情受限于专业培训和大量的时间成本，且识别准确率又低，所以导致微表情识别的大范围推广受到了严重阻碍。随着计算机视觉和机器学习技术的快速发展，越来越多的研究人员将机器学习算法应用到微表情识别，以此解决了人工识别存在的很多困难，识别准确率也有了明显提高。但是，鉴于微表情的特点，到目前为止，如何提取视频帧中人脸的细微运动变化仍然是该领域的一个关键问题。因此，微表情识别目前仍处于快速发展阶段，针对微表情识别的研究也变成了情感计算领域一个重要课题。

技术实现思路

[0003]本专利技术的目的是提供一种基于光流特征的微表情识别方法，解决了现有技术中存在的由于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于光流特征的微表情识别方法，其特征在于，具体按照以下步骤实施：步骤1、选取微表情数据集：CASME、CASMEⅡ和CAS(ME)2，并将三个数据集中的所有视频帧序列的情绪分别映射到“Negative”、“Positive”和“Surprise”三个类别中；步骤2、对所选数据集的所有视频帧序列进行预处理，得到分辨率为128
×
128的视频帧序列；步骤3、采用TV
‑
L1能量泛函提取步骤2得到的视频帧序列的光流特征，并将光流特征通过通道叠加的方式拼接起来作为神经网络RSCANet的输入；步骤4、利用神经网络RSCANet提取微表情特征并得到分类结果。2.根据权利要求1所述的基于光流特征的微表情识别方法，其特征在于，所述步骤1具体按照以下步骤实施：CASME数据集中：将“Disgust”、“Repression”和“Sadness”映射到“Negative”，将“Happiness”映射到“Positive”，“Surprise”保持不变；CASMEⅡ数据集中：将“Disgust”和“Repression”映射到“Negative”，将“Happiness”映射到“Positive”，“Surprise”仍然保持不变；CAS(ME)2数据集中情绪类别保持为原始的“Negative”、“Positive”和“Surprise”不变。3.根据权利要求2所述的基于光流特征的微表情识别方法，其特征在于，所述步骤2具体如下：利用dlib库提供的68点关键点信息检测的模型实现人脸对齐裁剪操作，将所有视频帧序列的分辨率统一调整为128
×
128，选取每个视频的起始帧和微表情变化最大的峰值帧两个视频帧序列作为步骤3的输入。4.根据权利要求3所述的基于光流特征的微表情识别方法，其特征在于，所述步骤3具体如下：设u和v分别表示光流水平分量和光流垂直分量：其中，dx和dy分别表示沿x和y维度的像素变化，dt表示时间变化；通过计算光流的导数得到光学应变ε，并且定义为：其中u＝[u,v]
T
是位移向量，因此ε也表示为：其中，对角线应变分量(ε
xx
,ε
yy
)是法向应变分量，(ε
xy
,ε
yx
)是剪切应变分量；然后，通过取法向应变分量和剪切应变分量的平方和计算每个像素的光学应变值，从而：
最后，将u、v、|ε|这三个光流特征通过通道叠...

【专利技术属性】
技术研发人员：赵明华，董爽爽，都双丽，胡静，石程，吕志勇，李鹏，尤珍臻，王理，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：