基于最小化误差的面部微表情序列特征抽取方法技术

本发明专利技术属于计算机视觉技术领域，具体为一种基于最小化误差的面部微表情序列特征抽取方法。本发明专利技术首先把微表情序列分割为较小的时空块，在每个时空块中以最小误差为原则寻找一个两维的主方向向量；然后将所有分块中的主方向拼接，得到两倍于分块数量维度的向量，以此表达整个微表情序列。本方法规避了传统算法中对统一帧数的要求，因此不必引入插值算法；同时，本方法的提取速度非常快，为实时高精度微表情检测提供了可能。

【技术实现步骤摘要】

本专利技术属于计算机视觉
，具体涉及基于最小化误差的面部表情特征表示方法。
技术介绍
当前微表情的识别主要通过一些传统的、通用的计算机视觉技术，进行特征提取和模式识别，但尚没有形成针对性的高效率、高精度算法。本专利技术提出一种新的视频特征提取技术，主要用于微表情识别，属于计算机视觉、图像处理和模式识别领域。该方法将微表情序列分割为小的时空块，使用最小化误差的原则提取时空块的运动模式，作为微表情序列的特征表达。在实验中展示了该方法在识别能力、识别速度上均优于现有方法。同时，改方法可以结合可视化技术，对微表情的运动模式进行分析，对微表情的提供了深层的理解。由于本方法并没有对表情视频作特殊假设，因此也适用于普通表情的特征表达。微表情的文献记录最早可以追述到1969年，心理学家Ekman在分析抑郁症病人的谈话录像时发现病人一直试图作出微笑的表情，但是有几帧画面中出现极端痛苦的表情[1]。他将这种表情命名为微表情。与普通的表情类似，微表情传达了人内心的心绪；与普通表情不同的是，微表情是无法主观控制的，即人既无法“作出”一个微表情，也无法抑制住一个微表情。因此，微表情可以作为判断人心理情绪的有力证据，在刑侦、审讯、心理疾病诊断、反恐、教学质量测试等方面有着潜在的应用价值。目前已经受到业界相当的关注。然而微表情的识别也面临着技术难点。微表情持续时间短、动作幅度小，即使受过专业训练的心理专家识别准确率也不高。因此，采用基于计算机的识别方式可以提供快速、稳定的识别效果，节省人力成本，并将微表情的应用推广到更大的应用场景下。但是，当前微表情的识别主要通过一些传统的、通用的计算机视觉技术，进行特征提取和模式识别，尚没有形成针对性的高效率、高精度算法。目前已经有大量的学者对其进行了研究，见参考文选。当前学术界对微表情的研究可以大致分为两个技术方向。有Oulu大学Pietikainen领导的研究小组致力于使用纹理特征描述微表情的时空结构。如Pfister使用LBP-TOP特征提取微表情的时空纹理表达[2]。LBP-TOP是一种通用的视频特征提取算子，它在X-Y,X-T,Y-T三个平面上提取局部二值模式(LocalBinaryPattern)。其中局部二值模式对于每一个像素点，使用二进制编码表达其与周围像素值的大小关系，并统计这种编码的频率直方图，作为一维特征向量。中科院心理所的研究人员从自空间学习理论入手，将视频数据视作三维张量，使用类间距离最小化原则优化子空间投影[7][8]。对于新的待标记微表情序列，使用学习到的投影函数进行变换，在变换后的空间使用简单的神经网络进行分类。
技术实现思路
本专利技术的目的在于提供一种有效、快速的面部微表情序列特征抽取方法。本专利技术提出的面部微表情序列特征抽取方法，首先，把微表情序列分割为较小的时空块，在每个时空块中以最小误差为原则寻找一个两维的主方向向量；然后，将所有分块中的主方向拼接，得到两倍于分块数量维度的向量，因此表达整个微表情序列。这种方法规避了传统算法中对统一帧数的要求，因此不必引入插值算法。同时，本方法的提取速度非常快，为实时高精度微表情检测提供了可能。其流程如图1所示，具体步骤为：1、给定一段维度为的人脸表情序列，其中是微表情序列的帧数，是图像的尺寸，把图像等分为X×Y个图像块，每个图像块的尺寸为其中符号表示向下取整；同时，在时间轴上把整个序列分割为T份，由此得到X×Y×T个时空块，每个时空块的维度是对于每个时空块，希望寻找一个两维的方向向量u＝[u，v]T，以此来表征每个视频块的主要运动方向；2、对于特定视频块，将其记作C(x，y，t)；其中定义方程：Su＝T其中：u＝[u，v]T3、上述方程是一过定方程或病态问题，即给定的限制多于唯一解需要的条件数量。这样的方程无法完全满足，但是可以基于此定义具体的目标函数。本专利技术提出两种具体的目标函数，称为本专利技术两种变体：(a)l2变体:El2=||Su-T||2]]>最小化此目标函数有闭式解，即：|u＝(STS)-1STT(b)l1变体:El1=||Su-T||1]]>最小化目标函数没有闭式解，但是可以使用Nelder-Mead单纯形算法迭代求解；4、由上述步骤得到的特征可以用来描述一个微表情序列，这样的特征可以被利用到机器学习算法中，对待标记的微表情序列进行分类识别。具体地，使用监督算法(如支持向量机SupportVectorMachine)对已有数据集进行训练并得到模型。对于待标记的微表情序列，使用上述方法抽取特征，再利用已有模型即可进行分类识别。附图说明图1基于光流场的微表情识别方法流程图。图2本专利技术提出特征的可视化结果。上排是一个微表情样例，此处截取了当中的三帧。下排左边两幅是该微表情序列提取特征的可视化结果；右边是代表颜色意义的色轮。在下排左边两幅图中，颜色的色调代表运动向量的方向，颜色的深浅代表运动的强度。从颜色较深的区域可以看到眼睛睁开、闭上的动态过程。图3数据集样例，第一行来自SMIC2-VIS，是一个消极的微表情；第二行来自SMIC2-NIR，是一个积极的微表情；第三行来自SMIC2-HS，是一个惊讶的微表情；第四行来自SMIC，这是一个非微表情样本，用于检测任务；第五行来自CASMEI，是一个恶心的微表情；第六行来自CASMEII，是一个消沉的微表情。具体实施方式本专利技术的主要贡献包括两点：一、提出了一种有效的微表情特征的提取方法；二、提出了该特征的两种变体。下面分别详细介绍这两点。一、微表情特征的提取方法将人脸分割为较小的时空块，这是基于如下假设：(1)在足够小的空间范围内，微表情动态受到肌肉尺度限制，其运动模式(包括方向、大小)可以看作不变；(2)在足够小的时间范围内，微表情动态受到肌肉运动灵活度限制，其运动模式可以看作不变。对于特定视频块，我们将其记作C(x，y，t)。由于时空块尺度较小，可以认为其内部像素的运动模式是趋同的，为此，我们在视频块中寻找偏移量使得下式成立：C(x，y，t)＝C(x+Δx，y+Δy，t+Δt)进行泰勒展开，得到：C(x,y,t)=C(x,y,t)+∂C∂xΔx+∂C∂yΔy+∂C∂tΔt+Σn=2∞(1n!∂(n)∂xnΔxn+1n!∂(n)∂ynΔyn+1n!&p本文档来自技高网...

【技术保护点】
基于最小化误差的面部微表情序列特征抽取方法，其特征在于，首先，把微表情序列分割为较小的时空块，在每个时空块中以最小误差为原则寻找一个两维的主方向向量；然后，将所有分块中的主方向拼接，得到两倍于分块数量维度的向量，以此表达整个微表情序列；具体步骤为：(1)给定一段维度为的人脸表情序列，其中是微表情序列的帧数，是图像的尺寸，把图像等分为X×Y个图像块，每个图像块的尺寸为其中符号表示向下取整；同时，在时间轴上把整个序列分割为T份，由此得到X×Y×T个时空块，每个时空块的维度是对于每个时空块，希望寻找一个两维的方向向量以此来表征每个视频块的主要运动方向；(2)对于特定视频块，将其记作C(x，y，t)；其中定义方程：Su＝T其中u＝[u，v]T(3)两种具体的目标函数，称两种变体：(a)l2变体:El2=||Su-T||2]]>最小化此目标函数有闭式解，即：u＝(STS)‑1STT(b)l1变体:El1=||Su-T||1]]>使用Nelder‑Mead单纯形算法迭代求解；(4)由上述步骤得到的特征用来描述一个微表情序列，把该特征用于机器学习算法中，对待标记的微表情序列进行分类识别。

【技术特征摘要】
1.基于最小化误差的面部微表情序列特征抽取方法，其特征在于，首先，把微表情序列
分割为较小的时空块，在每个时空块中以最小误差为原则寻找一个两维的主方向向量；然
后，将所有分块中的主方向拼接，得到两倍于分块数量维度的向量，以此表达整个微表情序
列；具体步骤为：
(1)给定一段维度为的人脸表情序列，其中是微表情序列的帧数，是图像的尺寸，把图像等分为X×Y个图像块，每个图像块的尺寸为其中符号表
示向下取整；同时，在时间轴上把整个序列分割为T份，由此得到X×Y×T个时空块，每个时
空块的维度是对于每个时空块，希望寻找一个两维的...

【专利技术属性】
技术研发人员：徐峰，张军平，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31