基于差分切片能量图和Gabor变换的微表情识别方法技术

本发明专利技术提出一种基于差分能量图和Gabor变换的微表情识别方法：构造微表情序列差分切片能量图，计算一个微表情周期序列中包含变化区域的微表情帧，将微表情序列灰度化提取微表情差分切片，将微表情差分切片帧序列叠加得到微表情差分能量图。差分能量图特征提取，构造Gabor滤波器核函数，将差分切片能量图进行Gabor特征提取，提取后的特征再下采样，将每个样本的特征写成列向量的形式，然后采用具有监督信息的线性判别分析最大化类间散度与类内散度之商，对每个样本进一步进行特征提取。分类识别，根据训练数据训练一个模型，然后根据该模型对测试样本进行预测分类。本发明专利技术所提出的方法具有普遍的适用性，且较目前存在的方法具有更高识别率。

【技术实现步骤摘要】
基于差分切片能量图和Gabor变换的微表情识别方法
本专利技术涉及一种基于差分切片能量图和Gabor变换的微表情识别方法，属于计算机应用中机器学习和模式识别的
技术背景微表情是在人们在试图压抑、隐藏真实情感过程中所表现出来的一种快速、不易察觉的面部表情，它的持续时间一般仅为1/25至1/5秒，也有研究者将微表情持续时间定义为低于1/2s，经常被人们所忽略。但是，Ekman等人的面部测绘行为研究证实，微表情将人的隐蔽情感更全面的暴露出来，它更能表达人的真实情绪。近些年，心理诊断发展及国防安全建设过程中，微表情作为一种谎言以及暴力倾向侦测手段，在临床司法、安全领域等展现出了广泛的应用前景。早期研究中，研究者主要注重个体微表情的匹配，例如：日本人与高加索人短暂表情识别测验（JapaneseandCaucasianBriefAffectRecognitionTest，JACBART）以及Ekman等开发的微表情识别训练工具（MicroExpressionTrainingTool，METT）等。在国外，微表情在商业谈判，心理咨询，临床司法诊断等领域逐渐得到应用。在国内，微表情研究处于初期阶段，认知心理学教授傅小兰主持了国家自然科学基金面上项目“面向自动谎言识别的微表情表达研究”（批准号：61075042），她的团队是国内开展微表情研究的主要力量。在微表情识别方面，傅小兰团队研发了基于静态特征和自动微表情识别识别系统，使用Gabor变换提取人脸图像特征，并结合改进的GentleSVM算法实现人脸表情识别。2013年，梁静等人指出认知心理学和计算机视觉技术两个领域进行协作，必将促进微表情识别技术研究的快速发展以及相关成果的广泛应用。傅小兰团队建立了国内首个微表情实验库（CASME），颜文靖等人在评价CASME库时，将微表情序列作为张量数据进行处理，使用多线性主成分分析（MultilinearPrincipalComponentAnalysis,MPCA）进行不同维数下识别率的测试。2013年，王甦菁等人提出了一种基于判别张量分析（DiscriminantTensorSubspaceAnalysis,DTSA）和极端学习机（ExtremeLearningMachine,ELM）的微表情识别方法。DTSA将微表情序列在三阶张量空间进行操作，为保持数据的流形结构引入了Laplacian算子，且该算法不需要调谐因子。但是，该方法对计算机硬件设备性能的要求较高，降维后保留的维数难以确定，且它的识别性能远远低于人们的期望。
技术实现思路
针对现有技术的不足，本专利技术提出一种基于差分切片能量图和Gabor变换的微表情识别方法，并且使用线性判别分析（LDA）算法进行特征提取，结合SVM分类器进行分类，识别率有了显著的提高，远远高于现有的微表情识别方法。而且，本专利技术所提出的方法计算量小，大大降低了对计算机性能的要求，是一种准确性高、鲁棒性强的微表情识别方法。该方法建立在已经发生微表情的基础上，其目的在于降低对计算机性能的要求，并且大幅度提高识别性能。这是因为，在构造差分切片能量图过程中，通过微表情序列中各帧之间的能量变化体现微表情的发生过程，大大削弱了不同个体的人脸特点对微表情的覆盖作用，同时该方法采用Gabor变换方法提取特征，并用LDA进一步进行降维，结合SVM分类器大大提高了分类效果。本专利技术是通过如下技术方案来实现的：基于差分切片能量图和Gabor变换的微表情识别方法，包括如下步骤：构造微表情序列差分切片能量图、差分切片能量图的特征提取和分类识别。构造微表情序列差分切片能量图的方法为：首先，计算一个完整微表情序列中包含表情细微变化区域的微表情帧形成差分切片，然后将微表情差分切片叠加生成差分切片能量图。差分切片能量图的特征提取的方法为：首先将差分切片能量图进行Gabor变换的特征提取，提取后的特征再下采样，再使用LDA作进一步特征提取。分类识别是采用SVM分类器，首先根据微表情训练数据训练出一个模型，然后根据该模型对微表情测试样本进行预测分类。1、构造微表情序列差分切片能量图（Micro-expressionDifferenceSliceEnergyImage，MDSEI）所述微表情序列差分切片是指一个微表情序列中相邻两帧作差所形成的帧。假设第m个样本的一段微表情帧序列中第t帧表示为Im(x,y,t),t＝1,…,N。微表情差分切片帧序列的第t帧表示为Dm(x,y,t),t＝1,…,N-1。Dm(x,y,t)＝Im(x,y,t+1)-Im(x,y,t)(1)其中，(x,y)表示图像的坐标。则该段微表情序列的差分切片能量图构造如式（2）所示，2、Gabor特征提取Gabor滤波结果可以反映图像不同尺度、不同方向上的灰度分布信息。一般说来，大尺度滤波可以反映全局性较强的信息，同时可以掩盖图像中噪声的影响；小尺度可以反映比较精细的局部结构，但容易受到噪声影响。由于Gabor特征这种良好的空间局部性和方向选择性，且对姿态具有一定的鲁棒性，因此该专利技术首次将Gabor引入微表情能量特征提取中。二维小波内核定义如式（3）所示，其中,σ是与小波频率带宽有关的常数，z＝(x,y)为空间位置坐标，i是虚数，ku,v由Gabor内核的方向和尺度确定，如式（4）所示。其中,kv表示采样的尺度；φu表示采样的方向。令kmax为最大频率，f是频域中的内核间隔因子。假设我们采用s个尺度，d个方向进行采样，则尺度标号集合为v∈{0,1,…,s-1}，方向标号集合为u∈{0,1,…,d-1}，采样尺度和采样方向如式（5）所示，第i个样本的微表情差分切片能量图与Gabor内核的卷积可以得到样本的Gabor特征如式（6）所示，设的幅值和相位分别为和则本专利技术中只使用了Gabor特征的幅度信息。组合不同尺度和方向的Gabor幅度特征构成图像在z位置处的Gabor特征矢量。由于在s×d个滤波器上获得的特征维数较高，容易造成“维数灾难”，研究证明Gabor特征在邻像素点具有高相关性，因此本专利技术在提取Gabor幅度特征后进行抽样，稀疏提取部分Gabor特征组成样本m的特征向量为xm。3、线性判别分析提取特征线性判别分析（LinearDiscriminantAnalysis,LDA）是一种简单有效的降维技术，它利用样本的监督信息指导降维，具有更好的分类性能。本专利技术为了进一步提高微表情序列的识别率，采用了该项通用的降维技术，将样本投影到一个低维空间，如式（7）所示，y＝WTx（7）其中，x是提本文档来自技高网...

【技术保护点】
基于差分切片能量图和Gabor变换的微表情识别方法，其特征是，包括如下步骤：步骤（1）构造微表情序列差分切片能量图；首先，计算一个完整微表情序列中包含表情细微变化区域的微表情帧形成差分切片，然后将微表情差分切片叠加生成差分切片能量图；步骤（2）差分切片能量图的特征提取；首先将差分切片能量图进行Gabor变换的特征提取，提取后的特征再下采样，再使用LDA作进一步特征提取；步骤（3）分类识别；首先根据微表情训练数据训练出一个模型，然后根据该模型对微表情测试样本进行预测分类。

【技术特征摘要】
1.基于差分切片能量图和Gabor变换的微表情识别方法，其特征是，包括如下步骤：步骤(1)构造微表情序列差分切片能量图；首先，计算一个完整微表情序列中包含表情细微变化区域的微表情帧形成差分切片，然后将微表情差分切片叠加生成差分切片能量图；所述微表情序列差分切片是指一个微表情序列中相邻两帧作差所形成的帧；步骤(2)差分切片能量图的特征提取；首先将差分切片能量图进行Gabor变换，样本的微表情差分切片能量图与Gabor内核的卷积得到样本的Gabor特征，所述特征的提取只使用Gabor特征的幅度信息提取，在提取Gabor幅度特征后进行抽样，稀疏提取部分Gabor特征组成样本的特征向量，再使用LDA作进一步特征提取；步骤(3)分类识别；首先根据微表情训练数据训练出一个模型，然后根据该模型对微表情测试样本进行预测分类。2.如权利要求1所述的基于差分切片能量图和Gabor变换的微表情识别方法，其特征是，所述步骤(1)中，假设第m个样本的一段微表情帧序列中第t帧表示为Im(x，y，t)，t＝1，…，N；微表情差分切片帧序列的第t帧表示为Dm(x，y，t)，t＝1，…，N-1；Dm(x，y，t)＝Im(x，y，t+1)-Im(x，y，t)其中，(x，y)表示图像的坐标；则该段微表情序列的差分切片能量图构造如下式所示，。3.如权利要求2所述的基于差分切片能量图和Gabor变换的微表情识别方法，其特征是，所述步骤(2)中，样本的Gabor特征由第i个样本的微表情差分切片能量图与Gabor内核的卷积得到，二维小波内核ψ(ku，v，z)定义为其中，σ是与小波频率带宽有关的常数，z＝(x，y)为空间位置坐标，i是虚数，其中，kv表示采样的尺度；φu表示采样的方向；其中，kmax为最大频率，f是频域中的内核间隔因子；s为采样的尺度的个数，d为采样的方向的个数，尺度标号集合为v∈{0，1，…，s-1}，方向标号集合为u...

【专利技术属性】
技术研发人员：贲晛烨，张鹏，陆华，王凤君，田雅薇，张维康，
申请(专利权)人：山东大学，
类型：发明
国别省市：