一种基于Gabor和EOH特征的自动微表情识别方法技术

本发明专利技术提供一种自动表情识别方法，包括：步骤10)、捕获视频的帧图像中的人脸区域，并进行预处理；步骤20)、对相应人脸区域的图像提取Gabor特征和EOH特征；步骤30)、将相应特征进行融合，获取目标视频的最终表征；通过训练所得的分类器，获取每一帧视频图像的表情标签序列；步骤40)、对该表情标签序列进行扫描，判断表情的持续时间，根据获取的微表情，输出表情类别。

【技术实现步骤摘要】
一种基于Gabor和EOH特征的自动微表情识别方法
本专利技术涉及表情识别和图像识别技术，更具体地，涉及一种自动微表情识别方法。
技术介绍
当今全球政治格局动荡不安、恐怖活动多处频发。世界各国的科学家和工程师都在努力寻找与暴力和极端行为有关的行为线索，并尝试开发能对上述行为进行检测的技术或方法。微表情与人类内在的情感信息加工过程紧密相关，它无法伪造，不受意识控制，反映了人类内心的真实情感与意图。从而，微表情成为了能够进行谎言与危险意图检测的有效线索。美国国防部、中情局、本土安全局、安全管理检查署等甚至已经开始接受Ekman的训练课程，利用微表情进行反恐工作。然而，人们对微表情本质的认识、对微表情的实际应用都还十分有限。这主要是由于作为微表情研究基础的微表情表达的研究才刚刚起步。由于微表情的持续时间非常短，没有受过训练的观察者很难正确识别微表情。虽然研究者推出了微表情训练工具，但Frank、Herbasz、Sinuk、Keller和Nolan的研究发现，即使接受了微表情训练工具(METT)训练，被试识别现实中的微表情的成绩依然很差(准确率只有40％左右)。目前，微表情研究者和相关实践工作者若想对微表情进行准确识别，就必须借助于面部行为编码系统FACS对可能包含微表情的视频进行逐帧编码。但是，不仅FACS编码的训练比较费时，编码者一般需要接受100小时的训练才能达到初步熟练的程度；而且使用FACS进行编码也很费时，编码10分钟的视频至少需要10个小时。在Porter等人的研究中，仅使用低速摄像机(30帧/秒)对被试的面部表情进行短时间记录，研究中需要分析的视频即高达30万帧。而这样的情况下由于捕捉到的微表情的数量太少，对微表情的表达仅能进行描述统计而无法使用推断统计的方法来进行数据分析。若考虑使用高速摄像机，以满足统计分析的需求，则需要手工编码的视频帧数将增长数倍。若考虑长时间记录面部表情(例如在审讯情境下)，则需要手工编码的视频数量将更加快速的增长。过于缓慢的编码速度和海量需要人工处理的视频数据，使得微表情的编码成为了费时费力的艰巨工作，使得相关研究和实践都很难进行下去，这是目前微表情研究与微表情应用工作中面临的最大障碍。因此，无论是微表情研究，还是微表情的应用，对于自动化的微表情分析工具，都具有非常大的需求。发展自动化的微表情分析工具，是目前微表情研究者们的第一要务。将计算机视觉(ComputerVision)的技术与方法与心理学的相关研究成果相结合，是有可能开发出自动化的微表情识别系统的。实际上，目前，已经有来自美国和日本的两个独立的研究小组在该问题上进行了探索。Polikovsky，Kameda和Ohta于2009年提出了一种利用3D梯度方向直方图(3Dgradientsorientationhistogram)提取面部运动信息的方法。他们将人脸划分成12个兴趣区(ROI)，并通过对视频中相应区域进行追踪来完成提取相应区域的3D梯度方向直方图表征。除此外，他们还收集了一个‘微表情数据库’。他们要求被试以尽可能低的表情强度、尽可能快的速度来做出面部表情，并对被试做出面部表情的过程用高速摄像机进行摄像。K均值聚类(K-means)的结果表明，在该数据库上，3D梯度方向直方图可以有效表征不同面部区域的处在不同相位(phase)的面部表情动作单元(actionunit)。Shreve等于2009到2011年间提出了一种新的表情视频分割方法。他们利用光流(opticalflow)来计算光学应力(opticalstrain)。然后，他们将面部划分成8个兴趣区域，并将眼睛、鼻子和嘴部的图像以一个T型标记予以去除。他们通过将在各个兴趣区域计算得到的光学应力与训练得到的某一阈值进行比较，实现了对宏观表情(即普通表情)和微表情视频的分割。这两项研究距离自动识别微表情的目标尚有较大的距离，仅仅只是初步探索。Polikovsy等提出的方法只能区分不同面部区域的不同AU及其所处的不同相位，而不能直接对表情以及表情的持续时间进行直接的测量。而表情持续时间的测量对于自动微表情识别系统来说是必须能够完成的功能。此外，该研究中诱发微表情的方法也有很大的问题：在该研究中，微表情是要求被试模仿出来的，且要求表情强度要尽可能低。目前，研究者认为微表情是难以被伪造的，微表情与普通表情的差别在于其持续时间很短而与表情的强度无任何关系。Shreve等于2009年提出的方法不能对同时包含微表情和宏观表情的视频进行分割，在2011年他们首次实现了在一个统一的框架内对这两者进行分割，但结果表明，该方法对微表情的捕获率很低(50％)，误报率很高(50％)。此外，Shreve等收集的微表情数据集也有很大的问题，是用要求被试模仿的方法收集的。最关键的是，Shreve等的方法只是一个表情视频分割的方法，不能对视频中包含的表情所属类别进行识别。
技术实现思路
为克服现有技术中的上述缺陷，本专利技术提出一种自动微表情识别方法。根据本专利技术的一个方面，提出了一种自动微表情识别方法，包括：步骤10)、捕获视频的帧图像中的人脸区域，并进行预处理；步骤20)、对相应人脸区域的图像提取Gabor特征和EOH特征；步骤30)、将相应特征进行融合，获取目标视频的最终表征；通过训练所得的分类器，获取每一帧视频图像的表情标签序列；步骤40)、对该表情标签序列进行扫描，判断表情的持续时间，根据获取的微表情，输出表情类别。本申请的方法提高了识别速度和准确性，提高了训练的速度和效率，使得微表情识别进入可应用领域。附图说明图1为根据本专利技术的微表情识别方法的流程图。如图所示，为了能明确实现本专利技术的实施例的结构，在图中标注了特定的结构和器件，但这仅为示意需要，并非意图将本专利技术限定在该特定结构、器件和环境中，根据具体需要，本领域的普通技术人员可以将这些器件和环境进行调整或者修改，所进行的调整或者修改仍然包括在后附的权利要求的范围中。具体实施方式下面结合附图和具体实施例对本专利技术提供的一种自动微表情识别方法进行详细描述。在以下的描述中，将描述本专利技术的多个不同的方面，然而，对于本领域内的普通技术人员而言，可以仅仅利用本专利技术的一些或者全部结构或者流程来实施本专利技术。为了解释的明确性而言，阐述了特定的数目、配置和顺序，但是很明显，在没有这些特定细节的情况下也可以实施本专利技术。在其他情况下，为了不混淆本专利技术，对于一些众所周知的特征将不再进行详细阐述。总的来说，在进行微表情识别时，将综合提取微表情的Gabor特征与EOH特征，在获得了目标的Gabor+EOH的综合表征之后，不直接将所有特征用于训练，而是对特征进行过滤。实验表明，仅针对EOH特征进行过滤才是有效的。过滤的方法为：以初期得到的Gentleboost(MI+DWT)在初始化训练样本权重后，对训练样本进行一轮训练，获得弱分类器在每一维特征上的加权错误率；若该错误率高于某一预先设定的阈值a则将该特征抛弃，反之则将该特征予以保留。在获得过滤的特征后，将用PreAvgGentleboost_EOHfilter行特征选择。该方法将在极大减少算法计算复杂度的同时(减少特征数量约74％)，保留分类器的分类精度，使得将Gabor+EOH特征用于微表情识别成为可能。本文档来自技高网...

【技术保护点】
一种自动微表情识别方法，包括：步骤10)、捕获视频的帧图像中的人脸区域，并进行预处理；步骤20)、对相应人脸区域的图像提取Gabor特征和EOH特征；步骤30)、将相应特征进行融合，获取目标视频的最终表征；通过训练所得的分类器，获取每一帧视频图像的表情标签序列；步骤40)、对该表情标签序列进行扫描，判断表情的持续时间，根据获取的微表情，输出表情类别。

【技术特征摘要】
1.一种自动微表情识别方法，包括：步骤10)、捕获视频的帧图像中的人脸区域，并进行预处理；步骤20)、对相应人脸区域的图像提取Gabor特征和EOH特征；步骤30)、将相应特征进行融合，获取目标视频的初步表征；通过训练得到目标视频的最终表征并产生出分类器，所述最终表征通过基于平均误差等级的Gentleboost算法获得；使用SVM前馈型神经网络在最终表征上进行训练以形成分类器；和步骤40)、获取待测试视频图像的表情标签序列，对该表情标签序列进行扫描，判断表情的持续时间，获取微表情，根据所述分类器输出表情类别。2.根据权利要求1所述的方法，其中，步骤10包括：捕获到的人脸图像将首先被转化为8位灰度图像；以二次线性插值方法将图像归一化至48×48像素大小。3.根据权利要求1所述的方法，其中，步骤20包括：采用二维Gabor滤波器组对捕获到的人脸图像进行特征提取，以形成人脸表情的Gabor表征；二维Gabor滤波器是一组具有高斯包络的平面波,其Gabor核被定义为:其中kmax是最大频率，f是频域中Gabor核之间的间隔因子，φu∈[0，π)，z＝(x,y)表示位置，参数u和v分别代表控制Gabor滤波器的方向和尺度，参数σ控制包络函数的振荡次数。4.根据权利要求3所述的方法，其中，步骤20还包括：对图像进行边缘提取，在此使用Sobel算子进行边缘提取，其中图像在某点的梯度由相应方向的Sobel算子与图像的卷积获取，选择将捕获到的人脸缩放至24×24像素大小。5.根据权利要求4所述的方法，其中，步骤20还包括：在完成Gabor与EOH特征提取后，将EOH特征与Gabor转化为一个列向量，...

【专利技术属性】
技术研发人员：吴奇，申寻兵，傅小兰，
申请(专利权)人：中国科学院心理研究所，
类型：发明
国别省市：