人脸表情信息的提取方法及处理技术

本发明专利技术一种人脸表情信息的提取方法及处理，包括有人脸表情信息的提取方法和人脸表情信息的处理，该人脸表情信息的提取方法是：通过诱导被试者表达各种设定的单一表情、混合表情和复杂表情，采用两个摄像头分别提取被试者表情的正面和侧面视频数据。该人脸表情信息的处理是：将单一表情视频通过人脸检测器输出人脸图像，通过将ＡｄａＢｏｏｓｔ算法生成的强分类器的输出由二值改为连续实数值改进为专门表情分类器，由多个专门表情分类器对人脸图像分类并进行判决，给出最终表情类型。

【技术实现步骤摘要】

本专利技术涉及一种人脸表情信息的提取方法及处理，尤其是人脸表情信息的提取方法及处理。
技术介绍
人脸表情含有丰富的人体行为信息，在人们的日常生活中起着重要的作用，对它的研究可以进一步了解人类对应的心理状态，人脸表情识别的研究在情感计算和智能交互领域有着重要的意义。由于人脸表情非常复杂，而且受种族、文化等差异的影响，目前大多数人脸表情识别的研究仅限于少数典型的表情。然而情感化的智能交互要求机器具有接近人类的表情识别能力，为了实现该目标，就需要提取丰富、有效的人脸表情数据，并对其进行处理。人脸表情数据大致分为两类。一类为基于美国心理学家埃克曼(Ekman)提出的六种基本情感(分别为高兴、悲伤、惊讶、生气、嫌恶和害怕)的人脸表情数据。例如，马里兰大学人脸表情数据库和日本女性人脸表情(JAFFEJapanese Female Facial Expression)数据库均包含了上述六种基本表情，后者还包含了中性表情。另一类人脸表情数据集中于提取人脸更加细微的表情。例如，基于埃克曼(Ekman)提出的面部动作编码系统(FACSFacial actioncoding system)的活动单元编码表情数据库(AU-Coded Facial Expression Database，AUActionUnit)中包含了单一运动单元和复合运动单元共23种表情。目前的人脸表情数据不仅数量不足，而且包含的表情种类有限，尤其是具有情感意义的表情不多，极大的限制了人脸表情分析及情感识别研究的发展。对人脸表情信息的处理是对人脸的表情信息进行特征提取分析，从人脸信息中识别人的情绪，如快乐、惊奇、愤怒、恐惧、厌恶、悲伤等。人脸表情信息的识别方法通常分为基于几何特征的识别方法、基于模型的识别方法和基于整体图像特征的识别方法。目前的表情识别技术鲁棒性有待提高，表情识别种类有待增加，表情识别计算量有待降低。
技术实现思路
本专利技术一种人脸表情信息的提取方法及处理，其目的是①针对现有人脸表情数据不足，尤其是具有情感意义的表情种类有限，提出人脸表情信息的提取方法，以提取更多种类的情感表情数据；②对于提取的多种表情信息，为了识别多种表情，提出有别于现有表情识别方法的基于多个专门表情分类器的处理方法，以达到较好的识别效果。本专利技术一种人脸表情信息的提取方法及处理；其中，该人脸表情信息的提取方法是通过诱导被试者表达各种设定的单一表情、混合表情和复杂表情，采用两个摄像头分别提取被试者表情的正面和侧面视频数据。该人脸表情信息的处理是将单一表情视频通过人脸检测器输出人脸图像，通过将AdaBoost算法生成的强分类器的输出由二值改为连续实数值改进为专门表情分类器，由多个专门表情分类器对人脸图像分类并进行判决，给出最终表情类型。设定的单一表情、混合表情和复杂表情说明如下。单一表情包括微笑、大笑、嘲笑、忧愁、生气、暴怒、惊讶、害怕、嫌恶、怀疑、焦急、鄙夷、恳求、失望、悲伤、好奇、害羞和打哈欠等；混合表情包括惊讶—喜悦、惊讶—悲伤、惊讶—生气等；复杂表情包括手遮挡脸时微笑、手遮挡脸时生气、谈话时微笑和谈话时生气等。关于人脸表情信息的提取方法；其步骤如下步骤1针对人机交互的情感需求设计的，设计实验场景为背景比较复杂的实验室，光照条件为头顶日光灯照并且受自然光影响，并允许有其它人的出现，但不能主动影响被试者的情感表达，被试者被要求坐在一台计算机前，被试者的正前方和以正前方为基准的约30度的右侧方处固定两个连接到计算机的普通PC摄像头(ANC-网乐宝贝II，38万像素)以摄录被试者的表情，摄像头与被试者的距离约为0.5-0.8米；步骤2被试者被要求自然的表达一个指定的表情，指定表情的顺序为18种单一表情、3种混合表情和4种复杂表情；被试者在表达面部表情时可以轻微的移动头部，但需要基本保持正面面对正前方的摄像头，被试者的穿着和发型也不受任何约束；步骤3如果被试者难于表达指定的表情，实验者会应用各种提示对其进行诱导，使被试者对指定的表情有更深刻的理解，以更好的表达指定的表情；诱导方式为①实验者向被试者展示由表情素描、日本女性人脸表情(JAFFE)数据库中的典型表情图片、虚拟场景描述、潜台词或独白构成的幻灯片；②实验者向被试者演示前期录制的较成功的表情视频③实验者向被试者现场示范部分表情；步骤4实验者发出口令指示被试者表达指定的表情，并和助手控制两个摄像头同步进行摄录，直到被试者表达完毕以口令结束录像；对每个表情采集的视频数据存储为音频视频交错格式(AVIAudio Video Interleaved)，640*480像素，24位彩色，帧率为30帧/秒，持续约6秒；步骤5当被试者的表达不够理想时，重复步骤3和4，但重复的次数不宜过多；步骤6对下一个指定的表情进行步骤2到6的操作，直到被试者将25种表情表达完毕；步骤7用Adobe公司的视频处理软件Premiere将每段视频剪辑成约2秒的表情视频。关于人脸表情信息的处理；其步骤如下步骤1采用维奥拉(Viola)提出的积分图像和AdaBoost算法相结合的方法，在自行开发的实时人脸表情识别软件系统上实现人脸检测器；步骤2从18种单一表情中选取m(m≤18)种待识别的单一表情，利用人脸检测器从上述表情的正面视频文件中全自动检测出人脸图像，并从中筛选出正确的人脸表情图像归为各种单一表情类别和平静表情类别；步骤3将所有的人脸表情图像尺寸归一化为24*24点像的灰度训练样本；步骤4设选定的m种单一表情为e1，e2，…，em，平静表情为e0，对于每种选定的单一表情ei，以该类表情样本为正例样本，其它各类表情样本及平静样本为反例样本，基于人脸检测器的改进方法训练专门表情分类器hei；人脸检测器和专门表情分类器是两种不同的算法，人脸检测器的输出为0或1，0代表非人脸，1代表人脸；专门表情分类器通过下述式(1)将输出改为[0，1]区间的实数，he(x)=Σt=1Tαtht(x)Σt=1Tαt---(1)]]>式中he为专门表情分类器，T为循环次数，ht为每轮选取的误差最小的弱分类器，αt=log1-ϵtϵt]]>，其中εt为ht的判别误差；步骤5最终表情分类器H从各专门表情分类器hei的得分中选取最高分，若最高分超过设定的阈值，则判决为获得最高分的专门表情分类器对应的表情，否则判定为平静表情，最终表情分类器H的表达式如式(2)，最终表情分类器H从m个专门表情分类器hei的得分中选取最高分，若最高分超过设定的阈值θ，则判决为获得最高分的专门表情分类器对应的表情，否则判定为平静表情e0，通过调整阈值θ，可获得较高的识别率。H(x)=argmaxihei(x)ifmaxihei(x)≥θe0otherwise---(2)]]>式中H为最终表情分类器，hei为单一表情ei的专门表情分类器，e0为平静表情，θ为设定的阈值，i∈{1，2，…，m}。本专利技术的积极效果和优点如下1.人脸表情信息的提取方法针对多种单一表情、混合表情和复杂表情，获得了在其它本文档来自技高网...

【技术保护点】
一种人脸表情信息的提取方法，其特征在于：该提取方法步骤如下：步骤１：针对人机交互的情感需求设计的，设计实验场景为背景比较复杂的实验室，光照条件为头顶日光灯照并且受自然光影响，并允许有其它人的出现，但不能主动影响被试者的情感表达，被试 者被要求坐在一台计算机前，被试者的正前方和以正前方为基准的约３０度的右侧方处固定两个连接到计算机的普通ＰＣ摄像头以摄录被试者的表情，摄像头与被试者的距离约为０．５－０．８米；步骤２：被试者被要求自然的表达一个指定的表情，指定表情的顺 序为１８种单一表情、３种混合表情和４种复杂表情，被试者在表达面部表情时可以轻微的移动头部，但需要基本保持正面面对正前方的摄像头，被试者的穿着和发型也不受任何约束；步骤３：如果被试者难于表达指定的表情，实验者会应用各种提示对其进行诱导 ，使被试者对指定的表情有更深刻的理解，以更好的表达指定的表情；诱导方式为：①实验者向被试者展示由表情素描、日本女性人脸表情数据库中的典型表情图片、虚拟场景描述、潜台词或独白构成的幻灯片；②实验者向被试者演示前期录制的较成功的表情视频；③实验者向被试者现场示范部分表情；步骤４：实验者发出口令指示被试者表达指定的表情，并和助手控制两个摄像头同步进行摄录，直到被试者表达完毕以口令结束录像；对每个表情采集的视频数据存储为音频视频交错格式，６４０＊４８０像素，２４位彩色，帧率为 ３０帧／秒，持续约６秒；步骤５：当被试者的表达不够理想时，重复步骤３和４，但重复的次数不宜过多；步骤６：对下一个指定的表情进行步骤２到６的操作，直到被试者将２５种表情表达完毕；步骤７：用Ａｄｏｂｅ公司的视频处理软件Ｐ ｒｅｍｉｅｒｅ将每段视频剪辑成约２秒的表情视频。...

【技术特征摘要】
1.一种人脸表情信息的提取方法，其特征在于该提取方法步骤如下步骤1针对人机交互的情感需求设计的，设计实验场景为背景比较复杂的实验室，光照条件为头顶日光灯照并且受自然光影响，并允许有其它人的出现，但不能主动影响被试者的情感表达，被试者被要求坐在一台计算机前，被试者的正前方和以正前方为基准的约30度的右侧方处固定两个连接到计算机的普通PC摄像头以摄录被试者的表情，摄像头与被试者的距离约为0.5-0.8米；步骤2被试者被要求自然的表达一个指定的表情，指定表情的顺序为18种单一表情、3种混合表情和4种复杂表情，被试者在表达面部表情时可以轻微的移动头部，但需要基本保持正面面对正前方的摄像头，被试者的穿着和发型也不受任何约束；步骤3如果被试者难于表达指定的表情，实验者会应用各种提示对其进行诱导，使被试者对指定的表情有更深刻的理解，以更好的表达指定的表情；诱导方式为①实验者向被试者展示由表情素描、日本女性入脸表情数据库中的典型表情图片、虚拟场景描述、潜台词或独自构成的幻灯片；②实验者向被试者演示前期录制的较成功的表情视频；③实验者向被试者现场示范部分表情；步骤4实验者发出口令指示被试者表达指定的表情，并和助手控制两个摄像头同步进行摄录，直到被试者表达完毕以口令结束录像；对每个表情采集的视频数据存储为音频视频交错格式，640*480像素，24位彩色，帧率为30帧/秒，持续约6秒；步骤5当被试者的表达不够理想时，重复步骤3和4，但重复的次数不宜过多；步骤6对下一个指定的表情进行步骤2到6的操作，直到被试者将25种表情表达完毕；步骤7用Adobe公司的视频处理软件Premiere将每段视频剪辑成约2秒的表情视频。2.一种人脸表情信息的处理，其特征在于该处理的步骤如下步骤1采用Viola提出的积分图像和AdaBoost算法相结合的方法，在自行开发的实时人脸表情识别软件系统上实现人脸检测器；步骤2从18种单一表情中选...

【专利技术属性】
技术研发人员：毛峡，薛雨丽，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：11[中国|北京]