一种从人脸图像序列中识别脸部表情的方法技术

本发明专利技术涉及一种从人脸图像序列中识别脸部表情的方法，属于人脸表情分析与识别技术领域。本发明专利技术使用脸部特征点跟踪的方法针对表情图像序列中的每一帧图像依次提取归一化的脸部关键点位移量和特定几何特征的长度，将这些数据组成一个特征列向量；序列中的所有特征列向量按次序排列形成一个特征矩阵，每个特征矩阵代表一个脸部表情图像序列；然后利用典型相关分析方法比较特征矩阵之间的相似性，从而将待识别人脸图像确定为高兴、悲伤、恐惧、厌恶、惊讶和生气基本表情之一。本发明专利技术将典型相关分析方法成功运用到人脸表情识别中，有效地利用了表情产生过程中的动态信息，并获取了较高的识别率和较少的ＣＰＵ运算时间。

【技术实现步骤摘要】

本专利技术涉及，属于人脸表情分析与识 别

技术介绍
随着计算机技术的快速发展，自动的人脸表情分析与识别技术将使脸部表情成为 人机交互的一个新渠道(channel)，并且让交互过程变得更为自然和有效。脸部表情分析 与识别包含三个基本问题①如何在图像中发现并定位人脸；②如何从检测到的脸部图像 或脸部图像序列中提取有效的表情特征；③如何设计恰当的分类方法来识别表情种类。近 年来，有很多研究工作致力于从图像序列中识别人脸表情=Cohn等在文献《Feature-Point Tracking by Optical FlowDiscriminates Subtle Differences in Facial Expression》 (Int’ 1 Conf. Automatic Face and Gesture Recognition, pp. 396-401 (1998))中提出 了一种基于光流的方法来识别脸部表情中的细微变化。Laj evardi等人在文献《Facial expression recognition from image sequences using optimizedfeature selection)) (IVCNZ 2008, New Zealand, Page (s) : 1-6 (2008))中公开了一种通过优化的特征选取过程， 使用朴素贝叶斯(NB)分类器来识别人脸表情的方法。孙正兴等在文献《面向视频序列表情 分类的LSVM算法》(计算机辅助设计与图形学学报.第21卷，第4期(2009))中公开了一 种采用基于点跟踪的活动形状模型(ASM)从视频人脸中提取表情几何特征，并使用局部支 撑向量机(LSVM)分类器对表情进行分类的方法。这些方法的缺点是其仅仅从峰值表情帧 中提取特征，忽略了表情产生过程包含的重要时域动态信息，因此其识别的准确率不高。另 夕卜，《Active and Dynamic Information Fusion for Facial ExpressionUnderstanding from Image Sequences》 (IEEE TRANSACTIONS ON PATTERNANALYSIS AND MACHINE INTELLIGENCE，VOL 27，NO. 5，MAY 2005)、《Manifoldbased analysis of facial expression)) (Image and Vision Computing 24 (2006) 605-614)、 《Facial expression recognition from video sequences temporal and static modeling》(Computer Vision and Image Understanding91 (2003) 160-187)等文献提出的 方法虽然使用了表情产生过程包含的时域动态信息，但其计算复杂、计算开销大。本专利技术使用到的重要一项已有技术是典型相关分析(CanonicalCorrelation Analysis, CCA)。典型相关分析是统计分析中的经典工具，它可以用于测量两个或多个数据集之间 的线性关系。典型相关系数定义为两个d维线性子空间L1和L2之间主角91的余弦值COSOj = max Uj7Vj(l<i<d)-,U1 EL] ,VjEL2其中Uj Uj = V, V, = 1，Ui Uj = Vj Vj = 0(/ 本 j)；参数d表示线性子空间维度。近年来典型相关分析技术已被成功地应用于图像集匹配、人脸或物体识别等领 域，因此将典型相关分析技术用于解决表情识别问题从理论上讲是一个简单而有效的方 法。但是，在表情识别问题中，同一个人不同表情的脸部图像差异并不大，即使两个相反的 表情的图像差异也不是很大，所以简单的将典型相关分析技术应用于表情识别中，不能取 得较好的效果。目前为止，还未查找到将典型相关分析技术用于人脸表情识别中的相关文 献及实际应用。
技术实现思路
本专利技术的目的是为了克服已有技术存在的不足，提出了一种从人脸图像序列中识 别脸部表情的方法。本专利技术使用脸部特征点跟踪的方法针对表情图像序列中的每一帧图像 依次提取归一化的脸部关键点位移量和特定几何特征的长度，将这些数据组成一个特征列 向量；序列中的所有特征列向量按次序排列形成一个特征矩阵，每个特征矩阵代表一个脸 部表情图像序列；然后利用典型相关分析方法比较特征矩阵之间的相似性，从而将待识别 人脸图像确定为六种基本表情(高兴、悲伤、恐惧、厌恶、惊讶和生气)之一。本专利技术的目的是通过下述技术方案实现的。，其具体操作步骤为步骤一、选择图像序列从脸部表情数据库中选出代表高兴、悲伤、恐惧、厌恶、惊讶和生气等六种基本 表情的图像序列，每种基本表情的图像序列的数量多于20 ；从每个表情图像序列中选取10，且m为正整数)帧图像，且每个表情图像序列从中性表情图像开始，到峰值表情 图像结束。步骤二、标识脸部特征点在步骤一的基础上，标识脸部特征点；具体为第1步依次在每个表情图像序列中的第一帧图像中标识出20个脸部特征点；其 中，第1、2特征点分别位于右边眉毛和左边眉毛的眉头位置；第3、4特征点分别位于右边 眉毛和左边眉毛的眉尾位置；第5、6特征点分别位于右边眼睛和左边眼睛的内眼角位置； 第7、8特征点分别位于右边眼睛和左边眼睛的最低点；第9、10特征点分别位于右边眼睛 和左边眼睛的外眼角位置；第11、12特征点分别位于右边眼睛和左边眼睛的最高点；第13、 14特征点分别位于鼻翼的最右侧位置和鼻翼的最左侧位置；第15特征点位于鼻尖位置；第 16、17特征点分别位于嘴角的最右侧位置和嘴角的最左侧位置；第18、19特征点分别位于 唇部中心线与唇部轮廓线相交的最高点和最低点；第20特征点位于脸部中心线与脸部轮 廓线相交的最低点。所述标识20个脸部特征点的方法包括但不限于①人工手动标识；②采用 Vukdadinovic 等人在文献〈〈Fully automatic facial feature point detectionusing gabor feature based boosted classifiers)) (Proc. IEEE Int' 1 Conf. on Systems, Man and Cybernetics, pp. 1692-1698(2005))中提出的基于Gabor特征的增强分类器方法实现 对20个脸部特征点的自动定位。第 2 步根据 Farkas 在文献〈〈Anthropometry of the Head and Face)) (NewYork Raven Press (1994))中提出的人的眼睛和脸颊、鼻子和脸颊空间关系的统计数据，计算出每个表情图像序列中的第一帧图像中的第21、22特征点的位置；第21、22特征点分别位于 右侧脸颊和左侧脸颊的颧骨位置。第3 步采用 Patras 等人在文献《Particle filtering with factorizedlikeIihoods for tracking facial features本文档来自技高网...

【技术保护点】
一种从人脸图像序列中识别脸部表情的方法，其特征在于：其具体操作步骤为：步骤一、选择图像序列从脸部表情数据库中选出代表高兴、悲伤、恐惧、厌恶、惊讶和生气等六种基本表情的图像序列，每种基本表情的图像序列的数量多于２０；从每个表情图像序列中选取ｍ帧图像，其中：ｍ≥１０，且ｍ为正整数；且每个表情图像序列从中性表情图像开始，到峰值表情图像结束；步骤二、标识脸部特征点在步骤一的基础上，标识脸部特征点；具体为：第１步：依次在每个表情图像序列中的第一帧图像中标识出２０个脸部特征点；其中，第１值（ｘ↓［ｉ］，ｙ↓［ｉ］）；ｘ↓［ｉ］＝ｘｂ↓［ｉ］－ｘ↓［ｏｒｉｇｉｎ］（１）ｙ↓［ｉ］＝ｙｂ↓［ｉ］－ｙ↓［ｏｒｉｇｉｎ］（２）第３步：通过公式３和公式４获得每张图像的２２个特征点的横坐标位移量Δｘ↓［ｉ］′、纵坐标位移量Δｙ↓［ｉ］′；Δｘ↓［ｉ］′＝ｘ↓［ｉ］－＊↓［ｉ］（３）Δｙ↓［ｉ］′＝ｙ↓［ｉ］－＊↓［ｉ］（４）其中，＊↓［ｉ］、＊↓［ｉ］分别为该图像所在图像序列中的第一帧图像的对应特征点的横坐标值和纵坐标值；第４步：通过公式５和公式６依次得到每张图像的２２个特征点归一化后的横坐标位移量Δｘ↓［ｉ］、纵坐标位移量Δｙ↓［ｉ］；Δｘ↓［ｉ］＝Δｘ↓［ｉ］′／ｘ↓［ｂａｓｅ］（５）Δｙ↓［ｉ］＝Δｙ↓［ｉ］′／ｙ↓［ｂａｓｅ］（６）其中，ｘ↓［ｂａｓｅ］＝ｘ↓［６］－ｘ↓［５］，ｙ↓［ｂａｓｅ］＝ｙ↓［６］－ｙ↓［５］；ｘ↓［５］和ｘ↓［６］分别为该图像的第５、６特征点的横坐标值；ｙ↓［５］和ｙ↓［６］分别为该图像的第５、６特征点的纵坐标值；第５步：获得每张图像中的１０个几何距离特征ｍｆｖ↓［１］～ｍｆｖ↓［１０］；具体为：根据公式７获得眼睛张开程度值ｍｆｖ↓［１］：ｍｆｖ↓［１］＝（（ｙ↓［１１］－ｙ↓［７］）＋（ｙ↓［１２］－ｙ↓［８］））／２（７）其中，ｙ↓［７、］ｙ↓［８］、ｙ↓［１１］、ｙ↓［１２］分别为该图像的第７、８、１１、１２特征点的纵坐标值；根据公式８获得眼睛宽度值ｍｆｖ↓［２］：ｍｆｖ↓［２］＝（（ｘ↓［５］－ｘ↓［９］）＋（ｘ↓［１０］－ｘ↓［６］））／２（８）其中，ｘ↓［５］、ｘ↓［６、］ｘ↓［９］、ｘ↓［１０］分别为该图像的第５、６、９、１０特征点的横坐标值；根据公式９获得眉头高度值ｍｆｖ↓［３］：ｍｆｖ↓［３］＝（ｙ↓［１］＋ｙ↓［２］）／２（９）其中，ｙ↓［１、］ｙ↓［２］分别为该图像的第１、２特...

【技术特征摘要】

【专利技术属性】
技术研发人员：吕坤，张欣，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：11[中国|北京]