静态图像中陌生人面部表情的识别方法技术

本发明专利技术公开了一种静态图像中陌生人面部表情的识别方法，属于图像识别领域，用于对静态图像中陌生人面部表情的识别。所述方法首先用Ｃｏｈｎ－Ｋａｎａｄｅ表情数据库作为活动单元学习用样本集，完成表情视觉特征库的建立；将该样本集中图像的视觉特征输入面部活动单元分类器，识别各图像包含的面部活动单元；用面部活动单元特征向量实现从面部活动单元到６种基本表情的分类器学习；对表情测试样本，利用其视觉特征识别其包含的面部活动单元，并构造面部活动单元特征向量，根据面部活动单元特征向量实现面部基本表情的识别。该方法结果采用与文献相同的数据库划分方法，在日本女性人脸表情数据库ＪＡＦＦＥ上测试，对陌生人表情识别率由现有技术的７０．９５％提高到７６％。

【技术实现步骤摘要】

本专利技术涉及一种陌生人面部表情的识别方法，特别是。
技术介绍
人脸表情识别在人机交互、图像检索、心理学、远程教育、安全驾驶、安全监控、辨 别谎言、电脑游戏等方面具有越来越广泛的应用，其中静态图像中陌生人表情的识别是基 本技术之一。 文献基于局部二元模式的面部表情识别研究，计算机工程与应用，2009， Vol. 45(29)， pl80-183公开了一种静态图像中陌生人表情的计算机识别方法。该方法提 取人脸的纹理特征后进行降维处理，然后对特征进行分类，该方法在日本女性人脸表情数 据库JAFFE上测试，对陌生人表情识别率为70. 95%。由于对静态图像提取的纹理特征征往 往不仅包含了表情特征，还包含了人脸特征，表情特征描述不准确，而且，人类的表情特征 复杂多样，底层视觉特征尤其是人脸表情的整体特征，很难较完整地描述人类的各种表情 特征。因此，文献中的表情视觉特征提取方法难以对人脸表情进行完整而准确地描述，对陌 生人表情识别率不高。
技术实现思路
为了克服现有技术对静态图像中陌生人面部表情识别率低的不足，本专利技术提供一 种，该方法采用底层视觉特征和语义级面部活动单 元特征两级表情特征描述方法，利用面部活动单元特征作为视觉特征与表情类别间的桥 梁，以有效降低视觉特征描述的不准确和不完整性。同时，采用两级分类器进行表情分类 第一级分类器实现从视觉特征到活动单元特征的分类，第二级分类器实现从活动单元特征 到表情类别的分类。可以提高静态图像中陌生人面部表情的识别率。 本专利技术解决其技术问题所采用的技术方案一种静态图像中陌生人面部表情的识 别方法，其特点是包括以下步骤 (a)选取Cohn-Kanade表情数据库作为活动单元学习用样本集，对该样本集合中 的每一幅图像进行归一化和对齐预处理，并根据人脸各部位的几何比例，计算双眉、双眼、 嘴巴、鼻子特征部位的位置和空间范围，提取这些特征部位图像的纹理特征，完成表情视觉 特征库的建立； 根据表情视觉特征库的所有视觉特征向量，训练44个SVM分类器，实现从视觉特 征到44个面部活动单元的分类器学习； (b)选择表情识别学习用样本集，对该样本集中的每一幅图像进行归一化和对齐 预处理，并根据人脸各部位的几何比例，提取双眉、双眼、嘴巴、鼻子等特征部位图像，提取 这些特征部位的纹理特征，分别用这些纹理特征训练SVM分类器，识别其包含的面部活动 单元，构造面部活动单元特征向量； (c)用表情识别学习用样本集中的样本的面部活动单元特征向量训练6个SVM分 类器，实现从面部活动单元到6种基本表情的分类器学习； (d)对表情测试图像，按步骤(b)的方法得到其面部活动单元特征向量并输入6个 SVM分类器，实现从面部活动单元到6种基本表情的识别。 本专利技术具有以下有益效果由于采用底层视觉特征和语义级面部活动单元特征的两级特征描述，利用语义级面部活动单元特征作为视觉特征与表情类别间的桥梁，一方面减少了视觉特征包含的人脸特征对表情识别的影响，提高了特征描述的准确性，另一方面，面部活动单元是心理学研究得出的面部表情编码系统中的单元，其对表情特征的描述更完整；同时，采用两级分类器进行表情分类，降低了对分类器映射能力的要求。该方法结果采用与文献相同的划分方法，在日本女性人脸表情数据库JAFFE上测试，对陌生人表情识别率由现有技术的70. 95%提高到76%。 下面结合具体实施方式对本专利技术作详细说明。具体实施例方式本实施例采用Cohn-Kanade表情数据库作为活动单元学习用样本库，采用JAFFE 表情数据库作为活动单元识别、表情学习和测试用数据库。具体步骤如下 (1)面部活动单元学习过程。 选取Cohn-Kanade表情数据库作为活动单元学习用样本集，对该集合中的每一幅 图像，手工定位人的两眼的外眼角位置和左、右嘴角位置，设0q， y》，(x2， y2)， (x3， y3)和 (x4，y4)分别表示左外眼角、右外眼角、左嘴角和右嘴角位置，则 两眼间距离《=J(Xi—^)2+—，两眼中心0位置为(:^1^1/^1) 从中心0起，向左右各剪切0. 6dp向上剪切0. 6dp向下剪切2. 3dp将图像縮放为 100 X 80像素大小，完成人脸大小归一化和人脸对齐。 双眉、双眼、嘴巴、鼻子等特征区域计算如下； 左眉左上角位置Oq-lO， y「66)，右眉右上角位置(x2+10， y2_66)，两眉区 域宽度均为^^ ，高度均为45;左眼左上角位置Oq-lO， y「22)，右眼右上角位置(x2+10， y厂22)，两眉区域宽度均为^^，高度均为42 ;鼻子区域的左上角位置(^- -10,少1+15)，区域宽度 + 10，高度为^^-^Zl-50;嘴巴区域的左上角位置(x3-10， y3-20)，区域宽度x4-x3+20，高度为30。 至此，可根据上述计算结果提取特征部位图像。 对双眉、双眼、嘴巴、鼻子等特征部位图像，分别采用文献中的LBP特征作为其纹理特征，采用文献中的SVM分类器进行面部活动单元的分类器学习，共训练44个分类器，每个分类器对应一个活动单元。 (2)面部活动单元识别过程。 选择JAFFE数据库，用步骤(1)中同样的方法，对库中的图像进行归一化和对齐预 处理，获取双眉、双眼、嘴巴、鼻子等特征部位图像，提取这些特征部位的纹理特征。4 将这些纹理特征分别输入44个SVM分类器，根据分类器的输出是0或1 ，识别其包 含的面部活动单元，组成面部活动单元向量。 (3)表情学习过程。 采用弃一交叉验证法。选择JAFFE数据库中某一个人的表情图像作为测试集，其 余9个人的表情图像作为表情学习样本集。用学习样本集中各样本的面部活动单元特征向 量训练6个SVM分类器，实现从面部活动单元到6种基本表情的分类器学习。 (4)表情识别过程。 与步骤(3)对应，选择JAFFE数据库中某一个人的表情图像作为测试集，将测试样 本的面部活动单元特征向量输入6个SVM分类器，根据分类器的输出是0或1，实现从面部 活动单元到6种基本表情的识别。 该方法在日本女性人脸表情数据库JAFFE上测试，对陌生人表情识别率为76 % 。本文档来自技高网...

【技术保护点】
一种静态图像中陌生人面部表情的识别方法，其特征在于包括以下步骤：（ａ）选取Ｃｏｈｎ－Ｋａｎａｄｅ表情数据库作为活动单元学习用样本集，对该样本集合中的每一幅图像进行归一化和对齐预处理，并根据人脸各部位的几何比例，计算双眉、双眼、嘴巴、鼻子特征部位的位置和空间范围，提取这些特征部位图像的纹理特征，完成表情视觉特征库的建立；根据表情视觉特征库的所有视觉特征向量，训练４４个ＳＶＭ分类器，实现从视觉特征到４４个面部活动单元的分类器学习；（ｂ）选择表情识别学习用样本集，对该样本集中的每一幅图像进行归一化和对齐预处理，并根据人脸各部位的几何比例，提取双眉、双眼、嘴巴、鼻子等特征部位图像，提取这些特征部位的纹理特征，分别用这些纹理特征训练ＳＶＭ分类器，识别其包含的面部活动单元，构造面部活动单元特征向量；（ｃ）用表情识别学习用样本集中的样本的面部活动单元特征向量训练６个ＳＶＭ分类器，实现从面部活动单元到６种基本表情的分类器学习；（ｄ）对表情测试图像，按步骤（ｂ）的方法得到其面部活动单元特征向量并输入６个ＳＶＭ分类器，实现从面部活动单元到６种基本表情的识别。

【技术特征摘要】
一种静态图像中陌生人面部表情的识别方法，其特征在于包括以下步骤(a)选取Cohn-Kanade表情数据库作为活动单元学习用样本集，对该样本集合中的每一幅图像进行归一化和对齐预处理，并根据人脸各部位的几何比例，计算双眉、双眼、嘴巴、鼻子特征部位的位置和空间范围，提取这些特征部位图像的纹理特征，完成表情视觉特征库的建立；根据表情视觉特征库的所有视觉特征向量，训练44个SVM分类器，实现从视觉特征到44个面部活动单元的分类器学习；(b)选择表情识别学习用样本集，对该样本集中的...

【专利技术属性】
技术研发人员：冯晓毅，阎坤，季战领，彭进业，谢红梅，杨雨奇，何贵青，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：87[中国|西安]