本发明专利技术请求保护一种基于两步降维和并行特征融合的人脸表情识别方法，采用两步降维：首先，利用主成分分析法（PCA）分别对待融合的两类人脸表情特征在实数域内进行第一次降维，然后将降维后的特征在酉空间内进行并行特征融合；其次，提出一种基于酉空间的混合判别分析方法（HDA）作为酉空间的特征降维方法，通过对人脸表情分别提取局部二值模式（LBP）和Gabor小波两类特征，并结合上述两步降维框架，最后采用支持向量机（SVM）进行分类和训练。所述方法能够有效降低并行融合特征的维数，同时实现对于六种人脸基本表情的识别并有效提高了识别率。本方法能够避免采用串行特征融合及单特征表情识别方法中所存在的种种弊端，并能被广泛应用于公共场合安全视频监控、车辆安全驾驶监控、心理学研究、医疗监控等模式识别领域。
【技术实现步骤摘要】
本专利技术涉及模式识别中的表情识别领域，具体涉及一种基于两步降维和并行特征 融合的人脸表情识别方法。
技术介绍
人脸面部表情识别技术，也被称为自动人脸表情识别技术，是指利用程序算法使 机器能够自动识别不同类别的面部表情，即通过对数据进行训练和学习，从而具备了理解 和识别面部表情的能力。心理学家认为，情感表达=7%语言+38%声音+55%面部表情， 可见,面部表情可以很好地反应一个人的情感表达。可以说,面部表情是人类情感的最主 要载体，也是人类内心世界的外在表现形式。作为人工智能的一个重要组成部分，计算机自 动表情识别自上世纪七十年代提出以后，就一直是人工智能研究的热点。表情识别的研究 涉及到生理学、认知学、人工智能、模式识别、计算机视觉以及信息论、信号处理等多学科领 域。此外，人脸面部表情识别同样具有广泛的应用前景，例如人机交互设备、心理学研究、远 程教育管理、车辆安全驾驶、公共场合安全视频监控、测谎仪、临床医学、医疗监控等诸多领 域。 目前，国内外研究者在对表情识别进行研究时通常会采用以下常见特征提取方 法，主要包括：（1)几何特征；（2)统计学特征；(3)频域特征；(4)纹理特征；(5)运动特征； (6)模型特征等。对于上述特征提取方法所提取出来的面部特征信息，有的侧重于全局特征 的提取，有的则侧重于局部信息的提取。如果仅仅采用单一特征提取方法进行特征提取后， 对于模式对象的有效特征信息描述会显得十分单一而不全面，因而导致模式识别效果十分 低下。而事实证明，对同一模式对象采用不同类别的特征提取方法进行特征提取，并利用这 些多类别特征数据所构成的组合特征数据进行模式分类，其效果往往要好于采用单特征提 取方法。 近年来，数据融合在多模情感识别领域迅速发展起来，并主要分成三类：像素级融 合、特征级融合和决策级融合。其中，特征级融合方法不仅可以从图像中所获取更多特征信 息，还可对多特征信息进行融合从而获取组合特征，从而进一步增加数据区分度，同时降低 分类器的分类压力。此外，特征级融合方法还保留了原始多特征中的有效鉴别信息，并且最 大程度地消除了数据冗余。 常用的特征融合方法主要有：串行特征融合法和并行特征融合法。传统串行特征 融合方法是将多种特征数据首尾相连以形成串行组合特征，融合后的特征维数为各维数之 和，因而容易引发维数灾难，并对后续训练和分类速度带来严重影响。此外，高维数据维数 还会进一步加深高维小样本问题所带来的矩阵奇异等问题，从而影响降维投影轴的求解。 而并行特征融合法是将两类特征数据在复数域进行特征融合，所得并行组合特征维数与其 中特征维数较高者相等，从而减少了出现串行特征融合中特征维数过高问题的可能性。因 此，考虑到特征融合前后特征维数偏高的可能性，需要对处于不同融合阶段的特征数据进 行特征降维。 因此，有必要提供一种基于两步降维和并行特征融合的表情识别方法来弥补上述 缺陷。
技术实现思路
本专利技术的目的在于有效地利用两步降维和并行特征融合方法的优势，提供一种特 征融合后维数较传统串行特征融合方法维数更低、兼顾全局描述及类间判别特征、能够对 酉空间数据进行有效数据降维、识别率较高的人脸表情识别方法，实现对六类基本情感：高 兴、悲伤、愤怒、厌恶、害怕和惊讶的有效识别。 为了实现上述目的，本专利技术的技术方案如下： -种基于两步降维和并行特征融合方法的表情识别方法，包括以下步骤： 步骤1:对人脸表情图像进行裁剪及图像预处理； 步骤2 :分别利用LBP (局部二值模式local binary pattern)和Gabor小波对经 过预处理后的人脸表情图像进行两类特征提取； 步骤3 :在实数域内利用PCA (主成分分析法principal component analysis)分 别对两类特征数据进行一次降维； 步骤4 :将经过数据预处理后的两组特征数据进行并行特征融合； 步骤5 :利用unitary-space HAD(基于酉空间的混合判别分析方法 unitary-space hybrid discriminant analysis, unitary-space)方法在酉空间内对并行 融合特征进行二次降维； 步骤6 :利用支持向量机进行训练和分类。 所述步骤1进一步包括：根据人眼瞳孔距d对每一幅人脸表情图像区域进行确定 及裁剪，将经过裁剪后的彩色三通道图像转换成灰度单通道图像；图像预处理部分包括： 对经过通道数转换后的灰度图像进行尺寸归一化，经处理后图像尺寸大小为120*120,并对 尺寸归一化后的灰度图像进行直方图均衡化处理。 所述步骤2的特征提取进一步包括：对预处理后的人脸表情图像进行分块处理， 利用R = 2且P = 8的圆形规则化局部二值模式算法对图像中每个分块区域进行局部纹理 特征信息提取，并最终形成531维数据为LBP特征数据；利用Gabor小波对图像中每个分块 区域进行小波统计学特征提取，使用5个尺度和8个方向构造40组Gabor小波核函数，将 每个分块区域图像与上述函数组分别进行卷积，并计算输出分块图像上的像素平均值和标 准差数值信息作为小波特征数据，并最终形成720维数据作为Gabor小波特征数据。 所述步骤4和步骤5的并行特征融合进一步包括：首先，对两类特征数据进行数据 补齐及平衡性调整；其次，在复数域空间内将经过一次PCA降维的Gabor小波特征数据作为 复向量实部及LBP特征数据作为复向量虚部进行并行特征融合；然后，通过对并行组合特 征在酉空间内构造类间散布矩阵Sb、类内散布矩阵Sw以及整体协方差矩阵St并由此提出一 种兼顾全局描述信息和类间判别信息的酉空间数据降维方法，即酉空间混合判别分析法。 利用该方法来构造酉空间最优鉴别问题可以求解出酉空间二次降维投影矩阵，并将并行融 合特征数据在该投影方向上进行二次降维。 本专利技术的目的是为了解决现有单特征表情识别率较低、串行特征融合表情识别方 法所引起的特征维数较高、并行特征降维数据区分度低等情况下而提出的一种基于两步降 维和并行特征融合的表情识别方法。与现有表情识别技术相比，本专利技术通过两步降维框架 可对两类人脸表情特征在实数域和复数域内进行有效降维；采用并行特征融合方法既保留 了参与融合的多特征有效鉴别信息，在最大程度上消除了多特征之间的冗余信息，并保留 了有效的目标分类信息，实现了可观的数据压缩；而所提出的unitary-space HDA方法能 够同时兼顾酉空间特征数据的全局描述信息和类间判别信息，并能够实现对酉空间数据的 有效降维，在提升数据区分度的同时也有效提高了表情识别率。 本方法能够有效降低并行融合特征的维数，同时实现对于六种人脸基本表情的识 别并有效提高了识别率。本方法能够避免采用串行特征融合及单特征表情识别方法中所 存在的种种弊端，并能被广泛应用于公共场合安全视频监控、车辆安全驾驶监控、心理学研 究、医疗监控等模式识别领域。 本专利技术的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并 且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可 以从本专利技术的实践中得到教导本文档来自技高网...
【技术保护点】
一种基于两步降维和并行特征融合的人脸表情识别方法，其特征在于，包括以下步骤：步骤1：对原始人脸表情图像进行裁剪及图像预处理；步骤2：分别利用LBP和Gabor小波两类特征提取方法对经过预处理后的人脸表情图像进行特征提取；步骤3：在实数域内利用PCA分别对两组特征数据分别进行第一次降维；步骤4：将经过数据预处理后的两组特征数据进行并行特征融合；步骤5：利用unitary‑space HDA方法在酉空间内对并行融合特征进行第二次降维；步骤6：利用支持向量机进行数据分类和预测。
【技术特征摘要】
1. 一种基于两步降维和并行特征融合的人脸表情识别方法，其特征在于，包括以下步 骤： 步骤1:对原始人脸表情图像进行裁剪及图像预处理； 步骤2 :分别利用LBP和Gabor小波两类特征提取方法对经过预处理后的人脸表情图 像进行特征提取； 步骤3 :在实数域内利用PCA分别对两组特征数据分别进行第一次降维； 步骤4 :将经过数据预处理后的两组特征数据进行并行特征融合； 步骤5 :利用unitary-space HDA方法在酉空间内对并行融合特征进行第二次降维； 步骤6 :利用支持向量机进行数据分类和预测。2. 如权利要求1所述的方法，其特征在于，所述步骤1进一步包括：首先，对原始人脸 表情图像确定人眼瞳孔距离山并以瞳孔中心位置为中轴线左右0. 9d长度范围为裁剪宽 度，以瞳孔中心位置以上〇.6d及以下1.6d长度范围为裁剪高度，确定出一个1.8dX2. 2d 的矩形范围进行裁剪；然后，对裁剪后的人脸表情图像进行灰度化处理并对该灰度图像进 行尺寸归一化，归一化后的图像尺寸大小为120*120 ;最后，对归一化后的灰度图像进行直 方图均衡化预处理。3. 如权利要求1所述的方法，其特征在于，所述步骤2进一步包括：首先，对预处理后 的每一副人脸表情图像进行3*3个子块的划分，即可得9个表情子块图像，而每个子块大小 为40*40 ;然后，利用利用LBP和Gabor小波这两类特征提取方法分别对每一副表情图像上 的每一个子块图像进行特征提取。4. 如权利要求3所述的方法，其特征在于：所述特征提取是：首先，利用P = 8, R = 2 即邻域点个数为8、邻域半径为2的规则化圆形邻域LBP算法对表情子块图像进行局部纹理 特征提取：通过中心像素值与邻域像素值进行阈值比较后所得二进制序列进行规则化判断 及统计，最终在每一个子块图像上得到一个59维的特征数据，因而每一幅表情图像的LBP 特征维数是：3*3*59 = 531维；然...
【专利技术属性】
技术研发人员：杨勇，蔡舒博，郭艳，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;85
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。