一种基于标记传播与邻域嵌入保持的人脸表情识别方法技术

本发明专利技术提出了一种基于标记传播与邻域保持嵌入的人脸表情识别方法，同时考虑了已标记的人脸表情图像的邻域结构与全局特征。首先，运用标准的标记传播方法获得人脸表情图像的传播类标记矩阵，然后，使用邻域保持嵌入（NPE）得到人脸表情图像在低维空间的流形结构，最后，在新的流形特征空间中考虑图像间的邻域结构信息更新传播类标记矩阵，依据更新后的类标记矩阵对表情图像进行识别。由于更新后的类标记矩阵考虑了人脸表情图像的流形特征及邻域结构特征，因此，比传播类标记矩阵更准确地描述了人脸表情图像的特征结构，从而获得较高的人脸表情识别效果。

【技术实现步骤摘要】

本专利技术涉及，属于图像识别

技术介绍
人脸表情主要分为高兴、生气、恐惧、厌恶、中性、悲伤和惊讶七种，自动识别人脸表情具有重要研究及应用价值。近年来，研究人员提出了多种人脸表情自动识别方法，如双线性模型用来解决三维人脸及表情识别;基于回归的二维几何多视图人脸表情识别等。流形学习技术在人脸表情识别中 取得了良好效果。Xiao等提出一中广义框架学习每种表情对应的流形 Jang等提出一种统一的人脸表情空间，将不同表情幅度与不同主题的表情对齐到一个统一的流形空间。为了合成人的任意表情，该方法提出保持原始图像与处理后的表情图像间的局部几何结构。基于张量降维方法概括出一种张量子空间模型，并且通过分析高阶张量子空间的正交基提出一种正交张量近邻保持嵌入方法。该方法在处理张量格式人脸表情图像特别是当人脸表情图像位于一个光滑紧凑的流形上时，具有良好性能。Wang等提出使用鲁棒性加权特征映射获得表情流形，提高识别效率。已有人脸表情识别方法，有些方法运用原始高维空间中的人脸表情图像进行识别，有些方法通过提取人脸表情图像在低维流形空间中的特征后进行识别。这些方法只利用高维空间中的人脸表情图像信息或只考虑流形空间中的人脸表情图像结构，大多忽略了人脸表情图像在原始高维空间及低维流形空间之间的内在联系以及如何通过传播已标记人脸表情图像的类别，提高未标记人脸表情图像类别的识别。因此不能有效提取人脸表情图像的类别特征。
技术实现思路
本专利技术提供，既考虑训练人脸表情图像的邻域结构与全局特征，提取人脸表情图像的低维流形结构，又通过传播已标记人脸表情图像的类别，提高未标记人脸表情图像类别的识别率。为实现上述目的，本专利技术采用如下技术方案，同时考虑了训练人脸表情图像的邻域结构、全局特征与流形结构；首先，根据图像标记信息得到图像初始类标记矩阵，然后运用标记传播方法获得人脸表情图像的传播类标记矩阵，通过邻域保持嵌入方法得到人脸表情图像的低维流形结构，并在低维流形结构空间学习图像邻域结构信息；利用邻域结构信息及图像的传播类标记矩阵，得到图像最终类标记矩阵；依据图像最终类标记矩阵对未标记图像的类别进行识别；由于图像最终类标记矩阵考虑了人脸表情图像的流形特征及图像在低维流形空间的邻域结构信息，因此，比图像原空间得到的传播类标记矩阵更准确地表示人脸表情图像的类标信息。 具体包括以下步骤步骤I.利用已标记及未标记人脸表情图像，构建图像初始类标记矩阵；步骤2.使用标记传播方法及步骤I中得到的图像初始类标记矩阵，计算所有人脸表情图像的传播类标记矩阵< ；步骤3.使用邻域保持嵌入方法将所有人脸表情图像映射到低维空间，得到人脸表情图像的低维流形结构；步骤4.在低维流形结构中，获取未标记人脸表情图像的重构系数矩阵，并根据重构系数矩阵及步骤2中得到的图像传播类标记矩阵<，计算得到图像最终类标记矩阵；步骤5.依据步骤4中得到的最终类标记矩阵队，对未标记人脸表情图像进行识别。所述步骤I是指假设人脸表情图像集X由两部分组成，即X = X1 U Xu，其中，X1 =(X1, X2,…，X1I表示有类标的I个人脸表情图像组成的集合，I为正整数，Xu = {χ1+1,…，χη}表示无类标的η-I个人脸表情图像组成的集合，η为大于I的正整数，μ也是正整数，它的取值范围是(1+1) ^ U ^ rio任意一个人脸表情图像Xi ε X1被标记为Γ (I ^ i ^ I),其中，i为正整数，r = {1，…c}为类标记集合，c表示人脸表情图像表情类别的个数。依据给定的标记及未标记的人脸表情图像定义人脸表情图像初始类标记矩阵φ。。对于已标记人脸表情图像Xi，如果标记Ti = j (j e 0，则^=1，否则 =0。其中 表示矩阵φ。的第i行第j列元素。如果人脸表情图像Xi为未标记人脸表情图像，则=G(je Γ)。矩阵φ。的大小为nXc(n行c列矩阵)。所述步骤2是指根据步骤I中得到的初始类标记矩阵及标记传播方法计算人脸表情图像的传播类标记矩阵φ'首先构造近邻图G = (v, e)，其中G的顶点表示人脸表情图像，V表示顶点集合，e表示边集合。当且仅当图像Xj是Xi的k(k=5)近邻时,构造边eu将\与Xi连接。给近邻图的每条边赋予一个权重，其定义如下权利要求1.，首先，根据图像标记信息得到图像初始类标记矩阵，然后运用标记传播方法获得人脸表情图像的传播类标记矩阵，通过邻域保持嵌入方法得到人脸表情图像的低维流形结构，并在低维流形结构空间学习图像邻域结构信息；利用邻域结构信息及图像的传播类标记矩阵，得到图像最终类标记矩阵；依据图像最终类标记矩阵对未标记图像的类别进行识别。2.如权利要求I所述的，其特征是，具体步骤如下 步骤I.利用已标记及未标记人脸表情图像，构建图像初始类标记矩阵φ 步骤2.使用标记传播方法及步骤I中得到的图像初始类标记矩阵φ。，计算所有人脸表情图像的传播类标记矩阵φ% 步骤3.使用邻域保持嵌入方法将所有人脸表情图像映射到低维空间，得到人脸表情图像的低维流形结构； 步骤4.在低维流形结构中，获取未标记人脸表情图像的重构系数矩阵，并根据重构系数矩阵及步骤2中得到的图像传播类标记矩阵<，计算得到图像最终类标记矩阵队； 步骤5.依据步骤4中得到的最终类标记矩阵队，对未标记人脸表情图像进行识别。3.如权利要求2所述的，其特征是，所述步骤I是指假设人脸表情图像集X由两部分组成，即X = X1 U Xu，其中，X1 =(X1, X2,…，X1I表示有类标的I个人脸表情图像组成的集合，I为正整数，Xu = {χ1+1,…，χη}表示无类标的η-i个人脸表情图像组成的集合，η为大于I的正整数，μ也是正整数，它的取值范围是(1+1) ^ u ^ η ;任意一个人脸表情图像Xi ε X1被标记为Γ (I ^ i ^ I),其中，i为正整数，r = {1，…c}为类标记集合，c表示人脸表情图像表情类别的个数； 依据给定的标记及未标记的人脸表情图像定义人脸表情图像初始类标记矩阵f。;对于已标记人脸表情图像Xi,如果标记ti = j, j e Γ ,则=1，否则=0;其中φ ,表示矩阵φ。的第i行第j列元素；如果人脸表情图像Xi为未标记人脸表情图像，则=(), j e Γ ；矩阵φ。的大小为nXc，η行C列矩阵。4.如权利要求2所述的，其特征是，所述步骤2是指根据步骤I中得到的初始类标记矩阵《P。及标记传播方法计算人脸表情图像的传播类标记矩阵φΦ ;首先构造近邻图G= (v, e)，其中G的顶点表示人脸表情图像，V表示顶点集合，e表示边集合；当且仅当图像Xj是Xi的k近邻，k=5时,构造边eu将Xj与Xi连接；给近邻图的每条边赋予一个权重，其定义如下5.如权利要求2所述的，其特征是，所述步骤3是指找到一个最优投影转换矩阵将高维空间中的人脸表情图像向量Xi转换成低维空间中的人脸表情图像向量Yi (Xi e Rd, Yi e Rd，D>d，D为原图像维数，d为降维后的低维空间维数，Rd表示D维实数空间；其方法为首先最小化目标函数(4)，求出系数矩阵w ;根据系数矩阵w，最小化目标函数(5)，求出人脸表情图像Xi在低维空间中对应的图象Yi 6.如权利要求2所述的，本文档来自技高网...

【技术保护点】
一种基于标记传播与邻域嵌入保持的人脸表情识别方法，首先，根据图像标记信息得到图像初始类标记矩阵，然后运用标记传播方法获得人脸表情图像的传播类标记矩阵，通过邻域保持嵌入方法得到人脸表情图像的低维流形结构，并在低维流形结构空间学习图像邻域结构信息；利用邻域结构信息及图像的传播类标记矩阵，得到图像最终类标记矩阵；依据图像最终类标记矩阵对未标记图像的类别进行识别。

【技术特征摘要】

【专利技术属性】
技术研发人员：张化祥，曹林林，张悦童，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：