本发明专利技术公开了一种基于层次TDP模型的自然人脸检测、分割和表情识别方法，首先对原始图像进行预处理，提取SIFT特征以及对应的位置信息，再采用一种有效的迁移狄利克雷过程将这两种特征组合得到的具有几何约束的特征向量输入到TDP模型，得到第一层的结果——人脸与非人脸。分割完成的人脸作为第二层的输入，经过相同的过程得到子区域的分割结果。最终将子区域作为第三层——人脸表情识别层的输入，经过同样的特征提取与组合，得到人脸图像的表情识别结果。本发明专利技术解决了传统多姿态表情识别中需要为每种姿态分别建立模型，以及由于姿态等因素造成模型识别率低的问题，能够有效地提高多姿态人脸图像表情识别的准确率。
【技术实现步骤摘要】
本专利技术属于情感识别领域，具体设及一种基于层次TDP模型的自然环境下人脸检 巧。、分割和表情识别的方法。
技术介绍
屯、理学家J.A.Russell提出，在人们日常的交流中，只有7%的信息是通过语言来 传递的，而55%的信息则是通过面部表情来传递的。由此可见面部表情是一种非常重要的 信息传递方式，它是人类行为的一种丰富的信息源，可W传达很多语言所不能传达的信息。 近年来，随着一些应用的不断完善，促进了人脸表情识别技术的发展。 在A.S.Willsky等人，题为"DescribingVisualScenesUsingTransformed 化jectsandParts"的论文中，利用迁移狄利克雷过程TDP学到一个复杂场景中某一区域 所属的类别，该方法通过组合几何特征和纹理特征来提高识别率，但只能应用于特定角度 的情景图像，而不适用于多角度的自然人脸图像。除此之外，在P.Liu等人，题为'卞acial ExpressionRecognitionviaaBoostedDeepBeliefNetwork"的论文中，把传统学习中 独立的特征提取，特征选择W及人脸表情识别过程在一个统一的级联的深度神经网络中完 成，该方法通过利用上下文的语义信息来提高人脸表情的识别率，但特征提取仍然是基于 一张完整的人脸，经过特征选择来选取对人脸表情识别贡献最大的特征，但由于特征选择 方法的局限无法保证选出的特征是否是最能满足人脸表情识别的特征。目前还未出现一种 统一的模型可W高效准确的识别自然环境下的情感。
技术实现思路
本专利技术的目的在于提供一种基于层次TDP模型的自然环境下人脸检巧U、分割和表 情识别方法，使得训练得到的模型不受姿态，光照等因素的干扰，高准确率地识别各种姿态 下的人脸表情图片的表情状态。 为了解决W上问题，本专利技术首先对原始图像进行预处理，提取SIFT特征W及对应 的位置信息，再采用一种有效的迁移狄利克雷过程将该两种特征组合得到的具有几何约束 的特征向量输入到TDP模型，得到第一层的结果一一人脸与非人脸。分割完成的人脸作为第 二层的输入，经过相同的过程得到子区域（眼睛，鼻子，嘴己，眉毛，前额）的分割结果。最 终将子区域作为第S层一一人脸表情识别层的输入，经过同样的特征提取与组合，得到人 脸图像的表情识别结果。另外，我们在TDP模型中加入姿态控制参数，使我们的方法可W在 一个统一的模型中适应多姿态的人脸图像的表情识别。具体技术方案如下： 一种基于层次TDP模型的自然人脸检测、分割和表情识别方法，包括W下步骤： S1，样本图片的特征提取；对输入的原始图像进行图像二值化得到灰度图像，通过 寻找具有显著二阶导数的像素点得到感兴趣的角点，然后通过边缘检测器得到角点边缘信 息，连接得到感兴趣楠圆区域；对每一个感兴趣的楠圆区域提取128维SIFT特征W及相应 的二维位置信息，对128维的SIFT特征通过K-means进行降维，与位置信息组合得到具有 几何约束的=维特征向量；S2,人脸检测与分割层训练；步骤S1所得S维特征向量作为模型第一层的输入， 通过加入姿态参数C，训练得到一个可W适应多姿态人脸检测与分割子模型，并将分割完成 的人脸图像作为下一层的输入；S3,子区域的检测与分割层的训练；对步骤S2所检测的人脸图片，采用步骤S1的 方法进行特征提取，将提取的特征作为模型第二层子区域分割层的输入，训练得到子区域 检测与分割子模型，将分割得到的与表情最相关的子区域作为模型第=层人脸表情识别层 的输入，其余区域丢弃；S4,人脸表情识别层的训练；将步骤S3检测得到的子区域采用步骤S1的方法进行 特征提取，得到的具有几何约束的特征向量作为模型最后一层人脸表情识别层的输入，通 过姿态信息的引入训练得到可W适应多姿态的人脸表情识别模型。S5,人脸测试图片中人脸表情的识别；采用S1中的特征提取方法提取待识别人脸 表情图像的特征，然后依次输入S2,S3,S4中训练得到的人脸检测与分割层，子区域的检测 与分割层和人脸表情识别层，最终得到待识别人脸表情图像中人脸所表现的表情类别。 进一步，所述步骤S1中具有几何约束的=维特征向量形成的具体过程为；对得到 的楠圆区域进行特征提取，得到楠圆区域的二维位置信息，W及128维SIFT特征信息。对 128*n维SIFT特征通过k-means进行降维得到l*n维信息，结合二维坐标信息得到S维特 征向量作为训练模型的输入信息。 进一步，所述步骤S2中适应多姿态人脸检测与分割子模型为；通过引入姿态参数 C，使EIR的特征表情t不仅仅用类别标签m来标注，而是将t表示为t=C?m来标注一张 训练图片中的每一个EIR，从而得到一个可W多姿态的人脸检测与分割的统一的子模型。 进一步，所述步骤S3中分割得到与表情最相关的子区域的具体过程为：经过多次 迭代循环之后得到多个子区域对应的不同分布，对一张测试图片，判断它所拥有的N个EIR 属于每个子区域的概率，然后根据最大似然估计值得到每个EIR所属的类别，然后对其进 行划分，即可将一张测试图片划分为多个子区域。 进一步，所述步骤S5学习得到待检测图片的人脸表情类别的具体过程如下；经过 多次迭代循环之后学习得到每张人脸图像所属的人脸表情类别所对应的不同分布，对一张 人脸表情图像，判断该张人脸表情图像属于每种表情类别的概率，取其最大似然估计值得 到一张人脸表情图像所属的人脸表情类别。 本专利技术具有有益效果。本专利技术的基于层次TDP模型的自然环境下人脸检测、分割 和表情识别统一框架，通过引入姿态参数到TDP模型中，使得不同姿态人脸图像的人脸检 巧。、子区域分割W及表情识别可W在一个完整统一的模型中进行，而无需再为每一种姿态 分别建立不同的识别模型。特点是通过姿态参数控制主题分布，通过联合几何特征与纹理 特征形成一种几何约束来提高识别的准确率W及模型对姿态，光照等因素的鲁椿性。使得 学习到的模型不受姿态，光照等因素的干扰，准确地识别各种姿态下的人脸表情图片的表 情类别。本专利技术解决了传统多姿态表情识别中需要为每种姿态分别建立模型，W及由于姿 态等因素造成模型识别率低的问题，能够有效地提高多姿态人脸图像表情识别的准确率。【附图说明】 图1是基于TDP模型的多层次自然人脸检巧u、分割和表情识别流程图； 图2是特征提取流程图。【具体实施方式】 下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完 整地描述。 图1给出了本专利技术的总体思路。该方法分为S个层次，如图1中所示，在第一层 中，首先对输入的图像进行预处理得到灰度图，然后对得到的灰度图像进行特征提取得到 具有几何约束的特征向量送入模型第一层一-人脸检测层，训练得到人脸检测子模型，检 测得到人脸图像送入模型第二层一-子区域检测层，训练得到子区域分割子模型，在第二 层中，经过与第一层相同的过程得到子区域W及背景，对子区域进行特征提取送入模型第 S层一-人脸表情识别层，最终训练得到人脸表情识别子模型。对于一张测试图片经过同 样的特征提取过程，送入第一个子模型人脸检测子模型检测得到人脸。然后将检测到的人 脸区域送入第二个子模型子区域分割子模型分割得到关键子区域。最后送入人脸表情识别 子模型进行人脸表情识别。 本文档来自技高网...
【技术保护点】
一种基于层次TDP模型的自然人脸检测、分割和表情识别方法，其特征在于，包括以下步骤：S1，样本图片的特征提取：对输入的原始图像进行图像二值化得到灰度图像，通过寻找具有显著二阶导数的像素点得到感兴趣的角点，然后通过边缘检测器得到角点边缘信息，连接得到感兴趣椭圆区域；对每一个感兴趣的椭圆区域提取128维SIFT特征以及相应的二维位置信息，对128维的SIFT特征通过K‑means进行降维，与位置信息组合得到具有几何约束的三维特征向量；S2，人脸检测与分割层训练：步骤S1所得三维特征向量作为模型第一层的输入，通过加入姿态参数c，训练得到一个可以适应多姿态人脸检测与分割子模型，并将分割完成的人脸图像作为下一层的输入；S3，子区域的检测与分割层的训练：对步骤S2所检测的人脸图片，采用步骤S1的方法进行特征提取，将提取的特征作为模型第二层子区域分割层的输入，训练得到子区域检测与分割子模型，将分割得到的与表情最相关的子区域作为模型第三层人脸表情识别层的输入，其余区域丢弃；S4，人脸表情识别层的训练：将步骤S3检测得到的子区域采用步骤S1的方法进行特征提取，得到的具有几何约束的特征向量作为模型最后一层人脸表情识别层的输入，通过姿态信息的引入训练得到可以适应多姿态的人脸表情识别模型。S5，人脸测试图片中人脸表情的识别：采用S1中的特征提取方法提取待识别人脸表情图像的特征，然后依次输入S2，S3，S4中训练得到的人脸检测与分割层，子区域的检测与分割层和人脸表情识别层，最终得到待识别人脸表情图像中人脸所表现的表情类别。...
【技术特征摘要】
【专利技术属性】
技术研发人员：毛启容，张飞飞，于永斌，罗新，屈兴，詹永照，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。