人脸表情识别方法及系统、表情分类器的训练方法及系统技术方案

本发明专利技术提供了一种人脸表情识别方法及系统、一种人脸表情分类器的训练方法及系统。其中的人脸表情识别方法具体包括：对输入视频图像，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；将输入的特征序列作为观测序列，根据人脸表情分类器判别该观测序列所属的表情类别；其中，所述人脸表情分类器为组合各种表情的隐马尔可夫模型得到的，所述隐马尔可夫模型经训练人脸表情样本中的中性表情序列和弱小表情序列得到。本发明专利技术用以克服现有表情识别结果离散、跳跃、不自然的缺点。

【技术实现步骤摘要】

本专利技术涉及模式识别
，特别是涉及一种人脸表情识别方法及系统、一种 人脸表情分类器的训练方法及系统。
技术介绍
人脸表情是人类视觉中最为普遍的模式，人脸表情识别(FER，facialexpression recognition)研究目的就是如何自动、可靠、高效地利用人脸表情所传达的信息。人脸表情识别是人机自然交互、计算机视觉、情感计算和图像处理等研究的一个 热点课题，在人机交互、远程教育、安全领域、智能机器人研制、医疗、动画制作等领域有着 广泛的应用。如果计算机也能够象人类那样具有理解和表达情感的能力，自主适应环境，将 从根本上改变人与计算机之间的关系，使计算机更好地为人类服务。这也正是研究人脸表 情识别并赋予计算机具有情感理解和情感表达课题的重要意义。现有的人脸表情识别，通常首先基于美国心理学家艾克曼提出的六种基本情感 (分别为高兴、惊讶、愤怒、恐惧、厌恶和悲伤)获得比较夸张的表情，作为人脸表情库，然 后，通过对该人脸表情库中部分样本的训练，识别出数据库中另一部分夸张表情。然而人在自发状态下出现的表情是连续的，即由中性到夸张，目前对具体的表情， 如高兴、惊讶、愤怒、恐惧、厌恶和悲伤六种表情的研究，都是对具体的静态库进行训练和测 试。采用这样的模板得到的表情识别结果，实际上是离散的，跳跃式的。例如，在制作动画 时，往往需要导入识别出的图片序列，然后对这些图片序列进行合成，不仅工作量大，而且 经常出现动画表情不自然顺畅，口型和对话情景相差悬殊的问题。总之，需要本领域技术人员迫切解决的一个技术问题就是如何能够提供一种人 脸表情识别方法，用以克服现有表情识别结果离散、跳跃、不自然的缺点。
技术实现思路
本专利技术所要解决的技术问题是提供一种人脸表情识别方法及系统、一种人脸表情 分类器的训练方法及系统，用以克服现有表情识别结果离散、跳跃、不自然的缺点。为了解决上述问题，本专利技术公开了一种人脸表情识别方法，包括对输入视频图像，进行融合二值图像和灰度图像序列的光流运动场的特征提取， 获得特征序列；将输入的特征序列作为观测序列，根据人脸表情分类器判别该观测序列所属的表 情类别；其中，所述人脸表情分类器为组合各种表情的隐马尔可夫模型得到的，所述隐马尔 可夫模型经训练人脸表情样本中的中性表情序列和弱小表情序列得到。优选的，在所述特征提取步骤前，所述方法还包括针对输入视频图像，获取其中的人脸图像；对所述人脸图像进行眼睛定位，得到眼睛位置；根据所述眼睛位置，对所述人脸图像进行归一化操作；从所述归一化后的人脸图像中割取预设大小的图像。优选的，所述人脸表情分类器为通过以下步骤获得的分类器获得人脸检测后的人脸表情样本，所述人脸表情样本包括各种表情序列样本，所 述各种表情序列包括中性表情序列、弱小表情序列和夸张表情序列；对所述人脸表情样本，进行融合二值图像和灰度图像序列的光流运动场的特征提 取，获得特征序列；将所述特征序列作为观测序列，对人脸表情样本中的中性表情序列和弱小表情序 列进行训练，为各种表情建立相应的隐马尔可夫模型；组合各种表情的隐马尔可夫模型，形成人脸表情分类器。本专利技术还公开了一种人脸表情分类器的训练方法，包括获得人脸检测后的人脸表情样本，所述人脸表情样本包括各种表情序列样本，所 述各种表情序列包括中性表情序列、弱小表情序列和夸张表情序列；对所述人脸表情样本，进行融合二值图像和灰度图像序列的光流运动场的特征提 取，获得特征序列；将所述特征序列作为观测序列，对人脸表情样本中的中性表情序列和弱小表情序 列进行训练，为各种表情建立相应的隐马尔可夫模型；组合各种表情的隐马尔可夫模型，形成人脸表情分类器。优选的，所述二值图像序列的特征提取步骤包括对输入表情图像序列进行二值化，得到二值图像序列；对所述二值图像序列采用H-S光流方法计算运动场，获得二值图像运动场；对所述二值化图像运动场进行面部轮廓剪切，获取二值化特征部位；对所述二值化特征部位进行动作方向提取，得到各个二值化特征部位的运动方向 信息，作为特征序列。优选的，所述灰度图像序列的光流运动场的特征提取步骤包括对输入表情图像序列进行灰度预处理，得到灰度图像序列；对所述灰度图像序列采用H-S光流方法计算运动场，获得灰度图像运动场；对所述灰度图像运动场进行高通滤波，获取灰度特征部位；对所述灰度特征部位进行动作方向和强度提取，得到各个灰度特征部位的运动方 向信息和强度信息，作为特征序列。优选的，所述组合各种表情的隐马尔可夫模型，形成人脸表情分类器的步骤包 括将每一种表情的隐马尔可夫模型的输出作为弱分类器；采用Adaboost算法对所述弱分类器进行选择和训练，获得人脸表情分类器。优选的，在所述特征提取步骤前，所述方法还包括对所述人脸表情样本进行眼睛定位，得到眼睛位置；根据所述眼睛位置，对所述人脸表情样本进行归一化操作；从所述归一化后的人脸表情样本中割取预设大小的图像。本专利技术还公开了一种人脸表情识别系统，包括特征提取模块，用于针对输入视频图像，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；识别模块，用于将输入的特征序列作为观测序列，根据人脸表情分类器判别该观 测序列所属的表情类别；其中，所述人脸表情分类器为组合各种表情的隐马尔可夫模型得 到的，所述隐马尔可夫模型经训练人脸表情样本中的中性表情序列和弱小表情序列得到。优选的，所述系统还包括图像校准模块，所述图像校准模块包括获取子模块，用于针对输入视频图像，获取其中的人脸图像；眼睛定位子模块，用于对所述人脸图像进行眼睛定位，得到眼睛位置；归一化子模块，用于根据所述眼睛位置，对所述人脸图像进行归一化操作；割取子模块，用于从所述归一化后的人脸图像中割取预设大小的图像。本专利技术还公开了一种人脸表情分类器训练系统，包括获取模块，用于获得人脸检测后的人脸表情样本，所述人脸表情样本包括各种表 情序列样本，所述各种表情序列包括中性表情序列、弱小表情序列和夸张表情序列；特征提取模块，用于针对所述人脸表情样本，进行融合二值图像和灰度图像序列 的光流运动场的特征提取，获得特征序列；训练模块，用于将所述特征序列作为观测序列，对人脸表情样本中的中性表情序 列和弱小表情序列进行训练，为各种表情建立相应的隐马尔可夫模型；组合模块，用于组合各种表情的隐马尔可夫模型，形成人脸表情分类器。优选的，所述特征提取模块包括二值化子模块，用于对输入表情图像序列进行二值化，得到二值图像序列；第一计算子模块，用于对所述二值图像序列采用H-S光流方法计算运动场，获得 二值图像运动场；剪切子模块，用于对所述二值化图像运动场进行面部轮廓剪切，获取二值化特征 部位；方向提取子模块，用于对所述二值化特征部位进行动作方向提取，得到各个二值 化特征部位的运动方向信息，作为特征序列。优选的，所述特征提取模块包括灰度图像获取子模块，用于对输入表情图像序列进行灰度预处理，得到灰度图像 序列；第二计算子模块，用于对所述灰度图像序列采用H-S光流方法计算运动场，获得 灰度图像运动场；滤波子模块，用于对所述灰度图像运动场进行高通滤波，获取灰度特征部位；方向和强度提取子模块，用于对所述灰度特征部位进行动作方向和强度提取，得 到各个灰度特征部位的运动方向信息和强度信息，作为特征序列。优本文档来自技高网...

【技术保护点】
一种人脸表情识别方法，其特征在于，包括：对输入视频图像，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；将输入的特征序列作为观测序列，根据人脸表情分类器判别该观测序列所属的表情类别；其中，所述人脸表情分类器为组合各种表情的隐马尔可夫模型得到的，所述隐马尔可夫模型经训练人脸表情样本中的中性表情序列和弱小表情序列得到。

【技术特征摘要】
一种人脸表情识别方法，其特征在于，包括对输入视频图像，进行融合二值图像和灰度图像序列的光流运动场的特征提取，获得特征序列；将输入的特征序列作为观测序列，根据人脸表情分类器判别该观测序列所属的表情类别；其中，所述人脸表情分类器为组合各种表情的隐马尔可夫模型得到的，所述隐马尔可夫模型经训练人脸表情样本中的中性表情序列和弱小表情序列得到。2.如权利要求1所述的方法，其特征在于，在所述特征提取步骤前，还包括 针对输入视频图像，获取其中的人脸图像；对所述人脸图像进行眼睛定位，得到眼睛位置； 根据所述眼睛位置，对所述人脸图像进行归一化操作； 从所述归一化后的人脸图像中割取预设大小的图像。3.如权利要求1所述的方法，其特征在于，所述人脸表情分类器为通过以下步骤获得 的分类器获得人脸检测后的人脸表情样本，所述人脸表情样本包括各种表情序列样本，所述各 种表情序列包括中性表情序列、弱小表情序列和夸张表情序列；对所述人脸表情样本，进行融合二值图像和灰度图像序列的光流运动场的特征提取， 获得特征序列；将所述特征序列作为观测序列，对人脸表情样本中的中性表情序列和弱小表情序列进 行训练，为各种表情建立相应的隐马尔可夫模型；组合各种表情的隐马尔可夫模型，形成人脸表情分类器。4.一种人脸表情分类器的训练方法，其特征在于，包括获得人脸检测后的人脸表情样本，所述人脸表情样本包括各种表情序列样本，所述各 种表情序列包括中性表情序列、弱小表情序列和夸张表情序列；对所述人脸表情样本，进行融合二值图像和灰度图像序列的光流运动场的特征提取， 获得特征序列；将所述特征序列作为观测序列，对人脸表情样本中的中性表情序列和弱小表情序列进 行训练，为各种表情建立相应的隐马尔可夫模型；组合各种表情的隐马尔可夫模型，形成人脸表情分类器。5.如权利要求4所述的方法，其特征在于，所述二值图像序列的特征提取步骤包括 对输入表情图像序列进行二值化，得到二值图像序列；对所述二值图像序列采用H-S光流方法计算运动场，获得二值图像运动场； 对所述二值化图像运动场进行面部轮廓剪切，获取二值化特征部位； 对所述二值化特征部位进行动作方向提取，得到各个二值化特征部位的运动方向信 息，作为特征序列。6.如权利要求4所述的方法，其特征在于，所述灰度图像序列的光流运动场的特征提 取步骤包括对输入表情图像序列进行灰度预处理，得到灰度图像序列； 对所述灰度图像序列采用H-S光流方法计算运动场，获得灰度图像运动场； 对所述灰度图像运动场进行高通滤波，获取灰度特征部位；对所述灰度特征部位进行动作方向和强度提取，得到各个灰度特征部位的运动方向信 息和强度信息，作为特征序列。7.如权利要求4所述的方法，其特征在于，所述组合各种表情的隐马尔可夫模型，形成 人脸表情分类器的步骤包括将每一种表情的隐马尔可夫模型的输出作为弱分类器；采用Adaboost算法对所述弱分类器进行选择和训练，获得人脸表情分类器。8.如权利要求4所述的方法，其特征在于，在所述特征提取步...

【专利技术属性】
技术研发人员：崔国勤，
申请(专利权)人：北京中星微电子有限公司，
类型：发明
国别省市：11[中国|北京]