一种基于特征点和局部特征的面部表情分析方法技术

本发明专利技术公开了一种基于特征点和局部特征的面部表情分析方法，属于面部表情分析技术领域，要解决的技术问题为如何通过多特征结合进行面部表情预测并提高预测准确率。包括如下步骤：提取面部关键点的坐标值，基于面部关键点的坐标值对面部图像进行缩小和剪裁处理，得到特征点；对于每个预处理后面部图像，基于面部关键点的坐标值提取面部成分；对于每个面部成分，将其划分为多个面部子区域，并对每个面部子区域提取局部二值模式得到一个行向量，对于每个面部图像，对于每个预处理后面部图像，将与其对应的行向量进行拼接，基于所述面部图像数据集对应的所有行向量组成一个特征矩阵作为局部特征；进行支持向量机分类以训练支持向量机，通过训练后支持向量机进行表情预测。通过训练后支持向量机进行表情预测。通过训练后支持向量机进行表情预测。

【技术实现步骤摘要】
一种基于特征点和局部特征的面部表情分析方法


[0001]本专利技术涉及面部表情分析
，具体地说是一种基于特征点和局部特 征的面部表情分析方法。

技术介绍

[0002]在社会交流的过程中，除了通过语言直观的了解到对方想要表达的意思外， 还能够通过面部表情看出潜在的信息，而这种潜在的信息才是大部分人想要表 达的真正意思，情感预测在交流的过程中起着重要的作用。面部表情可以反映 出人们的情感，因此可以通过预测面部表情进而预测出情感状态。
[0003]人机交互是指人和机器可以通过某些特定的方式完成信息交换，人机交互 的目的是服务于人，所以机器需要了解到面部表情所表达的潜在信息。如果机 器不能了解到服务的对象的真正意思，它就不能出色的完成人交给它的任务。 目前人机交互的方式大部分是语言和程序输入，理想中的方式是机器像人一样 面对面交流，机器可以通过摄像头来观察交流者，这样机器需要做的就比以前 多了一个图像处理的操作，因此图像处理成为了当下研究的热点。人机交互中 图像处理的一个重要分支是面部表情预测，面部表情预测已经成为研究热点并 逐渐进入生活中，例如情感状态预测、监测学生上课状态、监测驾驶员状态、 以及线上推荐系统。
[0004]但存在许多因素影响面部表情预测的准确率，例如环境光照、头部姿势、 图像的清晰度等。
[0005]目前在研究中存在如下问题：
[0006]其一，现有方法大多只使用纹理特征而不使用几何特征，而几何特征有面 部关键点的几何位置关系，是不可忽视的特征；
[0007]其二，当使用多种特征相结合时，不能使每个特征都发挥出应有的作用， 从而忽略了一些对分类重要的特征，造成预测的准确低。
[0008]基于上述分析，如何通过多特征结合进行面部表情预测并提高预测准确率， 是需要解决的技术问题。

技术实现思路

[0009]本专利技术的技术任务是针对以上不足，提供一种基于特征点和局部特征的面 部表情分析方法，来解决如何通过多特征结合进行面部表情预测并提高预测准 确率的问题。
[0010]本专利技术的一种基于特征点和局部特征的面部表情分析方法，包括如下 步骤：
[0011]获取多个面部图像组成面部图像数据集，所述多个面部图像均对应有 已知的表情标签；
[0012]对于每个面部图像，提取面部关键点的坐标值，基于面部关键点的坐 标值对面部图像进行缩小和剪裁处理，得到预处理后面部图像，所述预处 理后面部图像包括其所有的面部关键点，对于每个预处理后面部图像，基 于剪裁处理相关的剪裁尺寸对其所有面部关
键点的坐标值进行统一调节， 得到关键点的几何特征作为特征点；
[0013]对于每个预处理后面部图像，基于面部关键点的坐标值提取面部成 分，得到四个面部成分并对所述四个面部成分统一尺寸，所述四个面部成 分为左眉毛和左眼面部成分、右眉毛和右眼面部成分、鼻子面部成分、以 及嘴巴面部成分；
[0014]对于每个面部成分，将其划分为多个面部子区域，并对每个面部子区 域提取局部二值模式得到一个行向量，对于每个预处理后面部图像，将与 其对应的行向量进行拼接，得到一个新的行向量，基于所述面部图像数据 集对应的所有行向量组成一个特征矩阵作为局部特征；
[0015]基于零
‑
均值规范方法分别对特征点和局部特征进行归一化处理，并将 特征点和局部特征拼接为结合特征；
[0016]对于所述结合特征，通过最大相关最小冗余方法进行特征选择；
[0017]对于特征选择后结合特征，通过主成分方法进行将降维处理；
[0018]将降维后的结合特征划分为训练集和测试集，以训练集和与其对应的 表情标签为输入，进行支持向量机分类以训练支持向量机，以测试集为输 入，通过训练后支持向量机进行表情预测，并结合测试集对应的表情标签 对预测结果进行准确率分析。
[0019]作为优选，基于面部关键点的坐标值对面部图像进行缩小和剪裁处 理，得到预处理后面部图像，包括如下步骤：
[0020]根据面部关键点的坐标值计算双眼最内侧的两个点之间的距离；
[0021]基于上述距离对面部图像进行缩小处理，缩小后面部图像中双眼最内 侧两个点之间的距离统一为指定像素；
[0022]提取面部关键点的坐标值；
[0023]以左眼内侧点为起点，基于统一的剪裁尺寸分别从上、下、左、右四 个方向对缩小后面部图像进行剪裁，得到预处理后面部图像，所述统一的 剪裁尺寸能够满足每个预处理后面部图像能够包含其所有的面部关键点。
[0024]作为优选，通过CHEHRA模型提取面部关键点的坐标值，且提取面部关 键点的坐标值之后，调节面部关键点的坐标值以使得面部关键点肉眼可见 的位于面部对应位置。
[0025]作为优选，所述指定像素为30像素；
[0026]所述剪裁尺寸为向上36像素、向下87像素、向左39像素、向右66像 素；对应的，对于每个预处理后面部图像，基于剪裁处理相关的剪裁尺寸 对其所有面部关键点的坐标值进行统一调节时，将每个面部关键点的x值 向左39像素，将每个面部关键点的y值向上36像素。
[0027]作为优选，通过imresize函数多个面部成分统一尺寸，统一后每个面部 成分的大小均为30像素*45像素。
[0028]作为优选，对于每个预处理后面部图像，将与其对应的区域行向量进 行拼接，得到一个图像行向量，包括如下步骤：
[0029]将来自同一个面部成分的不同面部子区域的局部二值模式，按照面部 子区域由上至下的顺序将对应的所有行向量拼接为一个行向量，再按照面 部子区域由左至右的顺序将对应的所有行向量拼接为一个行向量；
[0030]将来自同一个预处理后面部图像的不同面部成分的局部二值模式，按 照左眉毛
和左眼面部成分、右眉毛和右眼面部成分、鼻子面部成分、以及 嘴巴面部成分的顺序将对应的四个行向量拼接为一个行向量，每个预处理 后图像均对应一个行向量。
[0031]作为优选，将结合特征划分为训练集和测试集之前，通过留一法或者 十倍交叉验证法将结合特征划分为训练集合测试集。
[0032]作为优选，进行支持向量机分类时，采用多分类方法，并选择线性函数作 为核函数。
[0033]本专利技术的一种基于特征点和局部特征的面部表情分析方法具有以下优点：
[0034]1、基于特征点和局部特征相结合的面部表情预测方法在两种特征结合时使 用了数据规范化、特征选择、降维，使每种特征都能在分类时发挥出应有的作 用；
[0035]2、不同特征的取值范围一般不同，因此不同特征对应的数值大小差别可能 很大。多种特征组合时如果不同特征的数值差别大，一般数值小的特征会被忽 略，这就会影响到分类的结果。如果在组合前对每种特征都进行数据规范化， 那么特征就不会因为数值的大小而被忽略，这样做才能使数值小的特征发挥出 作用，零
‑
均值规范化方法是一种数据规范化的方法，该方法处理后数据的均值 本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征点和局部特征的面部表情分析方法，其特征在于包括如下步骤：获取多个面部图像组成面部图像数据集，所述多个面部图像均对应有已知的表情标签；对于每个面部图像，提取面部关键点的坐标值，基于面部关键点的坐标值对面部图像进行缩小和剪裁处理，得到预处理后面部图像，所述预处理后面部图像包括其所有的面部关键点，对于每个预处理后面部图像，基于剪裁处理相关的剪裁尺寸对其所有面部关键点的坐标值进行统一调节，得到关键点的几何特征作为特征点；对于每个预处理后面部图像，基于面部关键点的坐标值提取面部成分，得到四个面部成分并对所述四个面部成分统一尺寸，所述四个面部成分为左眉毛和左眼面部成分、右眉毛和右眼面部成分、鼻子面部成分、以及嘴巴面部成分；对于每个面部成分，将其划分为多个面部子区域，并对每个面部子区域提取局部二值模式得到一个行向量，对于每个预处理后面部图像，将与其对应的行向量进行拼接，得到一个新的行向量，基于所述面部图像数据集对应的所有行向量组成一个特征矩阵作为局部特征；基于零
‑
均值规范方法分别对特征点和局部特征进行归一化处理，并将特征点和局部特征拼接为结合特征；对于所述结合特征，通过最大相关最小冗余方法进行特征选择；对于特征选择后结合特征，通过主成分方法进行将降维处理；将降维后的结合特征划分为训练集和测试集，以训练集和与其对应的表情标签为输入，进行支持向量机分类以训练支持向量机，以测试集为输入，通过训练后支持向量机进行表情预测，并结合测试集对应的表情标签对预测结果进行准确率分析。2.根据权利要求1所述的一种基于特征点和局部特征的面部表情分析方法，其特征在于基于面部关键点的坐标值对面部图像进行缩小和剪裁处理，得到预处理后面部图像，包括如下步骤：根据面部关键点的坐标值计算双眼最内侧的两个点之间的距离；基于上述距离对面部图像进行缩小处理，缩小后面部图像中双眼最内侧两个点之间的距离统一为指定像素；提取面部关键点的坐标值；以左眼内侧点为起点，基于统一的剪裁尺寸分别从上、下、左、右四个方向对缩小后面部图像进行剪裁，得到预处理后面部图像，所述统一的剪裁尺寸能够满足每个预处理后面部图像能够...

【专利技术属性】
技术研发人员：陈维洋，吴克，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：