基于光流法改进几何特征的动态表情识别方法技术

本发明专利技术提供了一种基于光流法改进几何特征的动态表情识别方法。首先对训练数据集进行预处理，获得图像中人脸特征区域和关键点；计算人脸特征区域变化，通过三角剖分法提取几何特征，再用光流法跟踪关键点信息提取动态特征；然后利用线性支持向量机训练几何特征和动态特征；最后对分类结果进行决策级加权融合，得到情感类别。本发明专利技术提高了动态情感识别的识别率。别率。别率。

【技术实现步骤摘要】
基于光流法改进几何特征的动态表情识别方法


[0001]本专利技术涉及模式识别和情感识别领域，尤其涉及一种基于光流法改进几何特征的动态表情识别方法。

技术介绍

[0002]情感是人类在日常生活中交流表达的重要信息之一。准确的识别情感状态不仅能够帮助机器学习理解人类的感知和决策，更有助于建立更加智能友好的人机交互环境。面部表情是人类表达情感的主要载体之一，目前针对面部表情的情感识别方法主要为利用面部表情图像变化过程中动态纹理特征的变化作出判断，识别过程受面部表情图像像素、光照程度、清晰度等多种因素影响，识别结果对图像质量要求较高。如何充分考虑面部表情的特点，减少对图像质量的依赖程度，提取面部表情数据中的关键情感特征，是获得准确情感状态的关键。

技术实现思路

[0003]本专利技术的目的是充分考虑图像纹理对表情识别的影响，提供用于动态图像序列的人脸表情识别方法，提出引用光流法改进几何特征来进行动态表情的识别。该方法对人脸特征区域进行特征提取获得面部表情动态特征和几何特征，并应用支持向量机与决策层融合对提取特征进行训练处理。与传统几何方法利用中性表情和峰值表情提取特征进行表情识别相比，引用光流法能够更好地捕捉面部运动信息，记录表情变化过程中的动态特征，从而提高动态表情识别效果。
[0004]本专利技术是通过下述技术方案实现的。
[0005]本专利技术公开的基于光流法改进几何特征的动态表情识别方法，包括以下步骤：
[0006]步骤1：从包含人脸情感信息的动态视频数据中获取视频，对获取的人脸情感视频数据进行预处理，提取人脸区域和特征点信息；
[0007]步骤2：根据步骤1人脸区域和特征点信息对人脸区域进行对齐、裁剪，去除冗余区域特征信息，得到面部表情图像；
[0008]步骤3：利用特征点信息对起始表情图像帧和峰值表情图像帧的人脸区域构建三角网，通过计算三角网提取面部表情几何特征；利用稀疏光流法对起始表情图像帧的特征点信息进行跟踪，得到表情变化过程中的动态特征；
[0009]步骤4：利用支持向量机对步骤3得到的面部表情几何特征和动态特征分别进行分类训练，利用加权融合策略对两个分类器进行决策级融合，得到情感类别，即实现基于光流法改进几何特征的动态表情识别。
[0010]步骤1实现方法为：
[0011]步骤1.1：对总帧数为N的视频数据，按照等帧距提取多帧图像；N为大于零的正整数；
[0012]步骤1.2：读取表情数据集图像，对输入图像进行人脸检测以及关键点检测，获取
人脸区域和特征点信息；
[0013]步骤1.3：按照步骤1.1、步骤1.2的操作处理数据集中全部用于训练的图像，得到人脸区域和特征点信息。
[0014]步骤2实现方法为：
[0015]步骤2.1：将所有人脸区域的图像都归一化为统一尺寸并转化为灰度图像，得到一组灰度图像序列；
[0016]步骤2.2：根据人脸区域和特征点信息对人脸区域进行校准对齐，截取人脸区域获得人脸特征区域；
[0017]步骤2.3：按照步骤2.1、步骤2.2的操作处理数据集中全部用于训练的图像，得到预处理之后的人脸特征区域数据集L1。
[0018]步骤3实现方法为：
[0019]步骤3.1：获取面部表情几何特征的实现方法如下：
[0020]步骤3.1.1：选取一张正常表情人脸图片作为模板，利用训练好的Dlib人脸关键点检测器对模板人脸图片进行人脸关键特征点提取，获得68个人脸关键特征点P0＝(x1,y1,x2,y2,...,x
68
,y
68
)，并利用获得的特征点生成Delaunay三角网，保存模板图片生成的三角网顶点标号及连接方式；
[0021]步骤3.1.2：利用训练好的Dlib人脸关键点检测器对样本集中L1初始表情图片进行人脸关键特征点提取得到P
N
＝(x
N1
,y
N1
,x
N2
,y
N2
,...,x
N68
,y
N68
)，保存获得的68个人脸关键特征点信息；
[0022]步骤3.1.3：按照步骤3.1.1模板图片的三角网连接方式对步骤3.1.2初始表情图片获得的人脸关键点进行连接，获得初始表情三角网几何特征，保存三角网各顶点标号及位置信息；
[0023]步骤3.1.4：利用训练好的Dlib人脸关键点检测器对样本集L1中峰值表情图片进行人脸关键特征点提取得到P
E
＝(x
E1
,y
E1
,x
E2
,y
E2
,...,x
E68
,y
E68
)，保存获得的68个人脸关键特征点信息；
[0024]步骤3.1.5：按照模板图片的三角网连接方式对峰值表情图片获得的人脸关键点进行连接，获得峰值表情三角网几何特征，保存三角网各顶点标号及位置信息；
[0025]步骤3.1.6：对初始表情图片获得的三角网几何特征与对应峰值表情图片获得的三角网几何特征进行计算，得到初始表情特征点与峰值表情特征点的位移Δx＝x
E
‑
x
N
,Δy＝y
E
‑
y
N
，和距离作为三角网形变量，得到人脸表情几何特征G。
[0026]步骤3.2：获取面部表情动态特征的实现方法如下：
[0027]步骤3.2.1：从L1数据集中读取表情图片，对初始表情图片进行人脸关键特征点提取；
[0028]步骤3.2.2：利用金字塔Lucas
‑
Kanda光流算法对特征点进行跟踪，使其满足光流约束方程其中I＝(x,y,t)是图像中点m＝(x,y)
T
在时刻t的灰度值，是图像在点m处的梯度，是点m处的光流。通过金字塔LK光流法对光流进行迭代计算，记录表情变化过程中特征点的位移轨迹和位置信息，获得人脸表情变
化过程的动态信息；
[0029]步骤3.2.3：计算光流法跟踪得到峰值表情特征点与初始表情特征点位置差值，得到人脸表情动态特征D，捕捉面部运动信息，记录表情变化过程中的动态特征。
[0030]步骤4的实现方法为：
[0031]步骤4.1：用几何特征G训练多分类支持向量机。首先对几何特征G中数据进行归一化处理，即对G中每一个数据g进行线性变换g'＝(g
‑
g
min
)/(g
max
‑
g
min
)，得到G'训练多分类支持向量机。支持向量机判别函数为其中n为样本个数，a
i
为拉格朗日因子，K(x,x
i
)为支持向量机核函数，y
i
与b*可确定最优的分类超平面。将几何特征G中数据按照8:2的比例随机划分为训练集和测试集，对训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于光流法改进几何特征的动态表情识别方法，其特征在于，包括以下步骤：步骤1：读取表情数据集图像，对图像进行预处理，提取人脸区域和特征点信息；步骤2：根据人脸区域和特征点信息对人脸区域进行对齐、裁剪，去除冗余区域特征信息，得到面部表情图像；步骤3：通过计算人脸三角网提取面部表情几何特征，并利用稀疏光流法对起始表情图像帧的特征点信息进行跟踪，得到表情变化过程中的动态特征；步骤4：利用支持向量机对面部表情几何特征和动态特征分别进行分类训练，通过加权融合策略对两个分类器输出进行决策级融合，得到情感类别，并测试识别精度。2.如权利要求1所述的基于光流法改进几何特征的动态表情识别方法，其特征在于，步骤1中，对所述的数据集进行预处理的过程如下：步骤1.1：对总帧数为N的视频数据，按照等帧距提取多帧图像；N为大于零的正整数；步骤1.2：读取表情数据集图像，对输入图像进行人脸检测以及关键点检测，获取人脸区域和特征点信息；步骤1.3：按照步骤1.1、步骤1.2的操作处理数据集中全部用于训练的图像，得到人脸区域和特征点信息。3.如权利要求2所述的基于光流法改进几何特征的动态表情识别方法，其特征在于，步骤2中，情感特征矩阵计算步骤如下：步骤2.1：将所有人脸区域的图像都归一化为统一尺寸并转化为灰度图像，得到一组灰度图像序列；步骤2.2：根据人脸区域和特征点信息对人脸区域进行校准对齐，截取人脸区域获得人脸特征区域；步骤2.3：按照步骤2.1、步骤2.2的操作处理数据集中全部用于训练的图像，得到预处理之后的人脸特征区域数据集L1。4.如权利要求3所述的基于光流法改进几何特征的动态表情识别方法，其特征在于，步骤3中，利用特征点信息进行特征提取步骤如下：步骤3.1：获取面部表情几何特征的实现方法如下：步骤3.1.1：选取一张正常表情人脸图片作为模板，利用训练好的Dlib人脸关键点检测器对模板人脸图片进行人脸关键特征点提取，获得68个人脸关键特征点并利用获得的特征点生成Delaunay三角网，保存模板图片生成的三角网顶点标号及连接方式；步骤3.1.2：利用训练好的Dlib人脸关键点检测器对样本集中L1初始表情图片进行人脸关键特征点提取得到，保存获得的68个人脸关键特征点信息；步骤3.1.3：按照步骤3.1.1模板图片的三角网连接方式对步骤3.1.2初始表情图片获得的人脸关键点进行连接，获得初始表情三角网几何特征，保存三角网各顶点标号及位置信息；步骤3.1.4：利用训练好的Dlib人脸关键点检测器对样本集L1中峰值表情图片进行人脸关键特征点提取得到，保存获得的68个人脸关键特征点信息；步骤3.1.5：按照模板图片的三角网连接方式对峰值表情图片获得的人脸关键点进行连接，获得峰值表情三角网几何特征，保存三角网各顶点标号及位置信息；步骤3.1.6：...

【专利技术属性】
技术研发人员：马达，廣田薰，贾之阳，潘贝，王健，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：