基于面部表情和眼球动作的双模态情感识别方法及系统技术方案

本发明专利技术涉及基于面部表情和眼球动作的双模态情感识别方法及系统，所述方法包括采集步骤、面部表情特征向量提取步骤、眼动特征向量提取步骤、情感状态定性分析步骤、按时间匹配并存储步骤、融合分类步骤和情感信息比对步骤。本发明专利技术能动态、准确地提取分析受测对象的面部表情信息，建立面部表情和情感之间的联系；通过眼动仪跟踪能够准确、高效的获取丰富的眼动信息，从眼动角度分析受测对象的情感状态；利用SVR对面部表情特征向量和眼动特征向量进行处理，能更准确的得出受测对象的情感状态，从而提高情感识别的准确性和可靠性。

【技术实现步骤摘要】
201610173439

【技术保护点】
基于面部表情和眼球动作的双模态情感识别方法，其特征在于，包括以下步骤：S1、在满足人脸表情图像识别的光线范围内，获取不同时间下人脸的正面图像和眼动信息；S2、从面部表情图像中提取面部表情特征向量，从眼动信息中提取眼动特征向量；S3、对提取的面部表情特征向量进行定性分析，获取初步情感状态Z1，并根据初步情感状态对Z1直接赋值；S4、将面部表情特征向量和眼动特征向量按时间进行匹配并存储；S5、提取已匹配的面部表情特征向量和眼动特征向量，并通过SVR对其进行融合、分类等处理；S6、将分好类别的情感特征向量与预先建立的情感信息数据库中的情感信息相比对，所述情感信息数据库存放有多组积极、中性和消极三种情感状态的标准的左眼/右眼、左眉毛/右眉毛和嘴部参考面部表情特征向量，将最相近的情感信息与分好类别的情感特征向量相匹配，从而得到情感状态Z2，并将Z2与初步情感状态Z1按照融合比例进行融合，得出受测者的最终情感状态Z。

【技术特征摘要】
1.基于面部表情和眼球动作的双模态情感识别方法，其特征在于，包括以下步骤：S1、在满足人脸表情图像识别的光线范围内，获取不同时间下人脸的正面图像和眼动信息；S2、从面部表情图像中提取面部表情特征向量，从眼动信息中提取眼动特征向量；S3、对提取的面部表情特征向量进行定性分析，获取初步情感状态Z1，并根据初步情感状态对Z1直接赋值；S4、将面部表情特征向量和眼动特征向量按时间进行匹配并存储；S5、提取已匹配的面部表情特征向量和眼动特征向量，并通过SVR对其进行融合、分类等处理；S6、将分好类别的情感特征向量与预先建立的情感信息数据库中的情感信息相比对，所述情感信息数据库存放有多组积极、中性和消极三种情感状态的标准的左眼/右眼、左眉毛/右眉毛和嘴部参考面部表情特征向量，将最相近的情感信息与分好类别的情感特征向量相匹配，从而得到情感状态Z2，并将Z2与初步情感状态Z1按照融合比例进行融合，得出受测者的最终情感状态Z。2.根据权利要求1所述的基于面部表情和眼球动作的双模态情感识别方法，其特征在于，所述步骤S2从面部表情图像中提取面部表情特征向量的具体步骤为：S2a.1、读取面部表情图像，以头顶为基准点估计面部特征的大概位置，在面部的各特征部位轮廓上均匀的设置标记点；S2a.2、通过眉心、两瞳孔连线的中点和口中央三点拟合出的中轴线将
\t人脸分为左右对称的两部分，在不缩放、不平移、不旋转的条件下，调整图像，将相对于中轴线对称的标记点调整到同一水平线，并建立面部表情形状模型；S2a.3、在面部表情形状模型中按照左眼/左眉毛，右眼/右眉毛和嘴划分为不同区域，并且将这些区域定义为特征候选区域；S2a.4、针对每一个特征候选区域，采用差分图像法提取特征向量；通过将上一步处理后图像中的所有图像序列与数据库中的中性表情的图像进行差分运算，从各特征候选区域内差分值均值最大的图像序列中提取面部表情特征向量。3.根据权利要求1所述的基于面部表情和眼球动作的双模态情感识别方法，其特征在于，所述步骤S2从眼动信息中提取眼动特征向量的具体步骤为：S2b.1、将采集的眼动信息按照眼动轨迹、眼动时间、眼动方向、眼动距离、注视时间、注视次数、瞳孔直径的大小和眨眼次数分类，得到八类眼动特征向量；S2b.2、将眼动信息按照眼动轨迹绘制成眼球轨迹图，并存储眼球轨迹图；S2b.3、根据整理分类得到的注视时间和注视次数，通过GazeLab得到眼动热点图，并存储眼动热点图。4.根据权利要求1所述的基于面部表情和眼球动作的双模态情感识别方法，其特征在于，所述步骤S3的具体步骤为：S3.1、预先收集多组标准的参考面部表情特征，每组参考面部表情特征包括左眼/右眼，左眉毛/右眉毛和嘴5种；S3.2、步骤S2中从面部表情图像中提取的面部表情特征向量是按照上一步中的5种类别进行提取的；S3.3、以步骤S3.1中的5种参考面部表情特征为基准，对步骤S3.2中的面部表情特征进行定性分析，并以投票法来确定初步的情感状态，若出现票数为2:2:1的冲突现象时，则对投票给总票数为1的情感特征重新进行定性分析，选择其他两种情感状态中与其最相近的进行投票，从而得到初步情感状态Z1，并根据初步情感状态对Z1直接赋值，若初步情感状态为积极则Z1＝1，若初步情感状态为中性则Z1＝0，若初步情感状态为消极则Z1＝-1。5.根据权利要求1所述的基于面部表情和眼球动作的双模态情感识别方法，其特征在于，所述步骤S5的具体步骤为：设面部表情特征向量和眼动特征向量分别为m和n，在一个采样周期内，面部表情特征向量集合X＝[m1,m2,…,mi-1,mi]和眼动特征向量的集合Y＝[n1,n2,…,ni-1,ni]，其中i为时间序列，i≥1；将X和Y作为输入，通过SVR得到输出f(x)；输入量描述为线性关系描述为f(x)＝<v,x>+b,v∈Rk,b∈R,k≥1，其中v和b是超平面的参数，并且有最小误差且受到实际与预期目标间最大偏差<v,xj>+b-yj≤ε,j≥1,ε≥0的约束；为了消除异常样本的影响引入松弛因子ξj,ξj*和一个参数C从而有最小误差且受yj-<v,xj>-b≤ε+ξj*...

【专利技术属性】
技术研发人员：刘振焘，吴敏，曹卫华，陈略峰，丁学文，潘芳芳，张日，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北;42