一种基于面部动作特征的情绪识别方法和系统技术方案

本发明专利技术公开了一种基于面部动作特征的情绪识别方法和系统，其涉及人脸识别技术领域

【技术实现步骤摘要】
一种基于面部动作特征的情绪识别方法和系统


[0001]本专利技术涉及人脸识别
，特别涉及一种基于面部动作特征的情绪识别方法和系统
。

技术介绍

[0002]描述人类情绪的最基本特征之一是面部表情，在对抑郁症等心理疾病的诊断过程中可以通过面部表情判断人的内心活动，从而判断受试者是否患有心理疾病
。
[0003]现有技术中，对于心理疾病的诊断主要基于患者的症状
、
病史和心理评估，医生会使用标准化的心理评估量表来对患者进行调查问答，根据患者的量表得分与听到问题时观察患者面部的情绪变化进行主观判断，确认患者是否有心理疾病
。
[0004]上述现有技术存在的缺陷是：主要依赖于医生通过自身经验来进行判断，由于门槛较高的原因，新手医生容易找不准情绪变化的差异性，致使情绪解读出错，导致心理疾病误诊率较高
。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种基于面部动作特征的情绪识别方法和系统
。
[0006]本专利技术实施例提供一种基于面部动作特征的情绪识别方法，包括：
[0007]获取测试者的贝克抑郁量表ⅡBDI
‑Ⅱ
、
汉密尔顿抑郁量表
HAMD
的得分数值以及人脸在积极
Positive、
消极
Negative、
中性
Natural
情感问题刺激下的视频数据；
[0008]使用开源工具包
Py
‑
Feat
对视频数据逐帧处理成数值数据，将所述数值数据与所述得分数值进行对比，得到当前视频帧各面部动作单位
AU
的激活状态，计算各面部动作单位
AU
的活跃度
Activate_AU
；
[0009]通过随机森林模型
RF
对所述活跃度
Activate_AU
进行筛选，将筛选后的所述活跃度
Activate_AU
输入人工神经网络模型
ANN
分别得到人脸在积极
Positive、
消极
Negative、
中性
Natural
情感问题刺激下的情绪预测，采用加权平均法对三种预测结果进行结合得到最终的情绪识别结果
。
[0010]另外的，所述计算各面部动作单位
AU
的活跃度
Activate_AU
具体包括：
[0011]假设视频数据为
V
face
，其中有
i
个样本，每个样本中面部动作单位
AU
的类别有
j
个，
V
face
为：
[0012]V
face
＝
{v1,v1,v1,v1...v
i
}
[0013]v
n
表示
V
face
中第
n
个样本数据，
v
n
内部数据格式为：
[0014]v
n
＝
{Frame
(n)
,AU_Value
(n,1)
,AU_Value
(n,2)
,AU_Value
(n,3)
...AU_Value
(n,j)
}
[0015]AU
的活跃度
Activate_AU
为
[0016][0017]其中，
Frame
(n)
来表示第
n
个样本中的视频帧数，
AU_Value
(n,m)
表示第
n
个样本中第
m
个
AU
在该样本视频数据中所有分析帧的值，
length(Frame
(n)
)
是第
n
个样本中的视频分析帧数的长度即个数，
SUM(AU_Value
(n,m)
)
表示第
n
个样本中第
m
个
AU
在该样本视频数据中所有分析帧的值的和，
Actuvate_AU
(n,m)
表示第
n
个样本中第
m
个
AU
在该样本视频数据中的
AU
活跃度
。
[0018]另外的，所述通过随机森林模型
RF
对所述活跃度
Activate_AU
进行筛选具体包括：
[0019]对于随机森林模型
RF
的每棵决策树
t
，计算每个特征
i
的平均减少基尼指数
MeanDecreaseGini
：
[0020][0021][0022]其中
Gini
(i)
是整个决策树
t
上的基尼指数，
Gini
(i,t)
是决策树
t
在特征
i
上的基尼指数，
T
是
RF
中的决策树数量；
[0023]选出平均减少基尼指数
MeanDecreaseGini
系数最大的活跃度
Activate_AU。
[0024]另外的，所述人工神经网络模型
ANN
包括输入层
、
隐藏层和输出层；
[0025]输入层为
:
[0026]IN
＝
{IN1，
IN2...IN
a
}
；
[0027]隐藏层由多个神经元组成，假设
ANN
具有
L
个隐藏层，每个隐藏层
l
包含有
m
l
个神经元，隐藏层
l
的第
j
个神经元的输入为输出为激活函数为
f
，则有
[0028][0029][0030]假设输出层有
k
个神经元，输出层为：
[0031]OUT
＝
(OUT1,OUT1,...OUT
k
)
；
[0032]输出层的第
j
个神经元的输入和输出为：
[0033][0034][0035]其中，是是连接第
l
‑1层第
i
个神经元和第
l
层第
j
个神经元之间的权重系数，是第
i
层第
j
个神经元的偏置
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于面部动作特征的情绪识别方法，其特征在于，包括：获取测试者的贝克抑郁量表ⅡBDI
‑Ⅱ
、
汉密尔顿抑郁量表
HAMD
的得分数值以及人脸在积极
Positive、
消极
Negative、
中性
Natural
情感问题刺激下的视频数据；使用开源工具包
Py
‑
Feat
对视频数据逐帧处理成数值数据，将所述数值数据与所述得分数值进行对比，得到当前视频帧各面部动作单位
AU
的激活状态，计算各面部动作单位
AU
的活跃度
Activate_AU
；通过随机森林模型
RF
对所述活跃度
Activate_AU
进行筛选，将筛选后的所述活跃度
Activate_AU
输入人工神经网络模型
ANN
分别得到人脸在积极
Positive、
消极
Negative、
中性
Natural
情感问题刺激下的情绪预测，采用加权平均法对三种预测结果进行结合得到最终的情绪识别结果
。2.
如权利要求1所述的一种基于面部动作特征的情绪识别方法，其特征在于，所述计算各面部动作单位
AU
的活跃度
Activate_AU
具体包括：假设视频数据为
V
face
，其中有
i
个样本，每个样本中面部动作单位
AU
的类别有
j
个，
V
face
为：
V
face
＝
{v1,v1,v1,v1...v
i
}v
n
表示
V
face
中第
n
个样本数据，
v
n
内部数据格式为：
v
n
＝
{Frame
(n)
,AU_Value
(n,1)
,AU_Value
(n,2)
,AU_Value
(n,3)
...AU_Value
(n,j)
}AU
的活跃度
Activate_AU
为其中，
Frame
(n)
来表示第
n
个样本中的视频帧数，
AU_Value
(n,m)
表示第
n
个样本中第
m
个
AU
在该样本视频数据中所有分析帧的值，
length(Frame
(n)
)
是第
n
个样本中的视频分析帧数的长度即个数，
SUM(AU_Value
(n,m)
)
表示第
n
个样本中第
m
个
AU
在该样本视频数据中所有分析帧的值的和，
Activate_AU
(n,m)
表示第
n
个样本中第
m
个
AU
在该样本视频数据中的
AU
活跃度
。3.
如权利要求1所述的一种基于面部动作特征的情绪识别方法，其特征在于，所述通过随机森林模型
RF
对所述活跃度
Activate_AU
进行筛选具体包括：对于随机森林模型
RF
的每棵决策树
t
，计算每个特征
i
的平均减少基尼指数
MeanDecreaseGini
：：其中
Gini
(i)
是整个决策树
t
上的基尼指数，
Gini
(i,t)
是决策树
t
在特征
i
上的基尼指数，
T
是
RF
中的决策树数量；选出平均减少基尼指数
MeanDecreaseGini
系数最大的活跃度
Activate_AU。4.
如权利要求1所述的一种基于面部动作...

【专利技术属性】
技术研发人员：唐超智，朱晓锋，乔慧梁，张玉玲，王锐，杨刚刚，
申请(专利权)人：河南师范大学，
类型：发明
国别省市：