基于多模态评分及深度学习的客服情绪视频数据库构建制造技术

本发明专利技术提供了基于多模态评分及深度学习的客服情绪视频数据构建方法，主要涉及组织行为研究领域中员工情绪识别与管理的问题

【技术实现步骤摘要】
基于多模态评分及深度学习的客服情绪视频数据库构建


[0001]本专利技术涉及到组织行为学中的多模态情绪识别领域，尤其涉及一种基于多模态情绪评分及深度学习的客服情绪视频数据库的构建方法
。

技术介绍

[0002]情绪是一种常见的生理与心理现象，是构成人类心理与生理活动的重要部分
。
在实践中，随着数字化进程推动在线办公
、
在在线服务等“线上模式”走向前台，人们开始意识到在“线上服务”中，员工通常要求按照组织目标管理自身情绪并进行情绪表达，这通常被解释为情绪劳动，情绪劳动容易引发情绪失调，当员工内心的真实感受与需要表现的情绪不一致时可能会增加员工的工作负荷
、
工作压力以及工作倦怠，在工作场所中表现出消极行为
。
因此，如何准确识别和把握工作场所中的员工情绪状态，对提高企业绩效具有重要意义
。
[0003]作为情绪的外显形式，面部表情
、
肢体语言
、
语音语调等都能都反映一定的情绪信息
。
就现有情绪识别方法来看，现有方法主要借助情绪自我报告或借助计算机识别算法定义面部单元
(Action union,AU)
进行
。
但是，对情绪问题采取自我报告的方式容易产生印象管理和自我服务服务偏差；在自然条件下，计算机识别的结果又会受到化妆
、
遮挡
、
光照
、
分辨率等因素的影响，同时
AU
识别结果的准确性往往依赖于专家对表情的标注结果，且面部表情往往具有很大的个体性差异
。
此外，从情绪数据的获取看，现有情绪数据的要么基于
CAPS、IAPS
等情绪图库作为数据来源，或者聘请专业演员“表演”情绪状态
。
这类研究虽然具有一定的参考价值，但在实验室获得的数据往往规避了情境因素对特定情绪的影响，使得数据的科学性和有效性存在局限
。
[0004]因此，本专利基于多模态评分及深度学习算法，构建真实工作情境下的员工情绪状态的视频数据库
。
首先，通过架设广角摄像头采集工作场所中员工的真实工作状态；其次，从面部表情
、
肢体信息
、
语音语调三个模态出发，设计了专家组
、
志愿者组两个群体的情绪评分方法；再次，基于
Matlab
编写深度学习算法，融合面部表情
、
肢体信息
、
语音语调三个模态下的情绪评分结果，计算员工真实的情感状态；最后，将多模态情绪评分与深度学习的得分结果进行比较，保留情绪一致性的结果，构建情绪视频数据库
。

技术实现思路

[0005]本专利技术的目的是提供一种基于多模态情绪评分及深度学习的情绪视频数据库的构建方法，邀请专家与志愿者两个群体，从面部表情
、
肢体语言
、
语音语调三个模态评估员工的工作情绪，在此基础上借助深度学习算法计算员工的情感状态
。
因为同时考虑了主观评分与深度学习算法，并对评分结果进行对比，所以规避了潜在的共同方法偏差问题，提高了情绪视频输出结果的可靠性和科学性
。
[0006]本专利技术具体采用如下技术方案：
[0007]提出了基于多模态情绪评分及深度学习的情绪视频数据库的构建方法，其特征在
于：
[0008]a.
从多模态视角综合评估了真实工作情景下员工的情绪状态，包括：面部表情
、
肢体语言
、
语音语调三个模态；
[0009]b.
基于
SAM
情绪量表，开发了情绪效价
&
唤醒度的三等级情绪计分量表；
[0010]c.
设计了专家组
、
志愿者组在内的组内多模态情绪评分与一致性检验方法；
[0011]d.
基于
LBP
情绪映射格式与
SVM
支持向量基编写深度学习算法，实现多模态情绪特征融合，输出机器情绪识别结果；
[0012]e.
将多模态情绪评分结果与机器情绪识别结果进行比较，得到稳定的情绪视频，组成情绪视频数据库
。
[0013]本专利技术提出的情绪效价
&
唤醒度的三等级情绪计分量表，即专家组
、
志愿者组记录工作场所中员工情绪状态的计分工具，降低了评分者个人情绪粒度以及主观经验带来的情绪识别误差；具体来说：首先，从效价
&
唤醒度两个子维度刻画员工的情绪状态；其次，将效价划分为“消极
‑
中性
‑
积极”三个类别，唤醒度划分为“低沉
‑
中性
‑
亢奋”三个类别；最后，每一个类别的得分区间设置为3分
(
如：效价中“积极”类别的分值区间为
[6,9]、“中性”类别的分值区间为
[4,5]、“消极”类别的分值区间为
[1,3])
，最终构建9级
SAM
情绪计分量表
。
[0014]本专利技术提出的专家组
、
志愿者组在内的组内多模态情绪评分与一致性检验方法，是基于情绪效价
&
唤醒度的三等级情绪计分量表，邀请专家
、
志愿者对真实工作场所中员工的情绪状态进行评分，该方法主要包括以下步骤：
[0015](1)
数据采集与预处理：首先，采用
DSJ
‑
T5
型摄像头采集客服人员的工作状态；其次，采用
Adobe Premiere Pro
软件将视频的分辨率统一调整为
960*540
，并以“每一通电话”作为分析单元，按通话次数的发生时长对视频进行剪辑，并统一保存为
MP4
格式；最后，情绪视频的播放在安静
、
整洁
、
光照强度一致
、
无干扰的实验室进行，实验中所采用的电脑分辨率统一设置为
1600
×
1024。
[0016](2)
专家组与志愿者组评分：
[0017]Step1:
假定邀请
n
名专家参与到情绪评估，专家组的样本集为
Exp
＝
[e1,e2,...,e
n
]T
(n≥2)
；需要评估的客服情绪视频数量为
m
个，待评估的情绪视频集合为
Vid
＝
[v1,v2,...,v
m
]T
(m≥2)
；针对任意一个情绪视频
v
k
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于多模态评分及深度学习的客服情绪视频数据库构建，其特征在于：
a.
从多模态视角综合评估了真实工作情景下员工的情绪状态，包括：面部表情
、
肢体语言
、
语音语调三个模态；
b.
基于
SAM
情绪量表，开发了情绪效价
&
唤醒度的三等级情绪计分量表；
c.
设计了专家组
、
志愿者组在内的组内多模态情绪评分与一致性检验方法；
d.
基于
LBP
情绪映射格式与
SVM
支持向量基编写深度学习算法，实现多模态情绪特征融合，输出机器情绪识别结果；
e.
将多模态情绪评分结果与机器情绪识别结果进行比较，得到稳定的情绪视频，组成情绪视频数据库
。2.
如权利要求1所述的情绪效价
&
唤醒度三等级情绪计分量表，即专家组
、
志愿者组记录工作场所中员工情绪状态的计分工具，降低了评分者个人情绪粒度以及主观经验带来的情绪识别误差；具体来说：首先，从效价
&
唤醒度两个子维度刻画员工的情绪状态；其次，将效价划分为“消极
‑
中性
‑
积极”三个类别，唤醒度划分为“低沉
‑
中性
‑
亢奋”三个类别；最后，每一个类别的得分区间设置为3分
(
如：效价中“积极”类别的分值区间为
[6,9]、“中性”类别的分值区间为
[4,5]、“消极”类别的分值区间为
[1,3])
，最终构建9级
SAM
情绪计分量表
。3.
如权利要求1所述的多模态情绪评分与一致性检验方法，其特征在于，在是基于情绪效价
&
唤醒度的三等级情绪计分量表，邀请专家
、
志愿者对真实工作场所中员工的情绪状态进行评分，该方法主要包括以下步骤：
(1)
数据采集与预处理：首先，采用
DSJ
‑
T5
型摄像头采集客服人员的工作状态；其次，采用
Adobe Premiere Pro
软件将视频的分辨率统一调整为
960*540
，并以“每一通电话”作为分析单元，按通话次数的发生时长对视频进行剪辑，并统一保存为
MP4
格式；最后，情绪视频的播放在安静
、
整洁
、
光照强度一致
、
无干扰的实验室进行，实验中所采用的电脑分辨率统一设置为
1600
×
1024
；
(2)
专家组与志愿者组评分：
Step1:
假定邀请
n
名专家参与到情绪评估，专家组的样本集为
Exp
＝
[e1,e2,...,e
n
]
T
(n≥2)
；需要评估的客服情绪视频数量为
m
个，待评估的情绪视频集合为
Vid
＝
[v1,v2,...,v
m
]
T
(m≥2)
；针对任意一个情绪视频
v
k
(k
＝
1,...,m)
，从面部表情
、
肢体语言
、
语音语调三个模态进行评分，对应的得分结果记为
Mod
score
＝
[M
face
,M
libs
,M
pron&tone
]
T
；将面部表情
、
肢体语言
、
语音语调三个模态的得分权重矩阵记为
Weig
＝
[W
face
,W
libs
,W
pron&tone
]
T
，其中，
W
face
+W
libs
+W
pron&tone
＝1；
Step2:
定义：专家样本集
Exp
中的任意一位专家
e<...

【专利技术属性】
技术研发人员：刘苹，张一，熊子悦，
申请(专利权)人：四川大学，
类型：发明
国别省市：