一种基于多模态及语境的智能情感识别系统技术方案

本发明专利技术公开了一种基于多模态及语境的智能情感识别系统，包括多模态特征收集模块、连接所述多模态特征收集模块的情感向量生成模块、连接所述多模态特征收集模块和情感向量生成模块的信息融合模块、和连接所述信息融合模块的语境建模模块。本发明专利技术充分地利用了文本特征；创新性地将情感向量的概念引入到多模态情感识别中，并提出了一种新的情感特征提取流程，用于联合提取三种模态的情感向量，并将其与句子向量合并为多模态情感特征；当文本特征没有足够的情感倾向时，可以利用视觉和音频特征提供的一些情感线索，进行情感判断，得到准确的预测结果。确的预测结果。确的预测结果。

【技术实现步骤摘要】
一种基于多模态及语境的智能情感识别系统


[0001]本专利技术涉及智能情感识别领域，尤其涉及一种基于多模态及语境的智能情感识别系统。

技术介绍

[0002]随着人工智能对话技术与自然语言处理技术的发展与推广，出现了多个可识别情感的智能对话系统应用等，如：
[0003]专利CN106683672A《一种基于情感和语义的智能对话方法及系统》通过获取所述多轮对话信息确定所述用户当前的情感和语义；最后，根据所述用户当前的情感和语义做出符合所述用户当前的情感和语义的回复，这样的对话仅依赖于上下文对话信息形成的语境进行判断，没有考虑到参与人的面部表情与语音音调，不能精确得判断出用户当前情绪；
[0004]专利CN110556129A《双模态情感识别模型训练方法及双模态情感识别方法》通过两个神经网络模型分别训练语音特征和图像特征，再将两种特征进行融合得到双模态情感识别模型对情感进行判断。这里的情感识别缺乏了对文本信息的利用，但是文本信息包含语义和语法特征，因此不能较为准确地预测用户当前情感。
[0005]目前情感对话系统在情感识别上的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态及语境的智能情感识别系统，其特征在于，包括多模态特征收集模块、连接所述多模态特征收集模块的情感向量生成模块、连接所述多模态特征收集模块和情感向量生成模块的信息融合模块、和连接所述信息融合模块的语境建模模块，其中所述多模态特征收集模块包括文本特征提取模块、音频特征提取模块和视觉特征提取模块；所述情感向量生成模块包括文本向量生成模块和音频&视觉情感向量生成模块；所述信息融合模块将多模态特征收集模块和情感向量生成模块获得的文本情感向量、视觉情感向量、音频情感向量及文本特征进行拼接，得到多模态情感特征；所述语境建模模块包括循环神经网络和分类器，所述循环神经网络采用了一个双向GRU模型作为情境分析模型来提取情境信息，在一个对话中，按照对话的顺序将所有语篇的多模态情感特征组成一批Bi
‑
GRU模型，每个GRU单元对应一个多模态情感特征，对于时间i，在前向传播序列中，此刻的语境信息C
i
由之前所有时刻的GRU单元的隐状态输出组成，即情感线索追溯；在反向传播序列中，此刻的语境信息由之后所有时刻的GRU单元的隐态输出组成，即情感推理；两个GRU单元被送入一个具有全连接的MLP层，得到每个情感标签下的语料u
i
的值:l
i
＝ReLU(W
l
C
i
+b
l
)
ꢀꢀꢀꢀ
(12)P
i
＝softmax(W
smax
l
i
+b
smax
)
ꢀꢀꢀꢀ
(13)其中W
l
，W
smax
为权重参数，b
l
，b
smax
为偏置参数；最后选择u
i
的最大值作为第i个话语的情感标签y:2.如权利要求1所述的基于多模态及语境的智能情感识别系统，其特征在于，所述多模态特征收集模块中，文本特征提取模块使用预训练的语言模型BERT来提取文本特征向量；音频特征提取模块使用OpenSMILE模型进行声学特征提取；视觉特征提取模块使用3D
‑
CNN模型来提取视频特征。3.如权利要求1所述的基于多模态及语境的智能情感识别系统，其特征在于，所述情感向量生成模块中的文本向量生成模块由基于Transformer的预训练语言模型编码的，采用由5层全连接组成的映射网络来提取情感向量:E
t
＝Map(U
t
)
ꢀꢀꢀꢀꢀ
(1)其中，Et是文本情感向量，Ma...

【专利技术属性】
技术研发人员：陈琰，赵瀚霖，李政英，郑路璐，施德昊，谢嘉健，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：