基于多任务学习的多模态情感分析和情绪识别方法及系统技术方案

本发明专利技术提供了一种基于多任务学习的多模态情感分析和情绪识别方法及系统，首先，利用特征私有层对每个模态的数据进行特征提取，所述特征私有层包括情感特征提取层和情绪特征提取层，分别用于提取情感特征和情绪特征；然后利用特征融合层将不同模态的特征向量进行特征融合，最后根据融合的特征，进行相应的情感识别

【技术实现步骤摘要】
基于多任务学习的多模态情感分析和情绪识别方法及系统


[0001]本专利技术涉及情感识别领域，尤其涉及一种基于多任务学习的多模态情感分析和情绪识别方法及系统
。

技术介绍

[0002]情感分析是一种计算方法，用于分析人们对某些目标对象的观点
、
情感
、
情绪
、
评价和态度
。
它是自然语言处理
、
数据挖掘
、
文本挖掘和信息检索等领域的重要研究课题，随着互联网和社交媒体的发展，人们可以在网上发表自己的评论
、
反馈
、
建议和意见，这些数据包含了丰富的观点信息，对于理解人们的需求
、
偏好
、
满意度和情绪有着重要的价值
。
现有的研究方法是将情感分析和情绪识别作为两个单独的任务进行识别或分类，忽略了情感和情绪之间的关联性，导致了识别或分类准确度较低，因此，亟需研究一种能考虑到情感和情绪之间的关联性来进行情感和情绪识别或分类的方法
。
专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多任务学习的多模态情感分析和情绪识别方法，其特征在于：包括：
S1
：利用特征私有层对每个模态的数据进行特征提取，所述特征私有层包括情感特征提取层和情绪特征提取层，分别用于提取情感特征和情绪特征；
S2
：利用特征融合层将提取的特征进行特征融合；
S3
：根据融合的特征，进行相应的情感识别
。2.
如权利要求1所述的一种基于多任务学习的多模态情感分析和情绪识别方法，其特征在于：步骤
S2
中，特征融合层使用一个共享的
Bi
‑
LSTM
和句间注意力网络，分别对文本中的每个句子进行编码，从而得到句子级别的语义表示，所述
Bi
‑
LSTM
可以捕捉句子中的前后上下文信息，句间注意力网络可以根据不同任务的需求，动态地调整每个句子在文档中的重要性
。3.
如权利要求1所述的一种基于多任务学习的多模态情感分析和情绪识别方法，其特征在于：步骤
S1
中，情感特征提取层采用基于
NRC
情感词典的情感特征提取的步骤如下：首先，对文本进行分词，去除停用词和标点符号，得到单词序列；然后，将每个单词与
NRC
情感词典进行匹配，如果匹配成功，则记录该单词所属的情感类别；最后，根据每个单词所属的情感类别，计算文本在每种情感上的得分，作为文本的情感特征向量；情绪特征提取层采用
LSTM
网络提取层，是采用
Bi
‑
LSTM
捕获上下文之间的语义交互关系，
Bi
‑
LSTM
中设有词嵌入矩阵，词汇表的大小为，维度为，
Bi
‑
LSTM
包括前向网络和反向网络，可以同时捕捉到单词上文依赖关系和下文依赖关系，上文依赖关系为：下文依赖关系为：每一步的隐藏层输出为：基于
LSTM
网络提取层的整体输出为：其中，
h
n
为第
n
维的中间层的单元数，
LSTM()
表示
LSTM
网络，表示第
i
个单词，表示上文依赖关系，表示下文依赖关系，表示隐藏层的输出，表示与的拼接，表示
Bi
‑
LSTM
的输出
。4.
如权利要求2所述的一种基于多任务学习的多模态情感分析和情绪识别方法，其特征在于：句间注意力网络的计算过程如下：征在于：句间注意力网络的计算过程如下：征在于：句间注意力网络的计算过程如下：
其中，是上一层
Bi
‑
LSTM
的输出，和为句间注意力网络可学习的参数，
()
表示双曲正切函数，表示词语的权重，为经过
()
函数归一化后的权重，为加权后的输出，表示第
i
个词语的权重，
i=1,2,
…
,n
；特征融合层的计算过程如下所示：特征融合层的计算过程如下所示：其中，表示情感特征，分别表示情绪特征，表示特征的联合表征，表示和每个单独特征计算完注意力后的表征，表示注意力机制
。5.
如权利要求4所述的一种基于多任务学习的多模态情感分析和情绪识别方法，其特征在于：所述情感识别包括情感分析任务和情绪识别任务，情感分析任务采用情感分类层完成，情绪识别任务采用情绪识别分类层完成，情感分类层和情绪识别分类层均利用
softmax()
函数作为分类函数
。6.
如权利要求5所述的一种基于多任务学习的多模态情感分析和情绪识别方法，其特征在于：情感识别的总损失为：其中，和均...

【专利技术属性】
技术研发人员：张传雷，赵洪伟，可婷，李建荣，
申请(专利权)人：天科大天津科技园有限责任公司，
类型：发明
国别省市：