用于情感分析的多模态特征融合方法及系统技术方案

本公开提供了一种用于情感分析的多模态特征融合方法及系统，所述方案包括:获取社交数据中的文本数据及其对应的图像数据；分别对所述文本数据和图像数据进行特征提取，获得文本特征及图像特征；基于所述文本特征及图像特征，采用跨模态注意力机制获取两者之间的交互信息，并通过门控机制对所述交互信息进行噪声过滤，获得图像滤波后的文本特征以及文本滤波后的图像特征；将获得的文本特征、图像特征、图像滤波后的文本特征以及文本滤波后的图像特征进行拼接，获得融合特征；基于所述融合特征，通过预先构建的情感分析模型获得情感分析结果。果。果。

【技术实现步骤摘要】
用于情感分析的多模态特征融合方法及系统


[0001]本公开属于情感分析
，尤其涉及一种用于情感分析的多模态特征融合方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
[0003]随着社交平台的不断崛起，多种模态表达情感的方式也在不断地多样化。以往的特征融合方法，大部分工作只是简单地将两种模式结合起来，而没有探索复杂的相关性，何更好地利用内部模态信息和模态交互信息成为当前研究的热点。
[0004]目前在多模态融合中使用的深度学习模型有以下三种:
[0005](1)基于CNN和RNN及其变体的方法
[0006]卷积神经网络(CNN)是一种典型的深度学习模型。针对文本或者图像数据，它可以学习不同抽象层次的特征表示机制，是一种可以训练的多级前馈人工神经网络。例如，采用两种基于CNN的模型分别提取单模态特征。然后将它们的联合表示输入到多元CNN中，以充分利用模态之间的内在关系。
[0007](2)基于注意力的方法
[0008]注意力机制(Att本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于情感分析的多模态特征融合方法，其特征在于，包括:获取社交数据中的文本数据及其对应的图像数据；分别对所述文本数据和图像数据进行特征提取，获得文本特征及图像特征；基于所述文本特征及图像特征，采用跨模态注意力机制获取两者之间的交互信息，并通过门控机制对所述交互信息进行噪声过滤，获得图像滤波后的文本特征以及文本滤波后的图像特征；将获得的文本特征、图像特征、图像滤波后的文本特征以及文本滤波后的图像特征进行拼接，获得融合特征；基于所述融合特征，通过预先构建的情感分析模型获得情感分析结果。2.如权利要求1所述的一种用于情感分析的多模态特征融合方法，其特征在于，所述采用跨模态注意力机制获取两者之间的交互信息，具体为:基于所述文本特征及图像特征，计算两者的注意力矩阵；利用softmax函数对所述注意力矩阵进行量化处理；计算注意力矩阵的量化结果与图像特征的乘积，获得文本到图像的交互信息；计算注意力矩阵的量化结果与文本特征的乘积，获得图像到文本的交互信息。3.如权利要求1所述的一种用于情感分析的多模态特征融合方法，其特征在于，所述通过门控机制对所述交互信息进行噪声过滤，包括对文本到图像的交互信息的噪声过滤，以及对图像到文本的交互信息的噪声过滤。4.如权利要求3所述的一种用于情感分析的多模态特征融合方法，其特征在于，所述对文本到图像的交互信息的噪声过滤，具体表示如下；其中，G()表示门控操作，N()表示非线性操作，I
TV
为文本到图像的交互信息，H
V
为图像特征。5.如权利要求3所述的一种用于情感分析的多模态特征融合方法，其特征在于，所述对图像到文本的交互信息的噪声过滤，具体表示如下；其中，I
VT
为图像到文本的交互信息，H
T
为文本特征。6.一种用于...

【专利技术属性】
技术研发人员：耿玉水，杜婉童，梁虎，赵晶，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：