基于多粒度特征注意力融合的图文情感分析方法及系统技术方案

本发明专利技术提供了一种基于多粒度特征注意力融合的图文情感分析方法及系统，包括获取文本数据和图像数据并进行预处理；基于预处理后的文本数据和图像数据，利用训练好的多粒度特征注意力融合网络进行图文情感分析；其中，所述训练多粒度特征注意力融合网络的过程，具体为：获取文本数据的多粒度文本特征和图像数据的图像特征；将多粒度文本特征进行拼接获取多粒度联合文本特征；将多粒度联合文本特征与图像特征进行交互学习，挖掘多粒度联合文本特征和图像特征之间的关联关系，得到带有多粒度联合文本特征的图像特征；将交互学习后的带有多粒度联合文本特征的图像特征与联合文本特征融合进行情感分类；可以发现图像与其文本描述之间的复杂关联关系。之间的复杂关联关系。之间的复杂关联关系。

【技术实现步骤摘要】
基于多粒度特征注意力融合的图文情感分析方法及系统


[0001]本专利技术属于情感分析
，具体涉及一种基于多粒度特征注意力融合的图文情感分析方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]社交媒体已经成为我们进行信息交流的重要平台。在大数据时代，每秒钟，数十亿捕捉我们周围发生的各种事件的图像和文本被传到世界各地的社交媒体平台上。这些以图像和文本形式组成的多模态数据蕴含着丰富的信息，对这些多模态数据进行情感分析在对用户行为的分析和预测有着重要的意义。比如一些实际的应用，个性化推荐、股票预测、医疗保健。
[0004]目前研究在进行图文数据的情感分析过程中，既考虑了图片数据和文本数据，但是这些研究都没有考虑到图片和文本的内在联系，通常缺乏多粒度的架构来处理多模态数据内容的交互。

技术实现思路

[0005]为了解决上述问题，本专利技术提出了一种基于多粒度特征注意力融合的图文情感分析方法及系统，本专利技术提出了用于多模态情感分析的多粒度注意力模型来发现图像与其文本描述之间的复杂关联关系，在交互式信息融合层利用不同粒度文本特征与图片特征进行交互融合可以更加全面的考虑到图片与文本之间不同粒度之间的关联关系。
[0006]根据一些实施例，本专利技术的第一方案提供了一种基于多粒度特征注意力融合的图文情感分析方法，采用如下技术方案：
[0007]一种基于多粒度特征注意力融合的图文情感分析方法，包括：
[0008]获取文本数据和图像数据并进行预处理；
[0009]基于预处理后的文本数据和图像数据，利用训练好的多粒度特征注意力融合网络进行图文情感分析；
[0010]其中，所述训练多粒度特征注意力融合网络的过程，具体为：
[0011]获取文本数据的多粒度文本特征和图像数据的图像特征；
[0012]将多粒度文本特征进行拼接获取多粒度联合文本特征；
[0013]将多粒度联合文本特征与图像特征进行交互学习，挖掘多粒度联合文本特征和图像特征之间的关联关系，得到带有文本注意力的图像特征；
[0014]将交互学习后的带有文本注意力的图像特征与多粒度联合文本特征融合进行情感分类。
[0015]进一步地，所述多粒度文本特征包括单词级别特征、短语级别特征以及句子级别特征。
[0016]进一步地，所述多粒度文本特征的获取过程，具体为：
[0017]利用词嵌入模型获取本文描述中的单词嵌入向量，即单词级别特征；
[0018]基于相邻三个单词组成的词语，采用卷积神经网络获取词语嵌入向量，即短语级别特征；
[0019]利用双向长短时记忆循环神经网络来获取带有上下文序列信息的向量表示，即句子级别特征。
[0020]进一步地，所述获取图像数据的图像特征，具体为：
[0021]对图像数据进行像素调整；
[0022]基于调整后的图像数据，利用预先训练好的残差网络ResNet
‑
152模型得到图像特征表示；
[0023]其中，利用预先训练好的残差网络ResNet
‑
152模型得到图像特征表示，具体为：
[0024]y＝ResNet(I)
[0025]其中，y为图像I的图像特征表示，其中n为特征矩阵图的个数， d
v
为特征矩阵的大小。
[0026]进一步地，所述将多粒度联合文本特征与图像特征进行交互学习，挖掘多粒度联合文本特征和图像特征之间的关联关系，得到带有文本注意力的图像特征，具体为：
[0027]将多粒度联合文本特征与图像特征映射到同一维度空间；
[0028]基于图像特征与多粒度联合文本特征相关性，将注意力权重分配给每个图像的区域特征；
[0029]由所有的区域特征以及其注意力分数加权，得到带有文本注意力的图像特征。
[0030]进一步地，所述将多粒度联合文本特征与图像特征映射到同一维度空间，如下：
[0031]t＝T
w
||T
p
||T
s
[0032]T＝tanh(W
t
t+b
t
)
[0033]v＝tanh(W
v
y+b
v
)
[0034]其中，多粒度联合文本特征t；图像特征v；为权重矩阵，b
t
，b
v
为偏移矩阵；T
w
是单词级别特征，T
p
是短语级别特征，T
s
是句子级别特征，T是映射到与图像特征同一维度的多粒度文本联合特征，y为图像I的图像特征表示。
[0035]进一步地，所述将图像特征基于与多粒度联合文本特征相关性将注意力权重分配给每个区域特征，具体为：
[0036]g＝tanh(T
T
W
v+
b)
[0037][0038]V＝∑vβ
[0039]其中，g为注意力打分函数，β为经过softmax处理的标准化注意力权重，带有注意力的图像特征由注意力权重与每个区域特征加权得到，V为多粒度文本特征引导注意力的图像特征。
[0040]根据一些实施例，本专利技术的第二方案提供了一种基于多粒度特征注意力融合的图文情感分析系统，采用如下技术方案：
[0041]一种基于多粒度特征注意力融合的图文情感分析系统，包括：
[0042]数据获取模块，被配置为获取文本数据和图像数据并进行预处理；
[0043]图文情感分析模块，被配置为基于预处理后的文本数据和图像数据，利用训练好的多粒度特征注意力融合网络进行图文情感分析；
[0044]其中，所述训练多粒度特征注意力融合网络的过程，具体为：
[0045]获取文本数据的多粒度文本特征和图像数据的图像特征；
[0046]将多粒度文本特征进行拼接获取多粒度联合文本特征；
[0047]将多粒度联合文本特征与图像特征进行交互学习，挖掘多粒度联合文本特征和图像特征之间的关联关系，得到带有多粒度联合文本特征的图像特征；
[0048]将交互学习后的带有多粒度联合文本特征的图像特征与多粒度联合文本特征融合进行情感分类。
[0049]根据一些实施例，本专利技术的第三方案提供了一种计算机可读存储介质。
[0050]一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于多粒度特征注意力融合的图文情感分析方法中的步骤。
[0051]根据一些实施例，本专利技术的第四方案提供了一种计算机设备。
[0052]一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于多粒度特征注意力融合的图文情感分析方法中的步骤。
[0053]与现有技术相比，本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多粒度特征注意力融合的图文情感分析方法，其特征在于，包括：获取文本数据和图像数据并进行预处理；基于预处理后的文本数据和图像数据，利用训练好的多粒度特征注意力融合网络进行图文情感分析；其中，所述训练多粒度特征注意力融合网络的过程，具体为：获取文本数据的多粒度文本特征和图像数据的图像特征；将多粒度文本特征进行拼接获取多粒度联合文本特征；将多粒度联合文本特征与图像特征进行交互学习，挖掘多粒度联合文本特征和图像特征之间的关联关系，得到带有文本注意力的图像特征；将交互学习后的带有文本注意力的图像特征与多粒度联合文本特征融合进行情感分类。2.如权利要求1所述的基于多粒度特征注意力融合的图文情感分析方法，其特征在于，所述多粒度文本特征包括单词级别特征、短语级别特征以及句子级别特征。3.如权利要求2所述的基于多粒度特征注意力融合的图文情感分析方法，其特征在于，所述多粒度文本特征的获取过程，具体为：利用词嵌入模型获取本文描述中的单词嵌入向量，即单词级别特征；基于相邻三个单词组成的词语，采用卷积神经网络获取词语嵌入向量，即短语级别特征；利用双向长短时记忆循环神经网络来获取带有上下文序列信息的向量表示，即句子级别特征。4.如权利要求1所述的基于多粒度特征注意力融合的图文情感分析方法，其特征在于，所述获取图像数据的图像特征，具体为：对图像数据进行像素调整；基于调整后的图像数据，利用预先训练好的残差网络ResNet
‑
152模型得到图像特征表示；其中，利用预先训练好的残差网络ResNet
‑
152模型得到图像特征表示，具体为：y＝ResNet(I)其中，y为图像I的图像特征表示，其中n为特征矩阵图的个数，d
v
为特征矩阵的大小。5.如权利要求1所述的基于多粒度特征注意力融合的图文情感分析方法，其特征在于，所述将多粒度联合文本特征与图像特征进行交互学习，挖掘多粒度联合文本特征和图像特征之间的关联关系，得到带有文本注意力的图像特征，具体为：将多粒度联合文本特征与图像特征映射到同一维度空间；基于图像特征与多粒度联合文本特征相关性，将注意力权重分配给每个图像的区域特征；由所有的区域特征以及其注意力分数加权，得到带有文本注意力的图像特征。6.如权利要求5所述的基于多粒度特征注意力融合的图文情感分析方法，其特征在于，所述将多粒度联合文本特征与图像特征映射到同一维度空间，如下：
...

【专利技术属性】
技术研发人员：孙涛，王书昂，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：