基于多视图门控融合网络的多模态方面级情感分析方法技术

本发明专利技术提供一种基于多视图门控融合网络的多模态方面级情感分析方法、系统、存储介质和电子设备，涉及方面级情感分析技术领域。本发明专利技术从不同视角看待多模态信息，能够有效扩充多模态数据的信息量，即使在多模态数据样本较少的情况下也能达到比较好的情感预测效果；基于动态门控自注意力模块，利用方面词信息表示构造了门控调节向量，并嵌入自注意力机制中，实现动态调整权重计算，达到有效过滤与方面词无关的噪声信息的作用，提高细粒度级特征的信息质量，有利于后期的特征融合；三视图分解高阶池化机制同时融合三种不同的视图特征，通过多次的膨胀、压缩阶段捕捉不同视图、不同模态特征之间复杂的相互作用，达到有效融合的效果。果。果。

【技术实现步骤摘要】
基于多视图门控融合网络的多模态方面级情感分析方法


[0001]本专利技术涉及方面级情感分析
，具体涉及一种基于多视图门控融合网络的多模态方面级情感分析方法、系统、存储介质和电子设备。

技术介绍

[0002]随着新一轮的产业革命和技术创新，新能源汽车和智能网联汽车已然成为世界汽车产业的主要发展方向，而抓住新能源汽车这一重大发展机遇，也会为我国解决道路拥挤、排放污染、交通安全等社会问题提供有利帮助。在关于新能源汽车使用情况的用户体验和反馈中，用户生成内容(user
‑
generated content，UGC；如在线评论、社交博客等)作为获取产品市场反应的主要途径，会随着消费者的积累而不断丰富，其所包含的情感偏向为挖掘用户需求、了解用户偏好、把握产品优劣、促进产品升级提供了可靠的数据支撑，因此不论从客户角度还是生产企业角度，分析用户生成内容的情感偏好都有非常重要的意义。
[0003]目前针对用户生成内容的情感分析方法有篇章级、句子级、方面级三种粒度级别，篇章级和句子级的情感分析只能全面判断整个文本的情感走向，而方面级情感分析能够根据文本中不同的方面词进行单独的情感判断，分析更加深入，更加符合真实的情感思考逻辑。同时，得益于多媒体技术的进步，用户生成内容正在向多模态形式转变，其中不仅包含了文本数据，还包含如图像等其他模态数据。用户生成内容中的不同模态数据相互关联，包含了更多信息价值，有必要进行充分挖掘。然而目前针对多模态方面级情感分析的技术研究还比较少，如何有效利用多模态数据特征，建立方面级情感分析模型成为一个亟待解决的问题。专利CN115293170A(申请名称：一种基于协同注意力融合的方面级多模态情感分析方法[3]，申请人：桂林电子科技大学，申请日：2022.08.12)利用注意力机制生成方面引导的全局文本特征表示和方面引导的全局图像特征表示，跨模态特征交互机制来同时生成融入视觉的局部文本特征表示和融入文本的局部视觉特征表示，最后构建门控的多模态融合机制，有效地捕获模态内的全局语义关联和模态间的局部语义对齐。
[0004]然而，上述方案没有充分考虑到多模态数据中可能都会存在与给定方面词无关的噪声信息。一般噪声信息包含两类：一是与方面词本身无关的、无实义的文本或图像中信息；二是当单个数据样本中存在包含多个方面词时，每个方面词指向的情感极性可能有所不同，这样使得对于方面词A有用的信息可能对方面词B而言就会变成噪声，这两类噪声信息没有在特征表示的阶段就进行过滤，参与到模态交互融合中时，就会极大干扰模型对该方面词情感极性的判断。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种基于多视图门控融合网络的多模态方面级情感分析方法、系统、存储介质和电子设备，解决了考虑到多模态数据中存在与给定方面词无关的噪声信息的技术问题。
[0007](二)技术方案
[0008]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0009]一种基于多视图门控融合网络的多模态方面级情感分析方法，所述多视图门控融合网络包括输入层、多视图特征提取层、特征融合层以及输出层；所述多模态方面级情感分析方法包括：
[0010]S1、获取图文多模态数据集，所述图文多模态数据集包括一个文本评论、一组关联图像和一个方面词序列，其中所述方面词序列为文本评论的子序列；
[0011]S2、在输入层，分别对所述文本评论、关联图像和方面词序列进行编码，对应获取上下文词嵌入矩阵、图像嵌入矩阵和方面词嵌入矩阵；以及获取句子级特征和图像整体特征；
[0012]并根据所述文本评论，获取表示句法依存关系的邻接矩阵；
[0013]S3、在多视图特征提取层，根据所述上下文词嵌入矩阵，获取考虑上下文语境的方面词特征，结合所述句子级特征和图像整体特征，对应获取上下文语境感知的文本全局视图特征和图像全局视图特征；
[0014]以及根据所述方面词嵌入矩阵，基于动态门控自注意力模块分别对所述上下文词嵌入矩阵和图像嵌入矩阵进行噪声过滤，获取文本语序视图特征和图像区域视图特征；以及结合所述邻接矩阵，获取文本句法视图特征；
[0015]S4、在特征融合层，融合所述文本全局视图特征、图像全局视图特征、文本语序视图特征、文本句法视图特征和图像区域视图特征，获取最终融合特征；
[0016]S5、在输出层，根据所述最终融合特征，获取方面级情感类别的预测结果。
[0017]优选的，所述S2中采用BERT模型编码文本评论和方面词序列，采用ResNet50模型编码关联图像；和/或采用spacy工具获取邻接矩阵A；
[0018]其中，所述BERT模型输出单词级的上下文词嵌入矩阵H
S
、方面词嵌入矩阵H
A
；所述ResNet50模型倒数第二层输出的特征信息再经过降维获取图像嵌入矩阵H
I
；
[0019]以及将所述BERT模型的[CLS]特征信息作为句子级特征所述ResNet50模型最后一层输出的特征信息再经过降维获取图像整体特征
[0020]优选的，所述S3中文本全局视图特征和图像全局视图特征的获取过程包括：
[0021]根据所述方面词序列的长度及其在评论文本中的位置，提取所述上下文词嵌入矩阵中的相应子序列
[0022]平均池化所述相应子序列，获取方面词特征；
[0023][0024]其中，表示方面词特征；n表示方面词索引；表示H
S
中第k+n个单词，k表示方面词序列起始位置的前一个单词序号；r指方面词序列的长度；
[0025]将所述句子级特征与方面词特征相加后经自注意力机制获取的特征向量作为文本全局视图特征；
[0026][0027]其中，表示文本全局视图特征；Attention(
·
)为注意力机制；
[0028]将所述图像整体特征与方面词特征相加后经自注意力机制获取的特征向量作为图像全局视图特征；
[0029][0030]其中，表示图像全局视图特征。
[0031]优选的，所述S3中文本语序视图特征、图像区域视图特征和文本句法视图特征的获取过程包括：
[0032]根据所述方面词嵌入矩阵，构造门控调节向量；
[0033]G
A
＝exp and(σ(W
G
×
AvgPool(H
A
)+b
G
))
ꢀꢀ
(4)
[0034]其中，G
A
表示门控调节向量；expand(
·
)为沿length维扩展特征向量维度；σ(
·
)为Sigmoid激活函数；AvgPool(
·
)为平均池化操作；W
G
与b
G
均为可训练参数；
[0035]将所述门控调节向量嵌入动态门控自注意力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视图门控融合网络的多模态方面级情感分析方法，其特征在于，所述多视图门控融合网络包括输入层、多视图特征提取层、特征融合层以及输出层；所述多模态方面级情感分析方法包括：S1、获取图文多模态数据集，所述图文多模态数据集包括一个文本评论、一组关联图像和一个方面词序列，其中所述方面词序列为文本评论的子序列；S2、在输入层，分别对所述文本评论、关联图像和方面词序列进行编码，对应获取上下文词嵌入矩阵、图像嵌入矩阵和方面词嵌入矩阵；以及获取句子级特征和图像整体特征；并根据所述文本评论，获取表示句法依存关系的邻接矩阵；S3、在多视图特征提取层，根据所述上下文词嵌入矩阵，获取考虑上下文语境的方面词特征，结合所述句子级特征和图像整体特征，对应获取上下文语境感知的文本全局视图特征和图像全局视图特征；以及根据所述方面词嵌入矩阵，基于动态门控自注意力模块分别对所述上下文词嵌入矩阵和图像嵌入矩阵进行噪声过滤，获取文本语序视图特征和图像区域视图特征；以及结合所述邻接矩阵，获取文本句法视图特征；S4、在特征融合层，融合所述文本全局视图特征、图像全局视图特征、文本语序视图特征、文本句法视图特征和图像区域视图特征，获取最终融合特征；S5、在输出层，根据所述最终融合特征，获取方面级情感类别的预测结果。2.如权利要求1所述的多模态方面级情感分析方法，其特征在于，所述S2中采用BERT模型编码文本评论和方面词序列，采用ResNet50模型编码关联图像；和/或采用spacy工具获取邻接矩阵A；其中，所述BERT模型输出单词级的上下文词嵌入矩阵H
S
、方面词嵌入矩阵H
A
；所述ResNet50模型倒数第二层输出的特征信息再经过降维获取图像嵌入矩阵H
I
；以及将所述BERT模型的[CLS]特征信息作为句子级特征所述ResNet50模型最后一层输出的特征信息再经过降维获取图像整体特征3.如权利要求2所述的多模态方面级情感分析方法，其特征在于，所述S3中文本全局视图特征和图像全局视图特征的获取过程包括：根据所述方面词序列的长度及其在评论文本中的位置，提取所述上下文词嵌入矩阵中的相应子序列平均池化所述相应子序列，获取方面词特征；其中，表示方面词特征；n表示方面词索引；表示H
S
中第k+n个单词，k表示方面词序列起始位置的前一个单词序号；r指方面词序列的长度；将所述句子级特征与方面词特征相加后经自注意力机制获取的特征向量作为文本全局视图特征；其中，表示文本全局视图特征；Attention(
·
)为自注意力机制；
将所述图像整体特征与方面词特征相加后经自注意力机制获取的特征向量作为图像全局视图特征；其中，表示图像全局视图特征。4.如权利要求3所述的多模态方面级情感分析方法，其特征在于，所述S3中文本语序视图特征、图像区域视图特征和文本句法视图特征的获取过程包括：根据所述方面词嵌入矩阵，构造门控调节向量；G
A
＝xpand(σ(W
G
×
AvgPool(
A
)+
G
))(4)其中，G
A
表示门控调节向量；expand(
·
)为沿length维扩展特征向量维度；σ(
·
)为Sigmoid激活函数；AvgPool(
·
)为平均池化操作；W
G
与b
G
均为可训练参数；将所述门控调节向量嵌入动态门控自注意力模块的多头自注意力机制中，动态调控Key
‑
Query对之间的注意力权重计算过程，进行噪声过滤，获取方面词敏感的文本和图像特征表示H
SA
和H
IA
；将所述方面词敏感的文本特征表示经Bi
‑
LSTM，获取所述文本语序视图特征；LSTM，获取所述文本语序视图特征；其中，View
Seq
表示文本语序视图特征；表示H
SA
中的节点向量；分别表示前向LSTM网络、后向LSTM网络；将所述方面词敏感的文本特征表示经L层GCN，结合所述邻接矩阵，获取所述文本句法视图特征；视图特征；其中，View
Sny
表示文本句法视图特征；表示View
Sny
中的节点向量；ReLU(
·
)为ReLU激活函数；A表示邻接矩阵；W
C
为可训练参数；表示A的度矩阵；对所述方面词敏感的图像特征表示执行归一化调整特征分布，获取所述图像区域视图特征；View
Reg
＝orm(H
IA
)(9)其中，View
Reg
表示图像区域视图特征；Norm(
·
)表示归一化操作。5.如权利要求4所述的多模态方面级情感分析方法，其特征在于，所述方面词敏感的文本和图像特征表示的获取过程包括：将所述上下...

【专利技术属性】
技术研发人员：杨颖，钱馨雨，费韫安，毛心雨，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：