一种基于异构图卷积的多模态评论情感分析方法及系统技术方案

本发明专利技术涉及一种基于异构图卷积的多模态评论情感分析方法，包括以下步骤：步骤A：收集用户评论和相关图像，提取用户评论中涉及的产品或服务的方面词，并标注用户评论针对该产品或服务的特定方面的情感极性，以此来构建训练集DB；步骤B：使用训练集DB，训练基于知识图谱与异构图卷积网络的深度学习网络模型DLM，用于分析用户评论和相关图像对产品或服务的特定方面的情感极性；步骤C：将用户评论和相关图像与所涉及的产品或服务的方面词输入到训练好的深度学习网络模型中，获得用户评论和相关图像针对该产品或服务中的特定方面的情感极性。该方法及系统有利于提高情感分类的准确性。性。性。

【技术实现步骤摘要】
一种基于异构图卷积的多模态评论情感分析方法及系统


[0001]本专利技术属于自然语言处理领域，具体涉及一种基于异构图卷积的多模态评论情感分析方法及系统。

技术介绍

[0002]情感分析(Sentiment Analysis，SA)，也称为意见挖掘，是自然语言处理(NLP)领域的一项基本任务。该任务的基本目标是挖掘所给文本中的情感信息并分析其情感极性。然而，面对不断增长的评论文本数据，仅靠人工的方法根本无法完成网络上海量信息的收集和分析任务，因此科研机构对情感分析技术日益重视。该任务按不同分类粒度分为文档级情感分析、句子级情感分析和方面级情感分析。早期情感分析的研究主要集中于文档级(Documentation
‑
level)和句子级(Sentence
‑
level)，即假定文档或句子中仅针对一个实体(entitv)表达情感。虽然文档级和句子级任务在情感分析领域被广泛研究，但由于这两项任务自身的局限性，传统的文档级或句子级情感分析模型只能对整个文档或句子进行分析识别其情感极性。在实际应用中无法满足需求。随着互联网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异构图卷积的多模态评论情感分析方法，其特征在于，包括以下步骤：步骤A：收集用户评论和相关图像，提取用户评论中涉及的产品或服务的方面词，并标注用户评论针对该产品或服务的特定方面的情感极性，以此来构建训练集DB；步骤B：使用训练集DB，训练基于知识图谱与异构图卷积网络的深度学习网络模型DLM，用于分析用户评论和相关图像对产品或服务的特定方面的情感极性；步骤C：将用户评论和相关图像与所涉及的产品或服务的方面词输入到训练好的深度学习网络模型中，获得用户评论和相关图像针对该产品或服务中的特定方面的情感极性。2.根据权利要求1所述的一种基于异构图卷积的多模态评论情感分析方法，其特征在于，所述步骤B具体包括以下步骤：步骤B1：对训练集DB中的每个训练样本进行编码，得到评论的语义表征向量X
r
、方面的语义表征向量X
a
、句法依存邻接矩阵A
r
以及图像区域表征向量X
im
；步骤B2：根据动态知识选择机制从知识图谱中选择与评论上下文相关的知识三元组的集合Set
skt
，然后对其知识词语进行编码，得到集合Set
skt
的知识词语表征向量X
kg
；步骤B3：通过对方面的语义表征向量X
a
和图像区域表征向量X
im
使用交互注意力机制获得方面相关的图像区域表征向量X
air
；通过图像标签选择机制获取与评论上下文相关的标签t元组的集合Set
sit
；步骤B4：对X
a
进行平均池化得到方面平均表征向量对X
r
进行位置编码，得到位置加强的评论表征向量X
pw
，通过连接X
pw
和得到表征向量C
sd，O
；根据文本
‑
知识
‑
图像异构构图策略利用生成文本
‑
知识
‑
图像异构图TKIHG，得到其邻接矩阵A
hg
，然后对其节点利用跨模态注意力机制进行编码，得到异构图TKIHG的节点表征向量C
hg，0
；步骤B5：将表征向量C
sd，0
和异构图TKIHG的节点表征向量C
hg，0
分别输入到两个不同的L层图卷积网络中，分别记为评论文本图卷积网络RGCN和文本
‑
知识
‑
图像异构图卷积网络HGCN，分别学习并提取句法依存关系和上下文语义、图像标签与外部知识的异构信息，得到文本图卷积表征向量C
sd，L
和异构图卷积表征向量C
hg，L
；步骤B6：对文本图卷积表征向量C
sd，L
进行方面屏蔽操作，得到评论的文本图卷积屏蔽表征向量C
mask，L
，再和评论的语义表征向量X
r
使用交互注意力机制，进一步用聚合句法信息的方面信息增强上下文表示，得到评论r的方面增强表征向量X
ea
；步骤B7：将异构图卷积表征向量C
hg，L
分别与评论r的方面增强表征向量X
ea
和方面相关的图像区域表征向量X
air
使用跨模态注意力机制，进一步利用图像标签和外部知识等异构信息来增强学习文本模态和图像模态的情感特征，得到异构增强的文本表征向量X
hm
和图像表征向量X
hair
，最后连接X
hm
和X
hair
得到最终表征向量X
fin
；步骤B8：将最终表征向量X
fin
输入最终预测层，根据目标损失函数loss，利用反向传播方法计算深度学习网络模型中各参数的梯度，并利用随机梯度下降方法更新各参数；步骤B9：当深度学习网络模型产生的损失值迭代变化小于所给定阈值、或者达到最大迭代次数，则终止深度学习网络模型的训练过程。3.根据权利要求2所述的一种基于异构图卷积的多模态评论情感分析方法，其特征在于，所述步骤B1具体包括以下步骤：步骤B11：对训练集DB进行遍历，对其中的用户评论和方面进行分词处理并去除停用
词，并将与评论相关的图像调整为一个像素为3
×
224
×
224的图像，DB中的每个训练样本表示为d＝(r，im，a，p)；其中，r为用户评论，im是经过调整后的与其相关的图像，a为用户评论r中提取的用户评论所涉及的产品或服务的方面词或短语，p∈(积极，消极，中性)为评论对该方面的情感极性；评论r表示为：其中，为评论r中的第i个词，i＝1，2，
…
，n，n为评论r的词语数量；方面a表示为：其中，为方面a中的第i个词，i＝1，2，
…
，m，m为方面a的词语数量；步骤B12：对步骤B11得到评论使用预训练模型BERT进行编码并用全连接层降维，得到评论r的语义表征向量X
r
，表示为：其中，为评论第i个词所对应的语义表征向量，d表示输出维度；步骤B13：对步骤B11得到方面使用预训练模型BERT进行编码并用全连接层降维，得到方面a的语义表征向量X
a
，表示为：其中，表示方面第i个词所对应的词向量，d表示输出维度；步骤B14：对调整后的图像使用预训练模型ResNet
‑
152进行编码并平滑化，经过全连接层降维后得到图像区域表征向量其中z表示输出的特征图大小，d表示输出维度；步骤B15：对评论r进行句法依存解析，得到句法依赖树SDT；其中，表示评论中的词和词之间存在句法依存关系；步骤B16：将步骤B15得到的句法依赖树SDT编码为一个n阶邻接矩阵A
r
，A
r
表示为：其中，为1表示评论中的词和词之间存在句法依存关系，为0表示词和词之间不存在句法依存关系。4.根据权利要求3所述的一种基于异构图卷积的多模态评论情感分析方法，其特征在于，所述步骤B2具体包括以下步骤：
步骤B21：从步骤B15得到的句法依赖树SDT中选择与方面词有边连接的上下文词，将其与方面a组成长度为m
′
的种子节点集Set
sn
，表示为：其中，是方面词或者其有边连接的上下文词，m≤m
′
≤n；步骤B22：对于种子节点集中的每一个节点，从知识图谱中选取它的情感极性词和5个与其语义相似的词语分别来组成该种子节点的5个候选知识三元组CKT，表示为：CKT＝<w
sn
，w
sp
，w
ss
>其中，w
sn
是种子节点词，w
sp
是情感极性词，w
ss
是语义相似词；步骤B23：将每个候选知识三元组CKT构造成一个候选知识句子r
cks
，并输入预训练模型BERT并取平均值后得到其平均语义表征向量X
cks
；r
cks
表示为：r
cks
＝“词语
‘
w
sn
’
的情感极性是
′
w
sp
’
，与其语义最相似的词是
‘
w
ss
”’
步骤B24：将评论的语义表征向量X
r
取平均值后得到其平均语义表征向量X
rm
，然后计算X
rm
和X
cks
之间余弦相似度，得到评论文本r和候选知识句子r
cks
的相似度分数，计算过程如下：Similarity_Score(r，r
cks
)＝CosineSimilarity(X
rm
，X
cks
)其中，步骤B25：根据步骤B24计算所有候选知识三元组CKT所构造成的候选知识句子的相似度分数，并选出分数最高的前k个候选知识句子的原始候选知识三元组组成该种子节点的知识三元组集，作为该种子节点的与上下文语境最相关的外部知识；步骤B26：对种子节点集Set
sn
里的所有种子节点重复上述步骤，得到一个包含所有种子节点的知识三元组集的集合Set
skt
，表示为：其中，为第i个种子节点向知识三元组集；步骤B27：通过知识图谱嵌入对知识三元组的集合Set
skt
的所有情感极性词和语义相似词进行编码，得到其节点表征向量为其中，为第i个情感极性词或语义相似词所对应的知识表征向量，通过在预训练的知识词向量矩阵中查找得到，其中d表示知识词向量的维度，|V|是知识词嵌入V中的词语数。5.根据权利要求4所述的一种基于异构图卷积的多模态评论情感分析方法，其特征在于，所述步骤B3具体包括以下步骤：步骤B31：对方面的语义表征向量X
a
和图像区域表征向量X
im
使用交互注意力机制获得方面相关的图像区域表征向量X
air
，X
air
的计算过程如下：
其中，(
·
)
T
表示转置操作；步骤B32：将图像im输入预训练模型ResNet
‑
152，得到10个相关的图像标签tag＝{tag1，
…
，tag
i
，
…
，tag
10
}，再将其和步骤21得到的种子节点集Set
sn
中每一个种子节点词分别输入预训练模型BERT，得到它们的语义表征向量和和其中，是种子节点的语义表征向量，是第i个图像标签tag
i
的语义表征向量；步骤B33：计算图像标签tag
i
的语义表征向量与种子节点的语义表征向量的余弦相似度，得到种子节点和图像标签tag
i
之间的相似度分数，计算过程如下：步骤B34：根据步骤B33分别计算种子节点和10个标签的相似度分数，并选出分数最高的前t个图像标签与种子节点共同组成标签t元组TT；表示为：步骤B35：对种子节点集Set
sn
里的所有种子节点重复上述步骤，得到一个包含所有种子节点的标签t元组的集合Set

【专利技术属性】
技术研发人员：陈羽中，万宇杰，
申请(专利权)人：福州大学，
类型：发明
国别省市：