一种融合常识知识的文档级图文评论情感分类方法技术

本发明专利技术属于人工智能、计算机视觉、自然语言处理等领域，一种融合常识知识的文档级图文评论情感分类方法，首先将从互联网收集到的评论数据抽象为结构化数据，完成中文分词、图像归一化等数据预处理工作后依次通过单模态情感特征表示学习和多模态情感特征融合得到评论数据的特征表示，最后将融合特征输入分类器或直接采用多层感知机得到情感概率分布。本发明专利技术方法一方面通过融合常识知识加强了文本语义理解，另一方面引入相关的图像信息辅助提升文本情感表达，能有效提升情感分类的准确率。能有效提升情感分类的准确率。能有效提升情感分类的准确率。

【技术实现步骤摘要】
一种融合常识知识的文档级图文评论情感分类方法


[0001]本专利技术属于人工智能、计算机视觉、自然语言处理等领域，主要涉及深度学习技术，特别提出一种融合常识知识的文档级图文评论情感分类方法。

技术介绍

[0002]随着互联网的发展和智能终端设备的普及，网络媒体作为一种新的信息传播形式深入人们的日常生活。人们在媒体平台表达观点、传播思想，针对各类商品、虚拟产品或者线上线下商家的服务发表评价，参与讨论。网络用户不仅仅是内容的浏览者也是创造者，庞大的在线用户群体即时地上传关于电商产品、酒店、餐饮等不同服务领域的评论。随着移动设备和媒介平台的不断进步，评论内容从原本单一的文字描述，转向包含图片、视频以及评分等的多模态、多形式的综合评价体系，这样的评论内容更加直观且具有说服力。研究表明，与仅包含文本或仅包含图片的单模态评论相比，图文结合的多模态评论能够更好地进行在线评论有用性预测。因此，为了充分发挥用户生成内容潜在价值，通过多模态情感分析技术，可以有效挖掘在线图文评论数据的情感表达以指导进一步的商业分析和决策。
[0003]虽然多模态数据包含了更加丰富的情感信息，但不同模态类型的数据对整体的情感表达发挥着不同的作用。一方面，每一种模态在情感表达上有其独有的特征；另一方面，不同模态特征之间进行交互能弥补单模态数据情感信息的缺失，进一步提升情感识别准确率。评论数据主要依靠文本信息来传达情感，因此在单模态建模中加强文本的情感语义理解十分重要；而文本和对应图片一般围绕相同情感主题，具有一定的情感语义关联性，因此两模态在特定的情感特征空间当中具有一致性，可以进行相似性度量。因此面向文档级图文评论数据，亟待解决的两个关键问题在于：如何提高文本数据质量，对其进行更深层次的特征表示学习；如何学习图像和文本之间的关联信息和互补信息，建立更有效的模态融合机制。

技术实现思路

[0004]为解决上述问题，本专利技术提供一种融合常识知识的文档级图文评论情感分类方法。通过将文本内容与相关背景知识相结合，对发生的事情和原因构建一个连贯的表示，可以获得更好的文本特征表示。对于附加的图像，考虑其与文本的语义相关性，将与评论内容高度相关的图像作为补充特征。与现有技术相比，能有效提升文档级图文评论情感分类的准确率。
[0005]本专利技术所采用的技术方案是：一种融合常识知识的文档级图文评论情感分类方法，包括下述步骤：
[0006]S1、从目标(涉及酒店、餐厅或其他产品)评论网站获取带有文本和图片的原始评论数据，对文本和图片的原始评论数据进行预处理，获得文本和图片的预处理评论数据，然后对文本和图片的预处理评论数据进行初步的特征提取，得到词级文本特征和全局视觉特征；
[0007]S2、将文本的预处理评论数据输入ATOMIC
‑
COMET语言模型，ATOMIC
‑
COMET语言模型对文本的预处理评论数据中包含的事件进行常识推理，得到常识知识特征；
[0008]S3、将词级文本特征输入序列型神经网络Bi
‑
GRU中，得到上下文增强的句子级文本特征，将句子级文本特征与常识知识特征一起输入常识知识融合层，得到句子级的文本情感特征；
[0009]S4、将全局视觉特征与句子级的文本情感特征输入多模态信息交互层，学习模态间细粒度的相关性，得到句子级图文相关的细粒度融合特征；
[0010]S5、由句子级的文本情感特征和句子级图文相关的细粒度融合特征分别聚合得到两个通道的文档级特征，由门控机制融合两个通道的文档级特征后，得到最终文档级的特征表示，使用多层感知机计算最终文档级的特征表示的情感类别的概率分布，选择其中概率值最高的类别作为最终分类结果。
[0011]作为一种优选方式：步骤S1中所述的对文本和图像的原始评论数据进行预处理是指，对文本的评论数据进行分句、分词、去停用词的处理，和将图像的原始评论数据中所有图像转换为大小为224
×
224的RGB图像的处理。
[0012]作为一种优选方式：步骤S1中所述的对文本和图像的预处理评论数据进行初步的特征提取是指，采用预训练的GloVe模型提取文本特征，得到词级文本特征，采用预训练的VGG
‑
16框架对图片的预处理评论数据提取得到全局视觉特征。
[0013]作为一种优选方式：步骤S2中所述的ATOMIC
‑
COMET语言模型来源于ATOMIC中的知识三元组预训练的ATOMIC
‑
COMET模型。
[0014]作为一种优选方式：步骤S2中进行常识推理是指，进行当事人意图(xIntent)、当事人情感反应(xReact)、其他人的情感反应(oReact)的三种常识推理；步骤S2中得到常识知识特征是指得到当事人意图、当事人情感反应、其他人的情感反应三种常识知识特征。
[0015]为了提取到有效的常识知识特征，采用基于常识库的语言模型ATOMIC
‑
COMET进行常识推理。考虑到评论者的意图以及其自身和浏览者的情绪反应，能为情感分类提供额外的监督信号，因此选择九种推理条件中的与心理状态相关的三种，即当事人意图(xIntent)，当事人情感反应(xReact)和其他人情感反应(oReact)。以此从S1中每句文本评论数据中常识推理出表示当事人意图(xIntent)，当事人情感反应(xReact)和其他人的情感反应(oReact)的三种常识知识特征。
[0016]作为一种优选方式：步骤S3所述将词级文本特征输入序列型神经网络Bi
‑
GRU中，得到上下文增强的句子级文本特征，将句子级文本特征与常识知识特征一起输入常识知识融合层，得到句子级的文本情感特征包括以下步骤：
[0017]步骤1：依次采用词级和句子级两个层次的双向门控循环神经网络(Bi
‑
GRU)获得S3中上下文增强的句子级文本特征表示。Bi
‑
GRU接收输入向量ft，并输出一个新的隐藏状态向量：
[0018][0019][0020][0021]式中为当前词级或者句子级隐状态向量，为前一个词级或者句子级的隐状态向量，为后一个词级或者句子级的隐状态向量。()表示正相门，()表示反向门，BiG
‑
DRU(f
t
)表示双向门控循环神经网络函数。
[0022]通过词级的Bi
‑
GRU获得给定S1原始评论中第j个单词x
j
的单词向量然而单词对句子的含义并不带有同等的信息量，因此采用如下式的自注意力机制为更重要的单词赋予更大的权重，将一句话中的所有词向量聚合成一个句子向量：
[0023][0024][0025][0026]式中W
w
和b
w
是随机初始化的权重和偏置参数，是通过一层MLP输出的隐状态向量，u
w
是随机初始化的上下文词向量，α
j
是自注意力权重，s是根据权本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合常识知识的文档级图文评论情感分类方法，其特征在于：包括下述步骤：S1、从目标的评论网站获取带有文本和图片的原始评论数据，对文本和图片的原始评论数据进行预处理，获得文本和图片的预处理评论数据，然后对文本和图片的预处理评论数据进行初步的特征提取，得到词级文本特征和全局视觉特征；S2、将文本的预处理评论数据输入ATOMIC
‑
COMET语言模型，ATOMIC
‑
COMET语言模型对文本的预处理评论数据中包含的事件进行常识推理，得到常识知识特征；S3、将词级文本特征输入序列型神经网络Bi
‑
GRU中，得到上下文增强的句子级文本特征，将句子级文本特征与常识知识特征一起输入常识知识融合层，得到句子级的文本情感特征；S4、将全局视觉特征与句子级的文本情感特征输入多模态信息交互层，学习模态间细粒度的相关性，得到句子级图文相关的细粒度融合特征；S5、由句子级的文本情感特征和句子级图文相关的细粒度融合特征分别聚合得到两个通道的文档级特征，由门控机制融合两个通道的文档级特征后，得到最终文档级的特征表示，使用多层感知机计算最终文档级的特征表示的情感类别的概率分布，选择其中概率值最高的类别作为最终分类结果。2.根据权利要求1所述的一种融合常识知识的文档级图文评论情感分类方法，其特征在于：步骤S1中所述的对文本和图像的原始评论数据进行预处理是指，对文本的评论数据进行分句、分词、去停用词的处理，和将图像的原始评论数据中所有图像转换为大小为224
×
224的RGB图像的处理。3.根据权利要求1所述的一种融合常识知识的文档级图文评论情感分类方法，其特征在于：步骤S1中所述的对文本和图像的预处理评论数据进行初步的特征提取是指，采用预训练的GloVe模型提取文本特征，得到词级文本特征，采用预训练的VGG
‑
16框架对图片的预处理评论数据提取得到全局视觉特征。4.根据权利要求1所述的一种融合常识知识的文档级图文评论情感分类方法，其特征在于：步骤S2中所述的ATOMIC
‑
COMET语言模型来源于ATOMIC中的知识三元组预训练的ATOMIC
‑
COMET模型。5.根据权利要求1所述的一种融合常识知识的文档级图文评论情感分类方法，其特征在于：步骤S2中进行常识推理是指，进行当事人意图、当事人情感反应、其他人的情感反应的三种常识推理；步骤S2中得到常识知识特征是指得到当事人意图、当事人情感反应、其他人的情感反应三种常识知识特征。6.根据权利要求1所述的一种融合常识知识的文档级图文评论情感分类方法，其特征在于：步骤S3所述将词级文本特征输入序列型神经网络Bi
‑
GRU中，得到上下...

【专利技术属性】
技术研发人员：谢珺，王雨竹，高婧，胡勇，续欣莹，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：