一种基于双向交互神经网络的文本情感分析方法技术

本发明专利技术公开了一种基于双向交互神经网络的文本情感分析方法，包括以下步骤：搜集实体‑文本情感语料集，并将其分为训练集与测试集；对语料集中的实体和文本进行预处理；运用相对位置信息和全局词向量信息，构建词和句子表示；将训练语料集的实体和文本词向量输入到神经网络，训练出情感分类模型；将测试集实体和文本词向量输输入到神经网络模型中，从而计算出每个样本的预测概率；运用量子启发的多模态决策融合方法将文本预测概率和图像预测概率加权融合，最终得到更加准确且智能的多模态情感分类结果。

【技术实现步骤摘要】
一种基于双向交互神经网络的文本情感分析方法
本专利技术涉及文本情感分类
，具体讲，涉及一种基于双向交互神经网络的文本情感分析方法。
技术介绍
随着互联网和社交网络的迅速发展，越来越多的用户喜欢在社交平台上(如微博、点评、Facebook等)发表评论和分享自己的观点，成为用户日常生活中获取信息的主要来源之一。不同于单纯的文本情感分析，现在的社交媒体上出现的文本一般不单叙述一个事物，通常会变现为对一个或多个事物的评价，所以我们对文本的情感分析要做到分析具体针对某个实体情况下的情感极性，这使得我们可以知道一段文本描述的每个事物的情感是怎样的。因此，文本情感分析不仅具有重要的理论意义，而且蕴含巨大的社会价值。本专利技术主要研究社交平台中最普遍的实体文本情感，即实体-文本情感分析技术。情感分析，也称为意见挖掘，是自然语言处理(NLP)中的一项重要任务。它根据文本的情感状态和主观信息将文本分为两类或更多类，受到业界和学术界的广泛关注。在本专利技术中，我们讨论了实体-文本情感分析技术，这是文本情感分析领域的细粒度任务。例如，一段文本是“菜单看起来很好，除了提供智利海鲈鱼，但服务不提供在外面写在板上的特价。”。对于实体词“菜单”，情感极性为正，但对于实体词“服务”，极性为负，而对于“特价”，极性为中性。实体-文本分析旨在区分给定句子中每个特定实体的情感极性。工业界和学术界都意识到了实体与句子之间关系的重要性，并试图通过设计一系列注意力模型来建立他们之间的关系。然而，大多数现有方法通常忽略了位置信息对于识别实体的情感极性也是至关重要的事实。当一个实体出现在一个句子中时，其相邻的单词应该比其他距离更远的单词给予更多的关注。因此本专利技术关注到实体词与文本的位置信息关系，构建了一个可以利用位置信息的双向注意力交互神经网络模型来解决实体-文本情感分析问题。现在，基于注意力的神经网络模型已经被研究者们用来建模一些自然语言处理任务，并且已经非常成功。然而，目前的方法大部分只采用全局词向量信息，没有用到位置信息。
技术实现思路
本专利技术所要解决的技术问题是克服现有技术的不足而提供一种基于双向交互神经网络的文本情感分析方法，本专利技术是搭建一个基于社交平台的实体-文本情感语料集，分别构建文本和实体的词向量和相对位置信息，运用双向注意力神经网络模型训练文本情感分类模型，并利用反向传播、随机梯度下降优化方法训练网络模型得到最优模型在测试集上预测结果，最终得到更加准确的分类结果。本专利技术的目的是通过以下技术方案来实现的，包括如下步骤：(1)：构建一个实体-文本情感语料集，该语料集的总样本数为N，其中每条样本包含一段文本和一个实体词；(2)：从(1)的文本情感语料集中，随机选取80％*N个样本作为训练集，10％*N个样本划分为验证集和剩余的10％*N个样本划分为测试集，并分别对训练集、验证集和测试集进行预处理，去除每个文本的停留词、标点符号；(3)：对预处理之后的文本和实体词，根据实体词在文本中的位置构造文本中每个词的相对位置信息特征，并输入到一个双向交互的神经网络模型中，运用方法如下：3.1：根据实体词的位置构造文本中每个词的相对位置索引，假设一个实体词出现在句子中，那么它的位置索引将被标记为“0”，而句子中的其他词的位置索引将被表示为与当前实体词的相对距离：其中js和je分别代表实体词在句子中的起始和结束位置索引，pi可以被看作是句子中第i个词关于实体词的相对位置索引；3.2：运用glove工具得到每个文本中单词的词向量wi，同时建立一个位置信息的矩阵，每一个相对位置索引对应一个向量pi，在这一步我们得到文本中的每个词的表示xi＝concat(wi,pi)，以及实体词的表示ei＝wi。3.3：把文本的每个词的词向量连同它的相对位置信息向量按其在句子中的顺序输入到一个BiLSTM(双向长短期记忆)网络中，同时把实体词本身也输入到另一个BiLSTM网络中，其中LSTM具体计算公式如下：其中f代表遗忘门，i代表输入门，o代表输出门，σ代表sigmoid函数，W和b分别代表权重和偏置；双向的LSTM网络分为forward(前向)和backward(后向)，通过用上述的公式，输入每个词的表示xt(或实体词表示et)，分别得到前向和后向的网络隐层状态表示和最后我们拼接两个隐层状态表示以得到对于实体词，我们以相同的方式得到隐层状态表示3.4：根据上一步中得到的文本中每个词的网络隐层状态表示，和实体中每个词的网络隐层状态表示，计算基于双向注意力机制的交互信息，具体如下，3.41实体到文本的注意力计算：其中αij表示从实体中第i个词到句子中第j个词的注意力权重，W和b分别代表权重矩阵和偏置项；3.4文本到实体的注意力计算：其中γi表示从句子表示到实体中第i个词的注意力权重，代表文本句子隐层状态表示的平均池化；3.5：将最终的文本表示hR输入到一个非线性全连接神经网络层得到神经网络表示向量x，再将表示x输入到softmax分类层输出最终的类别y：x＝tanh(WRhR+bR)y＝softmax(Wsx+bs)(4)：定义(3)中的神经网络模型损失函数为：其中yi代表真是类别标签，代表预测结果，λ代表正则化系数，θ代表模型中所有的参数；(5)：在训练集上训练模型，每间隔一定批次，在验证集上进行验证模型效果，记录保存在验证集上效果达到最优时的模型参数。(6)：用上一步中保存的最优的模型去测试测试集上的样本，最终得到每个测试样本的预测结果，对比测试标签，计算出分类准确率。本专利技术的有益效果是：(1)搭建一个有效的实体文本情感语料集，克服了当前实体文本情感情感语料集匮乏的困境。(2)利用实体词与文本的相对位置信息为特征，发展出一套基于位置信息的双向交互神经网络模型框架，进行情感分类任务。(3)本专利技术克服了实体-文本情感语料集相对缺乏的现状，能够更充分的提取文本和实体的特征信息，融合实体和文本的位置信息与全局词向量信息，并运用双向的注意力交互增强文本表示，从而使得神经网络模型有较强的判别能力，为发展未来人工智能系统及实体-文本情感分析系统提供了新思路。附图说明图1为本专利技术的方法流程图。图2为双向注意力交互神经网络模型图。图3为不同分类算法的ROC曲线实验对比结果。具体实施方式下面结合附图进一步详细描述本专利技术的技术方案，但本专利技术的保护范围不局限于以下所述。图1显示了本方法提出的实体-文本情感分析方法的流程；图2显示了本专利技术设计的神经网络模型；图3显示了最终不同算法之间的情感分类的对比结果。具体步骤如下：(1)：基于著名的情感词典SentiWordNet，选取127个蕴含正情感和负情感的关键词，构成情感词表，其中正情感词数是62，如happy(开心)、smiling(微笑)等，负情感词数65，如sad(悲伤)、murder(谋杀)等。(2)：基于Flickr平台采集数据，建立多模态数据集，方法如下：第一步：用这些情感词分别查询Flickr，运用beautifulsoup工具，在Flickr社交平台检索出的文本中，用相应情感词的极性标注检索的实体-文本对的极性，收集并构建实体-文本情感语料集，该语料集的总样本数为99000，包含99000个实体和一一对应的99000个句子，其中正情本文档来自技高网...

【技术保护点】
1.一种基于双向交互神经网络的文本情感分析方法，其特征在于：它包括如下步骤：(1)：构建一个实体‑文本情感语料集，该语料集的总样本数为N，其中每条样本包含一段文本和一个实体词；(2)：从(1)的实体‑文本情感语料集中，随机选取80％*N个样本作为训练集，10％*N个样本划分为验证集和剩余的10％*N个样本划分为测试集，并分别对训练集、验证集和测试集进行预处理；(3)：对预处理之后的文本和实体词，构建神经网络模型框架；根据实体词在文本中的位置构造文本中每个词的相对位置信息特征，并输入到一个双向交互的神经网络模型中；运用方法如下：3.1：根据实体词的位置构造文本中每个词的相对位置索引，假设一个实体词出现在句子中，那么它的位置索引将被标记为“0”，而句子中的其他词的位置索引将被表示为与当前实体词的相对距离；

【技术特征摘要】
1.一种基于双向交互神经网络的文本情感分析方法，其特征在于：它包括如下步骤：(1)：构建一个实体-文本情感语料集，该语料集的总样本数为N，其中每条样本包含一段文本和一个实体词；(2)：从(1)的实体-文本情感语料集中，随机选取80％*N个样本作为训练集，10％*N个样本划分为验证集和剩余的10％*N个样本划分为测试集，并分别对训练集、验证集和测试集进行预处理；(3)：对预处理之后的文本和实体词，构建神经网络模型框架；根据实体词在文本中的位置构造文本中每个词的相对位置信息特征，并输入到一个双向交互的神经网络模型中；运用方法如下：3.1：根据实体词的位置构造文本中每个词的相对位置索引，假设一个实体词出现在句子中，那么它的位置索引将被标记为“0”，而句子中的其他词的位置索引将被表示为与当前实体词的相对距离；其中js和je分别代表实体词在句子中的起始和结束位置索引，pi可以被看作是句子中第i个词关于实体词的相对位置索引；3.2：运用glove工具得到每个文本中单词的词向量wi，同时建立一个位置信息的矩阵，每一个相对位置索引对应一个向量pi；所述文本中的每个词的表示xi＝concat(wi,pi)，以及实体词的表示ei＝wi；3.3本的每个词的词向量连同它的相对位置信息向量按其在句子中的顺序输入到一个双向长短期记忆网络中，同时把实体词本身也输入到另一个双向长短期记忆网络网络中；其中，f代表遗忘门，i代表输入门，o代表输出门，σ代表sigmoid函数，W和b分别代表权重和偏置；其中，双向的LSTM网络分为for...

【专利技术属性】
技术研发人员：张立鹏，顾淑琴，张鹏，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12