一种基于有向无环图网络的方面级情感分类方法技术

本发明专利技术公开了一种基于有向无环图网络的方面级情感分类方法，其特点是该方法具体包括：提取文本特征表示、利用语法依存树编码得到双向有向无环图、融合单词情感知识的双向有向无环图、利用双向有向无环图神经网络编码带有语法依赖的文本表示、利用方面级掩膜机制的情感表示、融合掩膜后的高阶情感表示，得到高阶方面情感表示和应用线性变化，得到最终的情感分类等步骤。本发明专利技术与现有技术相比具有应对现实中复杂长句的情感分析，较好的解决了双向有向无环图神经网络在堆叠层数的时候产生明显过平滑问题，利用堆叠网络层，不断地迭代优化每个单词的表示，获得更高效情感传递，方法简便，效果好，具有良好的应用前景。具有良好的应用前景。具有良好的应用前景。

【技术实现步骤摘要】
一种基于有向无环图网络的方面级情感分类方法


[0001]本专利技术涉及自然语言处理领域，尤其是一种基于有向无环图网络的方面级情感分类方法。

技术介绍

[0002]随着当前数字技术的迅猛发展，网络上产生了大量有观点的材料。个体更容易发表对于产品、服务或者评价的几个方面表达意见的个人意见，而这些意见通常被认为对于广泛的应用场景来说是重要的，例如对产品评论的分析、对舆论导向的分析和个性化推荐。然而，大量的在线内容导致了学习这些评论具体方面的信息知识的繁琐过程。因此，基于方面的情感分析(ABSA)在自然语言处理(NLP)领域引起了越来越多的关注，它旨在寻找实用的、可扩展的解决方案来自动解决任务。其中，方面级情感分类是一个细粒度的情感分析任务，目的是为了预测给定的方面词的情感极性（积极、中性的、消极的）。
[0003]早期的研究主要利用机器学习算法来构建情感分类器，随着不同神经网络的发展，一系列基于利用神经网络的方法被提出并且取得了突出的效果。最近，基于图神经网络的方法取得更加优异的效果，利用图神经网络对于处理语句的语法依存树进行编码，提取句中语法依存关系，利用语法依存关系缩短方面词和句中的相应的情感词之间的距离，高效提取到方面词所对应的情感词，从而更好地预测方面词情感极性，但这种方法有以下几点问题：
[0004]真实世界中存在着大量复杂长句，对于这些句子而言，方面词和情感词之间的距离相距较远，即使利用语法依存关系缩短也可能存在着较长的距离。为了应对这种需要提取高阶联系的情况，需要堆叠图神经网络的层数来达到提取远距离高阶信息。由于图神经网络本身的特性，随着层数的堆叠，每个节点所能够感知的节点交集变大，每个节点的表征逐渐相似，过平滑问题变得明显，效果快速下降。因此，传统的以图卷积网络（GCN）和图注意力网络（GAT）为主导的图神经编码方法并不能很好因对这一问题。此外，外部情感知识被人们证明有助于语句情感感知，在方面级情感分类任务中没有被充分地利用到对于方面词情感的建模中。

技术实现思路

[0005]本专利技术的目的是针对现有技术的不足而提出的一种基于有向无环图网络的方面级情感分类方法，采用模拟树中双向的信息传输方法，构建一种有向无环图神经网络来传播有向无环图结构中各个节点的信息，模拟语法依存树中双向信息流动，利用从SenticNet的情感信息增强双向有向无环图的情感表达能力，先后输入自顶向下、自底向上有向无环图到该有向无环图神经网络中，进行单词之间的情感信息传输，最后利用方面掩膜突出方面词表达，利用基于检索的注意力机制从上下文进一步检索信息，输入线性变换，对于方面词的情感极性进行分类，有效提取高阶信息，能模拟语法依存树中的信息流动。双向有向无环图来编码语法依存树，模拟树中双向的信息传输方式，加入每个单词的情感知识，这种情
感增强的双向有向无环图结构以及依次的节点信息传递能够在堆叠较少层数的时候提取到高阶信息，可以应对现实中复杂长句的情感分析，较好的解决了双向有向无环图神经网络在堆叠层数的时候产生明显过平滑问题，可以利用堆叠网络层，不断地迭代优化每个单词的表示，获得更高效情感传递，方法简便，效果好，具有良好的应用前景。
[0006]本专利技术的目的是这样实现的：一种基于有向无环图网络的方面级情感分类方法，其特点是该方法首先用大规模预训练模型对于输入的句子进行表征处理，捕获句中的语义信息，输出该句子的嵌入矩阵；为了加入词和词之间的语法联系，我们将来源于语法解析器的语法依存树编码成双向有向无环图，来模拟句中双向的语法依存信息的传递过程，并加入每个单词本身所具有的情感信息；接着，将最终生成的双向有向无环图输入到后续的双向有向无环图网络中提取信息；然后，对于双向有向无环图网络最终层的输出进行方面掩膜，突出方面词的表达；最后，结合最初句子语义表达，利用注意力方法进行融合，并通过线性变换得到最终的得分，进行相应的分类。具体包括以下述步骤：
[0007]1）输入向量化后的单词矩阵到双向长短期记忆网络，提取文本特征表示，具体如下：
[0008]1.1：将所需要处理的语句输入到BERT预训练模型中得到每个单词的词向量，组合成词向量矩阵，提取句子中的语义信息。
[0009]1.2： 得到的词向量矩阵输入到一个双向长短期记忆网络（Long Short Term Memory, LSTM）进行序列建模，得到文本特征表示。
[0010]2) 利用解析得到的语法依存树编码得到双向有向无环图，具体如下：
[0011]2.1： 利用外部现存的语法解析器spaCy对于输入的语句进行处理，输出该句子的语法依存图。
[0012]2.2： 按照语法依存树结构进行编码
[0013]从依存树的根节点向下到每个叶节点进行邻接矩阵构建，得到自顶向下的有向无环图结构；其次按照从每个叶节点向上到达根节点的顺序进行编码，得到自底向上的有向无环图结构，两个有向无环图一同组成了双向有向无环图，具体如下：
[0014]2.2.1： 构建自顶向下的有向无环图来建模信息流自语法树根节点流向叶节点的过程，所有树中的子节点指向其父节点，根节点不指向其他节点，从而模拟低层节点接收高层节点信息。
[0015]2.2.2： 构建自底向上的有向无环图来建模信息流自语法树的各个叶节点流向根节点的过程，所有树中的父节点指向其叶节点，所有节点不指向其他节点，从而模拟高层节点接收低层节点信息。
[0016]3) 融合单词情感知识，得到情感知识增强的双向有向无环图。
[0017]4) 利用双向有向无环图神经网络编码带有语法依赖的文本表示，具体如下：
[0018]4.1： 利用带有情感的双向有向无环图和文本表征相乘，将相应的文本嵌入赋予相应的文本。
[0019]4.2： 构建一个能够编码有向无环图的神经网络，具体如下：
[0020]4.2.1： 利用图注意力网络（Graph Attention Network, GAT)对于当前层的每个节点，聚合和它直接相连的节点信息，得到本层该节点的全局情感信息。
[0021]4.2.2：节点信息单元：利用门控循环单元(GRU)结构让本层全局情感信息控制上
层该节点的情感表达对于本层的节点信息传播。
[0022]4.2.3：文本信息单元，利用门控循环单元(GRU)结构让上层该节点的情感表达控制本层全局连接信息对于本层的文本信息传播。
[0023]4.2.4： 混合表达，将本层节点信息表达和本层文本信息传播进行相加，得到该节点的混合表达，作为当前层该节点的情感表达。
[0024]4.3： 先后利用有向无环图神经网络编码自顶向下和自底向上的有向无环图，分别进行自顶向下和自底向上的情感信息传输。
[0025]5) 利用方面级掩膜机制，掩去非方面词的情感表示。
[0026]6) 利用注意力机制配合先前的文本表达，融合掩膜后的高阶情感表示，得到高阶方面情感表示。
[0027]7) 应用线性变化，得到最终的情感分类。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双向有向无环图的方面级情感分类方法，其特征在于，该方法包括以下步骤：1) 将向量化后的单词矩阵输入双向长短期记忆网络，提取文本特征表示；2) 利用解析得到的语法依存树编码得到双向有向无环图；3) 融合单词情感知识，得到情感知识增强的双向有向无环图；4) 利用双向有向无环图神经网络编码带有语法依赖的文本表示；5) 利用方面级掩膜机制，掩去非方面词的情感表示；6) 利用注意力机制配合先前的文本表达，融合掩膜后的高阶情感表示，得到高阶方面情感表示；7) 应用线性变化，得到最终的情感分类。2.根据权利要求1所述的一种基于双向有向无环图的方面级情感分类方法，其特征在于，所述步骤1)具体包括：1.1： 将所需要处理的语句输入到BERT预训练模型中得到每个单词的词向量，组合成词向量矩阵，提取句子中的语义信息；1.2： 将得到了词向量矩阵输入到一个双向长短期记忆网络进行序列建模，得到文本特征表示。3.根据权利要求1所述的一种基于双向有向无环图的方面级情感分类方法，其特征在于，所述步骤2)具体包括：2.1： 利用外部现存的语法解析器spaCy对于输入的语句进行处理，输出该句子的语法依存图；2.2： 对语法依存树结构进行编码，先按照从根节点向下到每个叶节点进行邻接矩阵构建，得到自顶向下的有向无环图，然后按照从每个叶节点向上到达根节点的顺序进行编码，得到自底向上的有向无环图结构，两个有向无环图一同组成了双向有向无环图。4.根据权利要求书1所述的一种基于双向有向无环图的...

【专利技术属性】
技术研发人员：马天龙，许俊杰，肖路巍，吴兴蛟，贺樑，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：