一种基于动态记忆网络的实体级别情感分类系统及方法技术方案

本发明专利技术请求保护一种基于动态记忆网络的实体级别情感分类系统及方法，属于自然语言处理领域。该方法包括以下步骤：1、引入动态记忆网络将实体级别情感分类任务建模为问答系统；2、动态记忆网络中的输入模块对输入文本进行编码；3、在输入模块中加入单词位置信息以及残差结构以增强输入表示；4、在问题模块中设计针对目标词的问题；4、记忆模块通过两个子模块对输入表示进行记忆提取；5、回答模块对记忆模块所提取的特征进行情感极性预测以及模型训练。6、在训练完模型后，所训练模型能够完成实体级别的情感分类，包括正向、中立以及负向情感极性。本发明专利技术不仅能够处理简单句子而且能够正确处理复杂句式中目标实体的情感分类问题。

An entity level sentiment classification system and method based on dynamic memory network

The invention requests to protect an entity level emotion classification system and method based on dynamic memory network, belonging to the field of Natural Language Processing. The method includes the following steps: 1. A dynamic memory network is introduced to model the entity level emotion classification task into a question answering system; (2) the input module in the dynamic memory network encodes the input text; 3, the word position information is added to the input module and the residual structure is expressed by the enhanced input; 4, in the problem module. The problem of target words is taken into account; 4, memory module carries out memory extraction through two sub modules; 5, the answer module carries out emotional polarity prediction and model training on the features extracted by memory module. 6, after training the model, the training model can complete the emotional classification at the entity level, including forward, neutral and negative polarity. The invention can not only handle simple sentences but also correctly handle the emotional classification of target entities in complex sentence patterns.

【技术实现步骤摘要】
一种基于动态记忆网络的实体级别情感分类系统及方法
本专利技术属于自然语言处理领域，具体属于对句子中特定实体进行情感分类的方法。
技术介绍
随着推特(Twitter)、脸书(Facebook)、微博(Weibo)等社交平台和亚马逊(Amazon)、淘宝(Taobao)等电子商务平台的兴起，网络上评论性文本资源与日俱増。面对来自微博、论坛的大量非结构化的评论文本，迫切需要通过自然语言处理技术对文本中特定实体进行情感类别分析。实体级别情感极性分类重在从数据中识别用户对某种产品，服务或社会舆情的情感倾向。实践中，实体级别情感分析对于政府管理、舆情监督、消费品经销商等部门制定策略有着非常重要的作用。传统情感分析绝大多数都是采用传统NLP特征与机器学习相结合的方式来构建模型。但传统NLP特征的设计往往需要专家的领域知识，人工成本较高，系统的泛化性和迁移性差。近两年兴起的深度学习方法能较好地弥补上述方法的缺陷，深度学习能够自动学习出描述数据本质的特征表达，从而避免了人工设计特征的缺陷。针对实体级别情感分类任务，已有大量模型，包括基于人工特征与传统机器学习方法，基于神经网络方法和基于记忆网络方法。但此类方法存在诸多问题，例如传统人工特征的特区需要大量的特征工程工作以及语法知识；基于LSTM的方法结构较为单一，无法处理复杂句式中特定实体的情感极性。例如当句子为反问句，疑问句或者比较句时，此类方法性能严重下降。基于记忆网络等方法仅仅利用到了句子的低层特征，并未考虑到高层语义。因此提出更有效的模型是该任务的一项非常重要的工作。
技术实现思路
本专利技术旨在解决以上现有技术的问题。提出了一种不仅能解决简单句式中实体情感判为问题，而且能够有效解决复杂句式中实体情感极性判别难问题的基于动态记忆网络的实体级别情感分类系统及方法。本专利技术的技术方案如下：一种基于动态记忆网络的实体级别情感分类系统，其包括一个动态记忆网络，所述动态记忆网络主要包括输入模块、问题模块、记忆模块和回答模块；利用动态记忆网络将实体级别情感分类问题建模为问答模型；其中，输入模块用于对已指定实体目标的输入文本进行编码处理以得到文本向量表示；问题模块中设计针对实体目标词的问题，为记忆模块每次更新提供注意对齐的特征信息；记忆模块分别通过多跳注意力和记忆更新两个子模块对文本输入表示进行记忆提取与记忆更新，并将最终更新特征传输给回答模块；回答模块，用于对记忆模块所提取的特征进行情感极性预测以及模型训练；在训练完模型后，训练模型能够完成实体级别的情感分类，包括正向、中立以及负向情感极性。进一步的，所述输入模块中还加入单词位置信息以及残差结构以增强输入表示。进一步的，所述输入模块对输入文本进行编码处理得到文本向量表示具体包括；给定输入文本序列{w1,w2,...,wn}以及对应实体目标n表示文本中包含的单词个数，表示构成实体目标的第m个单词。首先利用预训练词向量将输入文本序列映射成词向量序列{e1,e2,...,en}，将词向量序列堆叠成词向量矩阵其中d代表词向量维度；采用单层双向GRU结构对融合后的向量进行编码处理，得到编码后向量表示编码如下所示：其中，GRUf表示前向GRU网络，GRUb表示后向GRU网络，表示双向GRU网络的输出隐向量。进一步的，所述输入模块中还加入单词位置信息以及残差结构以增强输入表示，具体包括：首先计算上下文中的词与实体词的相对距离，定义为pi，借鉴词向量训练方式，将相对位置映射为位置向量，定义为li，并将其视为网络可以自动学习参数。为了将位置向量与词向量融合，采用向量对应元素相加方法：si＝ei+li，最终得到融合向量序列{s1,s2,...,sn}；将该残差结构结构引入输入模块增强文本表示，输入模块最终输出的编码表示为：其中ei表示词向量。进一步的，所述问题模块中设计针对目标词的问题，具体包括通过设计目标词所对应的情感问题编码得到实体词特征表示，首先将所设计问题映射为问题词向量序列，接着利用单层双向GRU结构对其进行编码得到目标词的编码表示，定义GRU编码后的最终时刻隐层状态为q0；此外，为了使问题表征空间与输入表征空间存在特征差异，在GRU编码所得到的特征基础上加入非线性层，最终问题模块输出为：q＝tan(W(q)q0+b(q))其中q0为GRU编码的最终隐层状态，W(q)和b(q)为问题编码参数。进一步的，所述记忆模块的多跳注意力机制包括：软注意力，基于注意力机制的GRU网络和内部注意力GRU网络。进一步的，所述记忆模块每次attentionstep后采用ReLU结构来更新信息，计算如下：m0＝qmk＝ReLU(Wk[mk-1；ck；q]+b)其中利用问题编码表示q初始化记忆m0，Wk和bk为记忆更新参数。其中，k表示第k次注意，b表示偏置参数，ck表示第k次注意所提取的记忆特征信息。进一步的，所述回答模块在完成多次attentionsteps后，将记忆模块的输出送入softmax层进行情感极性预测，其输出为情感类别概率分布，计算如下：yp＝softmax(W(o)mk+b(o))其中yp表示类别的概率分布，W(o)表示输出层参数矩阵，b(o)表示输出层偏置参数mk表示第k次更新后的记忆特征。模型训练通过最下化如下损失函数：其中D代表训练数据集，C为情感类别种类，θ表示模型参数，yc表示真实类别标签，λ是L2正则参数项。一种基于所述系统的基于动态记忆网络的实体级别情感分类方法，其包括以下步骤：步骤一、利用动态记忆网络将实体级别情感分类问题建模为问答模型；动态记忆网络主要包括输入模块，问题模块，记忆模块和回答模块；步骤二、动态记忆网络中的输入模块对输入文本进行编码处理得到文本向量表示；步骤三、动态记忆网络中的问题模块针对句子中的特定实体，负责设计其对应的情感问题；步骤四、动态记忆网络中的记忆模块对输入模块所编码后的文本向量表示进行处理，通过多跳注意力和记忆更新两个子模块提取文本特征。步骤五、动态记忆网络中的回答模块对记忆模块所提取的文本特征进行情感概率预测，通过最小化相应的损失函数进行模型训练；步骤六、在训练完模型后，该模型完成实体级别的情感分类问题，包括正向、中立或者负向情感极性。本专利技术的优点及有益效果如下：本专利技术，首先将实体目标情感分析任务转化为问答系统，设计针对实体目标的情感问题，并用双向GRU对所设计问题进行问题编码，优于现有专利技术的实体表示方法；构建动态记忆力网络，通过多跳注意力与记忆更新两个子模块，更精确地实现实体目标情感相关特征提取。相比于现有专利技术，本专利技术可更准确地完成实体目标情感分析任务，更适用于综合复杂的社会、商业场景。附图说明图1是本专利技术提供优选实施例的系统流程图；图2为系统模型图；图3为输入模块结构图；图4为相对距离计算示意图；图5为记忆模块结构图；图6为attentionbasedGRU网络结构图；图7为innerattentionGRU网络结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本专利技术的一部分实施例。本专利技术解决上述技术问题的技术方案是：如图1所示，基于动态记忆网络的实体级别情感分类方法:步骤一、首先利用动态记忆网络将实体级别情感分类问题建模本文档来自技高网...

【技术保护点】
一种基于动态记忆网络的实体级别情感分类系统，其特征在于，包括一个动态记忆网络，所述动态记忆网络主要包括输入模块、问题模块、记忆模块和回答模块；利用动态记忆网络将实体级别情感分类问题建模为问答模型；其中，输入模块用于对已指定实体目标的输入文本进行编码处理以得到文本向量表示；问题模块中设计针对实体目标词的问题，为记忆模块每次更新提供注意对齐的特征信息；记忆模块分别通过多跳注意力和记忆更新两个子模块对文本输入表示进行记忆提取与记忆更新，并将最终更新特征传输给回答模块；回答模块，用于对记忆模块所提取的特征进行情感极性预测以及模型训练；在训练完模型后，训练模型能够完成实体级别的情感分类，包括正向、中立以及负向情感极性。

【技术特征摘要】
1.一种基于动态记忆网络的实体级别情感分类系统，其特征在于，包括一个动态记忆网络，所述动态记忆网络主要包括输入模块、问题模块、记忆模块和回答模块；利用动态记忆网络将实体级别情感分类问题建模为问答模型；其中，输入模块用于对已指定实体目标的输入文本进行编码处理以得到文本向量表示；问题模块中设计针对实体目标词的问题，为记忆模块每次更新提供注意对齐的特征信息；记忆模块分别通过多跳注意力和记忆更新两个子模块对文本输入表示进行记忆提取与记忆更新，并将最终更新特征传输给回答模块；回答模块，用于对记忆模块所提取的特征进行情感极性预测以及模型训练；在训练完模型后，训练模型能够完成实体级别的情感分类，包括正向、中立以及负向情感极性。2.根据权利要求1所述的基于动态记忆网络的实体级别情感分类系统，其特征在于，所述输入模块中还加入单词位置信息以及残差结构以增强输入表示。3.根据权利要求2所述的基于动态记忆网络的实体级别情感分类系统，其特征在于，所述输入模块对输入文本进行编码处理得到文本向量表示具体包括；给定输入文本序列{w1,w2,...,wn}以及对应实体目标n表示文本中包含的单词个数，表示构成实体目标的第m个单词，首先利用预训练词向量将输入文本序列映射成词向量序列{e1,e2,...,en}，将词向量序列堆叠成词向量矩阵其中d代表词向量维度；采用单层双向GRU结构对融合后的向量进行编码处理，得到编码后向量表示编码如下所示：其中，GRUf表示前向GRU网络，GRUb表示后向GRU网络，表示双向GRU网络的输出隐向量。4.根据权利要求3所述的基于动态记忆网络的实体级别情感分类系统，其特征在于，所述输入模块中还加入单词位置信息以及残差结构以增强输入表示，具体包括：首先计算上下文中的词与实体词的相对距离，定义为pi，借鉴词向量训练方式，将相对位置映射为位置向量，定义为li，并将其视为网络可以自动学习参数。为了将位置向量与词向量融合，采用向量对应元素相加方法：si＝ei+li，最终得到融合向量序列{s1,s2,...,sn}；将该残差结构结构引入输入模块增强文本表示，输入模块最终输出的编码表示为：其中ei表示词向量。5.根据权利要求1所述的基于动态记忆网络的实体级别情感分类系统，其特征在于，所述问题模块中设计针对目标词的问题，具体包括通过设计目标词所对应的情感问题编码得到实体词特征表示，首先将所设计问题映射为问题词向量序列，接着利用单层双...

【专利技术属性】
技术研发人员：张祖凡，汪露，邹阳，甘臣权，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50