基于注意力增强的双向LSTM模型的情感分析方法技术

本发明专利技术涉及一种基于注意力增强的双向LSTM模型的情感分析方法，所述方法采用注意力机制与双向LSTM模型相结合，使用双向LSTM模型学习文本语义信息，使用注意力机制加强对重点词的关注，所述方法包括：首先对输入的句子利用预训练好词向量进行表示，然后分别经过双向LSTM模型和注意力模型学习表示，将两部分表示后的向量拼接，最终通过分类器完成文本情感分析的工作。本发明专利技术使用双向LSTM学习文本的语义信息，使用在词向量上建立的自注意力机制加强对句中情感关键词的关注度，本发明专利技术采用的词向量注意力机制与双向LSTM为并行结构，实验表明，本发明专利技术提出的模型表现出优越的性能，并在多个指标上超过了已知的最好模型，可以很好地满足实际应用的需要。

An Affective Analysis Method Based on Bidirectional LSTM Model of Attention Enhancement

【技术实现步骤摘要】
基于注意力增强的双向LSTM模型的情感分析方法
本专利技术属于文本处理
，具体涉及一种基于注意力增强的双向LSTM模型的情感分析方法。
技术介绍
随着互联网的发展，网民数量在近几年急剧上升，人们在信息交互的过程中产生了大量的对诸如人物、事件、产品等有价值的评论信息。这些信息表达了人们的各种感情色彩和情感倾向性，通过对情感信息的挖掘，可以更好的理解用户行为，从而预测出事件的发展方向或趋势。但随着信息规模的极具膨胀，仅靠人工已经不可能完成情感分析工作，所以使用计算机进行高效准确的情感分析工作有着重要的意义。目前情感分析技术主要分为3类：基于情感词典的方法、基于特征的方法和基于深度学的方法。基于情感词典的方法主要根据文本中的情感词来判断文本的情感倾向，需要人工构建情感词典，结合情感词典和人工设置规则实现对文本的情感分析。这种方法基于人类语言的表述方式，透过情感词可以反映人的情感倾向，但是没有考虑到上下文的语义信息。基于特征的方法是采用统计学知识，从大量语料中选取特征，使用这些特征对文本进行表示，然后使用决策树、支持向量机(SVM)等机器学习算法进行分类。该方法对经验要求较高，特征的选本文档来自技高网...

【技术保护点】
1.一种基于注意力增强的双向LSTM模型的情感分析方法，其特征在于，采用注意力增强的双向LSTM模型进行文本情感分析。

【技术特征摘要】
1.一种基于注意力增强的双向LSTM模型的情感分析方法，其特征在于，采用注意力增强的双向LSTM模型进行文本情感分析。2.根据权利要求1所述的情感分析方法，其特征在于，所述方法采用注意力机制与双向LSTM模型相结合，使用双向LSTM模型学习文本语义信息，使用注意力机制加强对重点词的关注。3.根据权利要求1所述的情感分析方法，其特征在于，所述方法包括：首先对输入的句子利用预训练好词向量进行表示，然后分别经过双向LSTM模型和注意力模型学习表示，将两部分表示后的向量拼接，最终通过分类器完成文本情感分析的工作。4.根据权利要求1所述的情感分析方法，其特征在于，所述注意力增强的双向LSTM模型的结构包括：词语表示层、语义学习层、重点词关注层和分类层，词语表示层的输出分别作为语义学习层和重点词关注层的输入，分类层将语义学习层和重点词关注层的结果连接作为输入。5.根据权利要求1所述的情感分析方法，其特征在于，词语表示层在相关语料上预训练出一个RN×d规模的词典，N表示词典中词的个数，d表示词向量的维度；在进行词语表示时，用xt表示文本中的第t个词，xt∈Rd；若文本长度为T，则输入文本表示为：S＝[x1；x2；...；xT]∈RT×d。6.根据权利要求1所述的情感分析方法，其特征在于，采用双向LSTM模型对句子的语义信息进行编码；双向LSTM由正反两个LSTM模型组成，xt为t时刻LSTM单元的输入数据，ht是t时刻输出，C是不同时刻记忆单元的值；LSTM的遗忘门ft决定记忆信息的通过量，遗忘门将xt和上一时刻输出ht-1作为输入，输出值在0和1之间，值用来描述每个部分通过量的多少；ft的计算公式为：ft＝σ(Wf[ht-1，xt]+bf)式中σ为sigmoid函数，Wf是遗忘门权重，bf为遗忘门偏置；LSTM的输入门it控制当前的输入数据对记忆单元状态的影响，为要被添加到记忆单元的候选值；it和的更新公式分别为：it＝σ(Wi[ht-1，xt]+bi)Wi为...

【专利技术属性】
技术研发人员：曹俐莉，吕学强，曾毅，侯非，程永红，
申请(专利权)人：中国标准化研究院，北京信息科技大学，
类型：发明
国别省市：北京,11