基于位置门控递归神经网络的属性级文本情感分类方法技术

本发明专利技术公开了一种基于位置门控递归神经网络的属性级文本情感分类方法，包括以下步骤：基于位置门控递归神经网络的属性级文本情感特征提取；基于位置门控递归神经网络的属性级文本情感分类。一种文本分类推理方法，包括：选择文本情感分析模型驱动，对原始模型进行封装，实现对文本的自动分析，提供情感分析操作的应用执行接口；客户端将文本数据发送至所述文本进行情感特征提取分析的框架模块将外部发送的文本进行分析处理，分析后的模型考虑模型并发性，并封装成端口，转发给查询模块；服务端请求语义分析及情感推理，返回界面显示。本发明专利技术通过一个位置门控递归神经网络来动态集成句子级别全局和局部信息，实现基于属性的文本情感分类。本情感分类。本情感分类。

【技术实现步骤摘要】
基于位置门控递归神经网络的属性级文本情感分类方法


[0001]本专利技术涉及的
包括自然语言处理、文本倾向性分析、情感分类算法技术，更确切地说是一种基于位置门控递归神经网络的属性级文本情感分类方法。

技术介绍

[0002]属性级文本情感分类是文本情感分类中新涌现的领域之一。当用户在网络中发表评论语句，属性级文本情感分析算法能够根据句子内容抽取出评论的主题词并返回评论的情感倾向性标签。例如，给定句子“物理课程本身很有趣，但是A老师讲解得让人昏昏欲睡”，能够推导出属性词“物理课程”包含正向情感，“A老师”包含负向情感。
[0003]神经网络以其独特的性能在属性级情感分类任务中呈现巨大的优势，首先，借助于神经网络模型能够减轻大量复杂的特征工程工作，其次，神经网络的方法是基于模型的能力是自动学习上下文词的分布式表示。目前对属性级情感分类任务的研究主要集中在两个方面：关注如何使用长短循环神经网络学习情感知识的低维语义特征信息，以及如何应用注意加强模型表示的机制。最近的研究采用了神经网络的注意机制证明了在属性级情感分类任务中的有效性。为了利用情感信息实现更好的隐藏表征，一些工作专注于捕捉全局句子向量的隐式表征。例如，一些学者提出了基于LSTM的方法来通过最后一个隐藏向量捕获全局表示。最近的一些工作提出了最大池和平均池来捕获全局表示。为了加强模型学习的基本部分，一些工作侧重于在情感分类任务中建立具有注意机制的模型。现有研究也表明了位置信息对基于属性的情感分类的作用。例如，一项早期工作提出了位置加权记忆来编辑记忆，以便模型将重点放在上下文中密切相关的部分，在最近的工作中，为了帮助CNN特征提取器更准确地定位情绪指标，一些工作采用邻近策略，通过词与目标词之间的位置相关性来缩放卷积层的输入。大多数文献试图通过依赖树结构或通过简单计算词与目标词之间的单词数来利用目标词与周围上下文词之间的位置作为相关信息。
[0004]然而，大多数已有工作忽略了细粒度表示(例如，联合全局和局部信息)，简单地通过局部表示或全局表示独立地判断情感的极性，或将它们与连接结合起来。全局信息侧重于整个句子的表示，而局部信息侧重于确定词之间的绝对距离。已有方法关于对特定属性词进行有效表示的说明依然缺乏。如何动态吸收局部表示和全局表示对于模型学习到句子的重要部分和全局情感信息都是重要的。此外，尽管现有的研究表明基于属性的情绪分类的位置信息具有重要的作用，但是已有模型通常侧重于在原句中定义属性词和情感的绝对距离，如何对文本序列离散位置信息建模依然比较困难，目前还没有相关的一款组件方案能够解决这一问题。

技术实现思路

[0005]针对现有技术的不足，本专利技术提供了一种基于位置门控递归神经网络(Position
‑
Gated Recurrent Neural Networks,PGRNN)的属性级文本情感分类方法，以至少解决现有情感分类技术中动态建模属性词位置信息的问题。
[0006]一种基于位置门控递归神经网络的属性级文本情感分类方法，包括以下步骤：
[0007]基于位置门控递归神经网络的属性级文本情感特征提取；
[0008]基于位置门控递归神经网络的属性级文本情感分类。
[0009]基于位置门控递归神经网络的属性级文本情感特征提取包括以下步骤：
[0010]对评论文本进行属性级情感数据构建，将属性级情感分类预料库与人工构建预料结合，从目标文本中自动抽取属性词，标注正负例，得出训练样本数据；
[0011]对训练样本数据进行特征提取，首先引入单词嵌入模型，得到单词的向量表示，并将单词向量表示拼接成句子的表示，同时，将文本中属性词的位置信息进行建模，拼接输入神经网络模块；
[0012]建立用于基于属性的情感分类的位置递归神经网络，针对给定的属性词，以不同的方式集成局部表示和全局的句子表示；将位置向量集成到循环神经网络模型中，融合句子建模后的句子级别隐向量表示和注意权重参数，计算出词的属性级别情感分布；
[0013]执行注意力权重计算模块，分别计算词和位置的注意力权重，针对不同的权重得到注意力表示和全局表示不同级别的句子表示。
[0014]基于位置门控递归神经网络的属性级文本情感分类包括以下步骤：
[0015]执行位置级别的字嵌入，输入的文本信息包含句子中属性词语的位置向量并嵌入到单词的语义词向量中，通过将输入的位置向量附加到句子的隐含状态中，位置向量以隐藏状态进行叠加，其中，位置词向量映射过程中考虑到属性词位置的影响函数；
[0016]执行循环神经网络模型，将位置和词的向量映射输入到循环神经网络中，建模句子序列的全局表示模型；
[0017]执行句子表示模块，对给定的属性词相关的重要词语和句子的全局情绪信息进行动态调整注意和全局表示的权重。
[0018]利用训练得到的分类器参数，对其他评论文本数据进行属性词抽取，再进行情感标签类别预测。
[0019]一种针对文本进行情感特征提取分析组件，包括如下功能模块：
[0020]句子建模表示模块，其为给定的句子提供不同的方式集成局部和全局的句子向量表示的方法，利用词向量映射获取句子的向量表示操作；
[0021]注意力机制的情感驱动模块，其在所述句子建模表示模块的基础上，进一步抽象，通过使用位置向量集成到RNN模型中，并采用单词嵌入、隐藏状态和注意机制增强句子的局部和全局表示。
[0022]一种针对文本进行情感特征提取分析方法，其特征在于，包括如下步骤：
[0023]针对不同文本的特征，提供位置词嵌入、位置隐藏状态和位置注意力三部分，并增强注意力表征和全局表征；
[0024]利用动态门机构控制模型的局部和全局注意力；
[0025]通过核函数将位置向量集成于情感特征分析模型中，将给定属性词语的位置分布信息建模，并进一步通过表征吸收门支持动态调整注意力权重和全局表征的权重。
[0026]一种基于支持对文本进行情感特征提取分析的框架模型，包括：全局表示模块、注意力模块、门吸收模块和情感分析模块；
[0027]所述全局表示模块以循环神经网络作为基本模块，发送文本输入到循环神经网络
中，得到句子的表示向量，再将句子表示输入到注意力模块；
[0028]所述注意力模块对接收到的句子向量表示与位置信息进行交互，使用高斯核对纵横比位置信息进行建模，通过核函数计算属性词与句子词语位置相关性，并将包含来自输入位置信息的句子表示输入到门吸收模块；
[0029]所述门吸收模块，通过设计门机制将给定方面相关的重要词语和句子的全局情绪信息进行动态注意力调整，以控制注意力表示和全局表示的通过比例，并将最终句子表示输入到情感分析模块；
[0030]所述情感分析模块，通过将位置注意和全局的句子表示向量连接，输入神经网络全连接层，并添加激活函数层，计算句子情感分布。
[0031]一种文本分类推理方法，包括如下步骤：
[0032]选择文本情感分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于位置门控递归神经网络的属性级文本情感分类方法，其特征在于，包括以下步骤：基于位置门控递归神经网络的属性级文本情感特征提取；基于位置门控递归神经网络的属性级文本情感分类。2.根据权利要求1所述的基于位置门控递归神经网络的属性级文本情感分类方法，其特征在于，基于位置门控递归神经网络的属性级文本情感特征提取包括以下步骤：对评论文本进行属性级情感数据构建，将属性级情感分类预料库与人工构建预料结合，从目标文本中自动抽取属性词，标注正负例，得出训练样本数据；对训练样本数据进行特征提取，首先引入单词嵌入模型，得到单词的向量表示，并将单词向量表示拼接成句子的表示，同时，将文本中属性词的位置信息进行建模，拼接输入神经网络模块；建立用于基于属性的情感分类的位置递归神经网络，针对给定的属性词，以不同的方式集成局部表示和全局的句子表示；将位置向量集成到循环神经网络模型中，融合句子建模后的句子级别隐向量表示和注意权重参数，计算出词的属性级别情感分布；执行注意力权重计算模块，分别计算词和位置的注意力权重，针对不同的权重得到注意力表示和全局表示不同级别的句子表示。3.根据权利要求1所述的基于位置门控递归神经网络的属性级文本情感分类方法，其特征在于，基于位置门控递归神经网络的属性级文本情感分类包括以下步骤：执行位置级别的字嵌入，输入的文本信息包含句子中属性词语的位置向量并嵌入到单词的语义词向量中，通过将输入的位置向量附加到句子的隐含状态中，位置向量以隐藏状态进行叠加，其中，位置词向量映射过程中考虑到属性词位置的影响函数；执行循环神经网络模型，将位置和词的向量映射输入到循环神经网络中，建模句子序列的全局表示模型；执行句子表示模块，对给定的属性词相关的重要词语和句子的全局情绪信息进行动态调整注意和全局表示的权重。利用训练得到的分类器参数，对其他评论文本数据进行属性词抽取，再进行情感标签类别预测。4.一种针对文本进行情感特征提取分析组件，其特征在于，包括如下功能模块：句子建模表示模块，其为给定的句子提供不同...

【专利技术属性】
技术研发人员：白庆春，肖君，王腊梅，
申请(专利权)人：上海开放大学，
类型：发明
国别省市：