用于短文本情感分类的多头注意力记忆网络制造技术

本发明专利技术公开了用于短文本情感分类的多头注意力记忆网络，包括多跳记忆子网络，多跳记忆子网络包括多个顺次连接的独立计算模块，独立计算模块包括顺次连接的第一多头注意力编码层、第一线性层和输出层。本发明专利技术多跳记忆子网络中每个多头注意力编码层的输入包括原始记忆以及历史信息记忆，通过足够跳数的独立计算模块堆叠转换，使多头注意力记忆网络学习到文本内部蕴含更加复杂、抽象的非线性特征，对文本中的情感语义结构进行有效地编码。进一步地，输入多跳记忆子网络的原始记忆由多头注意力编码层的递归计算过程充分交互，使得文本特征间的远程依赖关系得到更成分的建模，进而挖掘出更高层次的上下文情感语义关系，以此提升模型的分类性能。

【技术实现步骤摘要】
用于短文本情感分类的多头注意力记忆网络
本专利技术涉及自然语言处理
，尤其涉及用于短文本情感分类的多头注意力记忆网络。
技术介绍
随着互联网技术的飞速发展，社交网络和电子商务平台已变成最重要的公共信息集散地，利用其中庞大的数据对人们的情感和观点进行分析，有着重要的社会价值和科研价值。情感分析是人们对产品、服务、组织、个人、问题、事件、话题及其属性的观点、情感、情绪、评价和态度的计算研究，属于文本分类的子任务。不同于普通文本分类，情感分析要求更高层的语义抽取，技术上更具挑战性。如何利用自然语言处理(naturallanguageprocessing,NLP)技术对主观意见文本进行情感分析正被越来越多的研究人员关注。早期情感分析任务大多采用传统机器学习方法处理，依赖特征工程，需要花费大量时间对背景知识进行收集、整理和抽象。深度学习方法出现以后，迅速取代了机器学习成为NLP领域的主流。作为近年来人工智能领域发展最快的研究方向，深度学习模型在各种NLP任务中被广泛应用。相对于传统的机器学习算法，深度学习不依赖人工构建特征，具有特征的自学习本文档来自技高网...

【技术保护点】
1.一种用于短文本情感分类的多头注意力记忆网络，其特征在于：所述网络包括多跳记忆子网络，所述多跳记忆子网络包括多个顺次连接的独立计算模块，独立计算模块包括顺次连接的第一多头注意力编码层、第一线性层和输出层；/n第一多头注意力编码层根据输入的历史信息记忆与原始记忆进行学习，第一线性层对第一多头注意力编码层的输出进行线性化处理，输出层将第一线性层的输出与历史信息记忆进行叠加处理得到更高级别的抽象数据表示。/n

【技术特征摘要】
1.一种用于短文本情感分类的多头注意力记忆网络，其特征在于：所述网络包括多跳记忆子网络，所述多跳记忆子网络包括多个顺次连接的独立计算模块，独立计算模块包括顺次连接的第一多头注意力编码层、第一线性层和输出层；
第一多头注意力编码层根据输入的历史信息记忆与原始记忆进行学习，第一线性层对第一多头注意力编码层的输出进行线性化处理，输出层将第一线性层的输出与历史信息记忆进行叠加处理得到更高级别的抽象数据表示。


2.根据权利要求1所述的用于短文本情感分类的多头注意力记忆网络，其特征在于：所述网络还包括顺次连接的词嵌入层、特征提取层和有序神经元长短时记忆子网络；
词嵌入层用于获取文本的词向量矩阵；特征提取层用于将词向量矩阵转换为n-gram特征并产生新的N-gram特征矩阵，且n-gram特征作为文本的原始记忆输入第一多头注意力编码层；有序神经元长短时记忆子网络根据N-gram特征矩阵对文本各词组的依赖关系进行建模并挖掘其隐藏含义，得到输入文本的高层特征表示。


3.根据权利要求2所述的用于短文本情感分类的多头注意力记忆网络，其特征在于：所述特征提取层具体为卷积神经网络。


4.根据权利要求2所述的用于短文本情感分类的多头注意力记忆网络，其特征在于：所述网络还包括深度多头注意力编码层，与特征提取层、有序神经元长短时记忆子网络输出端连接，用于对n-gram特征序列进行抽象转换得到的高层特征表示。


5.根据权利要求4所述的用于短文本情感分类的多头注意力记忆网络，其特征在于：所述深度多头注意力编码层对n-gram特征序列进行抽象转换得到文本的高层特征表示的具体计算过程为：
DMHSAtt(G)...

【专利技术属性】
技术研发人员：李晓瑜，邓钰，彭宇，何子睿，雷航，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51