一种用于目标情感分类的深度记忆网络模型及其分类方法技术

本发明专利技术公开了一种用于目标情感分类的深度记忆网络模型包括输入模块、注意力模块和交互分类模块，通过输入模块可以将句子划分为目标向量和对应的上下文向量，然后通过注意力模块基于输入的目标向量从外部存储的上下文向量中获取对应的情感信息，并获得目标上下文表示；再通过交互分类模块对目标上下文表示与目标向量表示进行交互计算，获得句子文本对指定目标的情感表示，然后将情感表示作为特征进行分类，获得模型预测的情感极性。并基于上述深度记忆网络模型提出了一种分类方法，通过将上下文向量表示与目标之间的交互信息融入最终的情感分类表示，可以实现有效识别上下文对目标的情感极性的技术效果。

A Deep Memory Network Model for Target Emotion Classification and Its Classification Method

【技术实现步骤摘要】
一种用于目标情感分类的深度记忆网络模型及其分类方法
本专利技术涉及计算机
，具体涉及一种用于目标情感分类的深度记忆网络模型及其分类方法。
技术介绍
线上评论的发展，提供了大量可用于挖掘的短文本数据。获取这些文本中的情感观点既蕴涵巨大的商业价值也带来了很多挑战性的学术研究问题。情感分析，也称观点挖掘，研究目标就是分析文本中人们对评论事物(如：产品，服务，时事话题等)的情感，观点或者具体态度。情感分析在成为自然语言处理中的一个研究主题后，迅速成为了热点研究领域。特定目标情感分类，是情感分析研究中的一项细粒度子任务，确定了具体的文本对其所评论目标的情感极性(即positive，negative和neutral)。例如，句子“AveragetogoodThaifood,butterribledelivery.”，分别对目标“Thaifood”和“delivery”表达了积极和消极情感。从这个例子中可以看出，一个评论句子对不同的目标可能表达相反的情感。同时，判断一个目标的情感极性只需要关注一部分的上下文，例如，通过“good”能够确定目标“Thaifood”的情感极性，但却不影响“delivery”的情感判断。本申请专利技术人在实施本专利技术的过程中，发现现有技术的方法，至少存在如下技术问题：受记忆网络(memorynetwork，MN)在问答系统中成功运用的启发，现有深度记忆网络中引入注意力机制。然而，只基于注意力机制的记忆网络不能处理上下文的情感依赖于具体目标的情况。例如，在句子“Thepriceishigh.”和“Thequalityishigh.”中，对于目标“Theprice”和“Thequality”他们的上下文相同，但是情感极性却相反，即分别对应消极和积极情感。深度记忆网络利用注意力机制可以找到关键的上下文“high”，但是却无法区分这两种情况的情感极性，因为不同于情感词“good”和“terrible”，“high”本身是不带有明确的情感。深度记忆网络可以直接推断“good”修饰的目标情感是积极的，而“terrible”是消极的，因为这些上下文带有明确的情感。然而词语“high”的情感极性判断依赖于具体的目标。由此可知，现有技术中的方法存在无法有效识别上下文对目标的情感极性的技术问题。
技术实现思路
有鉴于此，本专利技术提供了一种用于目标情感分类的深度记忆网络模型及其分类方法，用以解决或者至少部分解决现有技术中的方法存在的无法有效识别上下文对目标的情感极性的技术问题。本专利技术第一方面提供了一种用于目标情感分类的深度记忆网络模型，包括：输入模块，用于将句子划分为目标向量和对应的上下文向量，其中，上下文向量作为外部记忆被存储；注意力模块，用于基于输入的目标向量从外部存储的上下文向量中获取对应的情感信息，并获得目标上下文表示；交互分类模块，用于对目标上下文表示与目标向量表示进行交互计算，获得句子文本对指定目标的情感表示，然后将情感表示作为特征进行分类，获得模型预测的情感极性。在一种实施方式中，注意力模块包括第一计算层，其中，第一计算层包括一个注意力函数。在一种实施方式中，注意力模块还包括至少一个第二计算层，其中，第二计算层包括一个注意力函数和一个线性函数，并将前一个第二计算层的输出作为下一个第二计算层的输入，通过循环计算，获取目标情感信息。基于同样的专利技术构思，本专利技术第二方面提供了一种基于第一方面所述的深度记忆网络模型的分类方法，包括：步骤S1：将评论句子根据给定的预设目标划分成目标以及与目标对应的上下文，并根据单词的词向量，获得目标词向量表示和对应的上下文词向量表示；步骤S2：将目标向量表示和上下文向量表示输入注意力函数中，计算每个上下文单词对影响目标情感的权重，并对权重和上下文向量进行融合，获得最终的上下文表示；步骤S3：将上下文表示与目标向量表示进行交互计算，获得句子文本对指定目标的情感表示；步骤S4：将句子文本对指定目标的情感表示进行线性转换和归一化处理，获得深度记忆网络模型以及模型预测的情感极性；步骤S5：采用预设训练数据集训练深度记忆网络模型；步骤S6：基于训练后的模型对待处理的评论句子文本进行情感分类。在一种实施方式中，在步骤S2之前，所述方法还包括：判断预设循环次数是否等于0，如果等于0，则执行步骤S2；如果大于0，则将目标向量表示和上下文向量表示输入注意力函数中，计算每个上下文单词对影响目标情感的权重大小，同时将目标向量进行线性转换，再将融合了权重信息的上下文表示与目标线性转换表示相加，作为接下来的运算输入，循环执行该步骤，直到完成预设循环次数，输出向量表示；将输出的向量表示作为步骤S2中的目标向量，执行步骤S2。在一种实施方式中，步骤S1具体包括：步骤S1.1：获取外部用大型语料集训练好的词向量；步骤S1.2：给定句子s＝{w1,w2,...,wi-1,wi,wi+1,..,wn-1,wn}，其中wi表示目标，{w1,w2,...,wi-1,wi+1,...,wn-1,wn}表示目标的上下文，n表示句子的长度，将所有单词的词向量集合构成一个词向量矩阵其中d表示词向量的维度，|V|表示词汇表的大小；通过索引词向量矩阵，将每个单词wi转换成对应的词向量表示对应的上下文向量表示的形式为{v1,v2,...,vi-1,vi+1,...,vn-1,vn}，,将目标视为一个单词，即vt，如果目标是短语，即包含多个单词，则目标词向量由短语的组成词向量的平均值表示。在一种实施方式中，步骤S2具体包括：进行位置注意力的计算，其中，单词在句子中的位置计算公式为：pi＝|i-t|其中，i和t分别对应上下文单词和目标在句子中的索引号。基于门控机制获得融入位置信息的词向量：mi＝vi⊙σ(Wppi+bp)其中，表示位置映射参数，σ表示sigmoid函数，⊙表示基于元素的乘积运算，得到的向量mi表示融入了位置信息的词向量；再根据获得的融入位置信息的词向量，采用一个前馈神经网络来计算上下文与目标之间的语义相关性，获得上下文向量表示。具体包括语义相关性的计算，其中，语义相关性的计算如下：gi＝tanh(Wr[mi；vt]+br)其中，tanh为双曲正切函数。然后使用softmax函数来归一化上下文的语义相关性：得到α＝{α1,α2,…,αn-1}，其中，αi∈[0,1]，∑iαi＝1，通过加权平均融合上下文中每个单词的词向量和其对应的目标语义相关性权重，获得上下文的词向量表示，即c＝∑iαimi，从而完成注意力函数的计算；对目标向量进行线性转换，即lt＝Wtvt+bt，其中，然后将线性转换表示与得到的上下文向量表示相加，即vn＝lt+c，在下一层计算中，vn被视为新的目标向量表示来进行接下来的函数计算。在一种实施方式中，步骤S3具体包括：采用非线性函数tanh分别计算上下文与目标之间的交互信息和上下文自身的情感信息，并将二者相加，得到最终情感表示：s＝tanh(Wcc+bc)+tanh(WI[c；vt]+bI)其中，为上下文情感映射参数，为上下文与目标交互参数，式tanh(Wcc+bc)用于计算与具体目标无关的上下文情感，式tanh(WI[c；vt]+bI)用于模拟上下文与目标的交互信息计算，参数Wc,bc和WI,b本文档来自技高网...

【技术保护点】
1.一种用于目标情感分类的深度记忆网络模型，其特征在于，包括：输入模块，用于将句子划分为目标向量和对应的上下文向量，其中，上下文向量作为外部记忆被存储；注意力模块，用于基于输入的目标向量从外部存储的上下文向量中获取对应的情感信息，并获得目标上下文表示；交互分类模块，用于对目标上下文表示与目标向量表示进行交互计算，获得句子文本对指定目标的情感表示，然后将情感表示作为特征进行分类，获得模型预测的情感极性。

【技术特征摘要】
1.一种用于目标情感分类的深度记忆网络模型，其特征在于，包括：输入模块，用于将句子划分为目标向量和对应的上下文向量，其中，上下文向量作为外部记忆被存储；注意力模块，用于基于输入的目标向量从外部存储的上下文向量中获取对应的情感信息，并获得目标上下文表示；交互分类模块，用于对目标上下文表示与目标向量表示进行交互计算，获得句子文本对指定目标的情感表示，然后将情感表示作为特征进行分类，获得模型预测的情感极性。2.如权利要求1所述的模型，其特征在于，注意力模块包括第一计算层，其中，第一计算层包括一个注意力函数。3.如权利要求2所述的模型，其特征在于，注意力模块还包括至少一个第二计算层，其中，第二计算层包括一个注意力函数和一个线性函数，并将前一个第二计算层的输出作为下一个第二计算层的输入，通过循环计算，获取目标情感信息。4.一种基于如权利要求1至3任一项权利要求所述的深度记忆网络模型的分类方法，其特征在于，包括：步骤S1：将评论句子根据给定的预设目标划分成目标以及与目标对应的上下文，并根据单词的词向量，获得目标词向量表示和对应的上下文词向量表示；步骤S2：将目标向量表示和上下文向量表示输入注意力函数中，计算每个上下文单词对影响目标情感的权重，并对权重和上下文向量进行融合，获得最终的上下文表示；步骤S3：将上下文表示与目标向量表示进行交互计算，获得句子文本对指定目标的情感表示；步骤S4：将句子文本对指定目标的情感表示进行线性转换和归一化处理，获得深度记忆网络模型以及模型预测的情感极性；步骤S5：采用预设训练数据集训练深度记忆网络模型；步骤S6：基于训练后的模型对待处理的评论句子文本进行情感分类。5.如权利要求4所述的方法，其特征在于，在步骤S2之前，所述方法还包括：判断预设循环次数是否等于0，如果等于0，则执行步骤S2；如果大于0，则将目标向量表示和上下文向量表示输入注意力函数中，计算每个上下文单词对影响目标情感的权重大小，同时将目标向量进行线性转换，再将融合了权重信息的上下文表示与目标线性转换表示相加，作为接下来的运算输入，循环执行该步骤，直到完成预设循环次数，输出向量表示；将输出的向量表示作为步骤S2中的目标向量，执行步骤S2。6.如权利要求1所述的方法，其特征在于，步骤S1具体包括：步骤S1.1：获取外部用大型语料集训练好的词向量；步骤S1.2：给定句子其中wi表示目标，{w1，w2，...，wi-1，wi+1，...，wn-1,wn}表示目标的上下文，n表示句子的长度，将所有单词的词向量集合构成一个词向量矩阵其中d表示词向量的维度，|V|表示词汇表的大小；通过索引词向量矩阵，将每个单词wi转换成对应的词向量表示对应的上下文向量表示的形式为{v1,v2,...,vi-1,vi+1,...,vn-1,vn}，将目标视为一个单词，即vt，如果目标为短语，即包含多个单词，则目标词向量由短语的组成词向量的平均值表示。7...

【专利技术属性】
技术研发人员：荆晓远，李晶，左梅，訾璐，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42