【技术实现步骤摘要】
一种方面级情感分类模型
本专利技术涉及人工智能
,更具体地说,它涉及一种方面级情感分类模型。
技术介绍
方面级情感分类是细粒度的情感分析任务,也是NLP的基本任务。先前是通过基于情感词典或手工特征的方法来解决该任务。基于情感词典的方法是利用情感词典的先验信息识别文本所表达的情感,因情感词典大小有限且忽略语义信息,从而模型的分类往往不准确。基于手工特征的方法是通过研究者设计的特征,利用支持向量机等机器学习方法作为分类器,对文本情感极性进行分类。在一个数据集上设计的特征因泛化能力不强,往往不能直接应用到另一个数据集上,需要重新设计新的特征,这就需要大量的人工。面对日益增长的文本数据分析需求,先前的方法难以高效的应对。于是研究者开始提出自动化的方法来解决方面级情感分类问题。近年来,基于神经网络的方面级情感分类已成为主流。例如,Dong等人提出的AdaRNN根据上下文和它们之间的句法关系将词的情感自适应地传递到给定方面。这类依赖句法解析的模型对有噪声的数据(例如,Twitter),容易受到句法解析错误的影响。相比之下,因序列处理能力突出的循环神经网络在情感分析也被广泛应用,并证明了其有效性。例如,Tang等人提出TC-LSTM模型利用两个长短时记忆网络LSTM分别对给定方面与其左侧上下文和右侧上下文进行建模。基于神经网络的方法能够自动学习特征进行情感极性分类,对文本中的每个词做同样的处理,但文本中只有一部分词与给定方面的情感表达有关,无法区分词之间的重要性。例如SemEval2014Restaurant数据集的 ...
【技术保护点】
1.一种方面级情感分类模型,其特征在于,包括嵌入层、神经网络层、注意力层和输出层;/n嵌入层用于将句子转化为对应的词向量表示;/n神经网络层用于将句子的词向量表示转化为相应的隐藏状态序列;/n注意力层用于从句子的隐藏状态中捕获对于识别给定方面的情感极性来说重要的信息;/n输出层用于对注意力层的输出进行变化,输出句子对于给定方面表达的情感分类。/n
【技术特征摘要】
1.一种方面级情感分类模型,其特征在于,包括嵌入层、神经网络层、注意力层和输出层;
嵌入层用于将句子转化为对应的词向量表示;
神经网络层用于将句子的词向量表示转化为相应的隐藏状态序列;
注意力层用于从句子的隐藏状态中捕获对于识别给定方面的情感极性来说重要的信息;
输出层用于对注意力层的输出进行变化,输出句子对于给定方面表达的情感分类。
2.根据权利要求1所述的方面级情感分类模型,其特征在于,包括以下分类方法:
S1:给定一个句子对(S,A),其中m个词组成的方面词A={t1,t2,…,tm}是n个词组成的句子S={c1,c2,…,cn}的子序列;
S2:对于给定的句子对(S,A),将整个句子的每个词在预训练词向量矩阵中找到对应的词向量,然后将这些词向量按照句子中词的顺序组合起来形成对应的词向量矩阵
S3:将S2得到的词向量矩阵输入到神经网络层,神经网络层将词向量读入,接着编码词向量,获得相应的隐藏状态:
其中,词向量Wci读入神经网络层后,输出隐藏状态第i个时间步用i表示,在神经网络层产生的用下标x表示;
S4:经S3处理后,获得隐藏状态序列然后将整个隐藏状态序列输入至注意力层,注意力层对句子中不同的词分配不同的注意力权重,得到注意力层句子的加权表示
3.根据权利要求2所述的方面级情感分类模型,其特征在于,所述S3过程中,神经网络层选择门控循环单元GRU,其详细的计算过程详细如下:
GRU由重置门和更新门两部分构成,更新门用于决定删除和添加的内容,重置门用于决定遗忘以前信息的程度,计算过程如下:
其中,表示权重矩阵,表示偏置,权重矩阵和偏置都是模型训练过程中需要学习的参数,不同时间步之间共享参数。
4.根据权利要求2所述的方面级情感分类模型,其特征在于,所述S4过程中,计算过程如下:
其中,在注意力层为目标句子,为源句子,et,i是目标句子中第t个位置和源句子的第i个位置之间匹配程度的评分,αt,i表示生成第t个目标词St时,分配给源句子第i个位置的注意力权重;
注意力层的输出传入输出层,通过分类器识别句子对于给定方面标的情感极性是积极、中性或消极,计算过程如下:
(15)将句子的加权表示r进行线性变换,将其长度转换为类别数|C|,softmax函数将其归一化为0-1的条件概率分布
5.根据权利要求1所述的方面级情感分类模型,其特征在于,包括以下分类方法:
T1:给定一个句子对(S,A),其中m个词组成的方面词A={t1,t2,…,tm}是n个词组成的句子S={c1,c2,…,cn}的子序列;
T2:对于给定的句子对(S,A),嵌入层将给定方面与句子分别在预训练词向量矩阵中找到对应的词向量,形成句子的词向量矩阵和给定方面的词向量矩阵V={Wt1,Wt2,…,Wtm};
T3:将T2得到的给定方面词向量矩阵与句子词向量矩阵进行编码,提取给定方面与句子的特征;计算过程如下:
其中,是句子词向量编码后第i个时间步隐藏状态,是给定方面向量编码后的第i个时间步隐藏状态;
生成句子隐藏状态序列和给定方面隐藏状态序列同时将HC和Ht通过池化技术获得对应隐藏状态序列平均值,计算过程如下:
T4:将神经网络层的输出HC,Ht,传入注意力层,利用HC与生成句子隐藏状态的加权表示rc,利用Ht与生成给定方面隐藏状态的加权表示rt,计算过程如下:
其中,αi表示句子中第i个隐藏状态的注意力权重,α为评分函数,计算过程如下:
给定方面的注意力权重计算过程如下:
最终得到句子与给定方面隐藏状态的加权表示计算过程如下:
其中,将注意力层的rc与rt输入注意力层拼接为r,通过softmax分类器进行分类,计算过程如下:
r=[rc;rt](25)
将句子的加权表示r进行线性变换,将其长度转换为类别数|C|,softmax函数将其归一化为0...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。