【技术实现步骤摘要】
基于多标签的情绪-原因对抽取方法及系统
本专利技术涉及自然语言处理技术,特别是一种基于多标签的情绪-原因对抽取方法及系统。
技术介绍
当今社会是一个快速发展的时代,比起在日常生活中面对面交流,人们更倾向于在社交媒体上分享他们的经历和情绪。因此,在线文本的情绪分析成为了自然语言处理领域的一个新挑战。近年来,情绪分析研究主要集中在情绪分类上,如分析人们在Twitter上表达的情绪以及新闻中产生的情绪。随着对该领域的一步步探索,很多工作正逐渐从单一地分析情绪表达向对情绪相关的更深层次研究,比如提取情绪触感、情绪状态迁移、隐含情绪分析等。这些方法只关心人们表达了哪种情感,但是有时候我们更关心为什么会产生这种情感,即产生这种情感的原因,做到“知其然”也“知其所以然”。因此衍生出了情绪原因抽取任务,该任务是情绪分析的一项基础性和挑战性的工作,旨在分析产生某种情绪的具体原因。情绪原因抽取是值得深入研究的一个任务,但是这个任务存在一些问题。首先,如果想抽取出情绪原因必须先对情绪进行标注,这限制了情绪原因抽取在实际场景中的应用。其次, ...
【技术保护点】
1.一种基于多标签的情绪-原因对抽取方法,其特征在于,包括如下步骤:/n数据预处理:将数据集中的样本转化为包含多个子句的文档,并处理出情绪子句和原因子句,通过非标注语料,训练得到具有语义信息的词向量;/n模型训练:将文档中子句的每个词映射成对应的词向量,输入到层次神经网络模型中训练,将训练得到的子句进行多标签预测;/n结果处理:在层次神经网络的基础上,设计情绪预测和原因预测两个辅助任务,利用它们的预测标签作为特征来指导多标签预测。/n
【技术特征摘要】
1.一种基于多标签的情绪-原因对抽取方法,其特征在于,包括如下步骤:
数据预处理:将数据集中的样本转化为包含多个子句的文档,并处理出情绪子句和原因子句,通过非标注语料,训练得到具有语义信息的词向量;
模型训练:将文档中子句的每个词映射成对应的词向量,输入到层次神经网络模型中训练,将训练得到的子句进行多标签预测;
结果处理:在层次神经网络的基础上,设计情绪预测和原因预测两个辅助任务,利用它们的预测标签作为特征来指导多标签预测。
2.根据权利要求1所述基于多标签的情绪-原因对抽取方法,其特征在于,数据预处理的具体方法为:
将数据集中的文档根据标点符号进行划分,得到每个文档中所包含的所有子句;
根据数据集中的标注,处理出情绪子句和原因子句,得到情绪-原因对;
利用在word2vec工具包在微博语料库上训练得到词向量。
3.根据权利要求1所述基于多标签的情绪-原因对抽取方法,其特征在于,模型训练具体方法包括:
将文档中的每个词映射为对应的词向量,并将其作为一层双向LSTM编码,得到融合上下文词序信息的隐藏层表示;
利用注意力机制来获得加权和的子句表示向量;
整个文档包含的子句组成子句序列,将子句序列送入子句级双向LSTM中,得到每个子句的隐层状态表示向量。
4.根据权利要求3所述基于多标签的情绪-原因对抽取方法,其特征在于,模型输入为:
包含多个子句的文档表示为d=[c1,...,ci,...,c|d|],ci表示文档d的第i个子句;每一个子句ci由多个词组成wi,t表示第i个子句的第t个词;情绪-原因对抽取任务的目的是抽取文档d中一系列情绪-原因对:Pair={...,(ce,cc),...},其中ce是情绪子句,cc是原因子句,(ce,cc)表示情绪-原因对。
5.根据权利要求3所述基于多标签的情绪-原因对抽取方法,其特征在于,模型训练具体过程包括:
2-1)将子句的词向量作为双向LSTM的输入,其中一个子句对应一个双向LSTM,双向LSTM隐层状态的输出作为自注意力层的输入;
2-2)注意力层将融合了上下文表示的隐层向量作为输入,计算输入句子中的每个词对子句的贡献程度,并以加权和的形式得到文档子句表示;
2-3)将原因预测这一辅助任务的预测标签和经过注意力层获得的子句表示拼接得到的向量,作为上层双向LSTM的输入,通过对子句进行序列编码,获得集成其他子句上下文信息的子句表示,即双向LSTM的输出;
2-4)将通过层次双向LSTM获得的子句表示和情绪预测这一辅助任务的预测标签拼接,得到的向量用于多标签预测,并通过sigmoid函数获得多标签的预测结果;
2-5)选取交叉熵作为模型训练的损失函数;
2-6)通过反向传播算法训练模型,更新模型的所有参数,得到层次双向LSTM的多标签预测模型。
6.根据权利要求5所述基于多标签的情绪-原因对抽取方法,其特征在于,步骤2-1)中所述双向LSTM的隐层状态表示为:
其...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。