当前位置: 首页 > 专利查询>天津大学专利>正文

基于TransS驱动的互激励神经网络的隐式篇章关系识别方法技术

技术编号:24331206 阅读:49 留言:0更新日期:2020-05-29 19:40
本发明专利技术公开一种基于TransS驱动的互激励神经网络的隐式篇章关系识别方法,包括如下步骤:(1)构建论元和篇章关系的嵌入层;(2)篇章论元的表示学习;(3)构建注意力机制增强的表示学习;(4)构建句子翻译嵌入模块(Translating Sentence Embedding,TransS);(5)构建篇章关系识别模块;(6)构建互激励机制;该方法首先利用论元对‑关系嵌入层得到论元对和关系的嵌入向量,进而通过论元对‑关系编码层和引入注意力机制建模论元对和关系的分布式表示,最后通过TransS和关系识别模块间的相互引导,优化表示参数,提升关系识别性能。

An implicit text relation recognition method based on transs driven mutual excitation neural network

【技术实现步骤摘要】
基于TransS驱动的互激励神经网络的隐式篇章关系识别方法
本专利技术涉及自然语言处理中篇章分析
,尤其是涉及篇章关系识别技术,具体为一种基于TransS驱动的互激励神经网络的隐式篇章关系识别方法。
技术介绍
篇章关系描述了两个相邻的文本单元(例如,从句,句子和较大的句子组)如何在逻辑上彼此连接,通常被定义为带有两个论元的连词(分别为Arg1和Arg2)。显式篇章关系可以很容易被识别出来,其精度约为94%,而隐式篇章关系识别则没有显式连接词。因此隐式篇章关系识别仍然是一个具有挑战性的问题,其需要从特定上下文进行关系推断。隐式篇章关系识别有利于许多流行自然语言处理(NaturalLanguageProcessing,NLP)应用,如机器翻译、文本摘要、对话系统等。现有的神经网络模型在识别隐式篇章关系方面取得了一定的成功:(1)基础神经网络可以学习到篇章论元的密集向量表示,在一定程度上可以捕获语义信息,如卷积神经网络(ConvolutionalNeuralNetwork,CNN)和循环神经网络(RecurrentNeuralNetwork,RNN)[1-3];(2)进一步的研究利用了不同的注意力或记忆机制捕获论元对的重要信息[4,5];(3)复杂神经模型利用门控关联网络或神经张量网络来捕获两个篇章论元之间更深层次的交互信息[6-8]。尽管它们获取了论元的关键信息和两个论元之间的交互信息,但仍然存在以下不足:·忽略了对论元中有效语义信息的选择;·没有充分利用语料已标注关系信息来探究论元对-关系的特征;·分开研究论元表示和关系识别,忽略了它们之间的相互激励作用。实体翻译嵌入模型(TransE)是预测知识图谱中实体之间缺失关系的一种有效方法,通过把实体关系解释为实体在低维向量空间中的翻译操作来建模关系[9],即如果(he,le,te)成立,则符合尾实体向量te应该接近于头实体向量he加上关系向量le,但是并没有在句子级别上得到有效地应用。
技术实现思路
本专利技术的目的是为了克服现有技术中的不足,提供一种基于TransS驱动的互激励神经网络的隐式篇章关系识别方法,该方法为了更好进行隐式篇章关系识别,构建了基于TransS驱动的互激励神经网络。其中,句子翻译嵌入模块(TranslatingSentenceEmbedding,TransS)和关系识别模块相互激励、相互指导。该方法首先利用论元对-关系嵌入层得到论元对和关系的嵌入向量,进而通过论元对-关系编码层和引入注意力机制建模论元对和关系的分布式表示,最后通过TransS和关系识别模块间的相互引导,优化表示参数,提升关系识别性能。本专利技术的目的是通过以下技术方案实现的:基于TransS驱动的互激励神经网络的隐式篇章关系识别方法,包括如下步骤:(1)构建论元和篇章关系的嵌入层;篇章论元对(Arg1,Arg2)与其对应的篇章关系分别表示为词向量序列和词向量,然后通过单词的逐一映射,得到两个篇章论元的向量矩阵,以及其对应篇章关系的低维分布式表示;(2)篇章论元的表示学习;将篇章论元Arg1、Arg2的向量表示分别作为正向长短期记忆网络(LongShort-TermMemory,LSTM)层和反向LSTM层,即双向LSTM神经网络(BidirectionalLongShort-TermMemory,BiLSTM)的输入,编码得到两个篇章论元的抽象表示;(3)构建注意力机制增强的表示学习;利用注意力机制捕获篇章论元中重要的词汇信息,将捕获到的重要词汇信息融入基本的表示学习中,以加深对篇章论元的语义理解,从而获取融合重要信息的篇章论元表示;(4)构建句子翻译嵌入模块(TranslatingSentenceEmbedding,TransS);TransS将篇章论元之间的语义关系翻译到低维向量空间,并得到篇章论元对及其关系之间的几何结构;同时,TransS模块所保留的几何结构信息能够作为篇章关系识别的指导;(5)构建篇章关系识别模块;将TransS模块所得的包含几何结构信息的论元表示输入篇章关系识别模块,并为TransS模块提供已学到的篇章关系语义信息,以帮助TransS模块更好地学习论元表示;(6)构建互激励机制;TransS和篇章关系识别两个模块的互相激励、互相指导,共同优化单词表示,可以更好地学习新的融合几何结构信息的篇章论元表示,以提高篇章关系识别能力。进一步的,步骤(1)中具体如下:实现单词的嵌入,捕捉单词的内在属性,即将语料词表中所有单词与预训练所得的低维、连续词向量表示对应起来,得到语料中所有单词的向量表示;将篇章论元对以及其对应的篇章关系转化为向量表示;在形式上将嵌入层看作是一个投影层,其中单词嵌入根据索引进行查找表操作实现,即将索引转换为固定大小的稠密向量;从而获取两个篇章论元的向量矩阵,以及其对应篇章关系的低维分布式表示。进一步的,步骤(2)具体包括:通过LSTM对单词序列进行建模;对于第t个时间步,LSTM读取单词xt作为输入,ht作为输出,具体公式如下:ht=ot⊙tanh(ct)(17)其中,it,ft,ot,ct,ht分别表示输入门、遗忘门、输出门、存储单元和隐藏状态;TA,b是依赖于网络参数的映射变换矩阵;ct-1表示上一时刻(t-1)的存储单元状态,是当前时刻存储单元到即时状态,ht-1表示t-1时刻的隐藏层状态;σ表示sigmoid函数,双曲正切函数tanh是在t-1时刻作用于ht-1和TA,b上的激活函数,⊙表示元素乘积;利用双向LSTM神经网络(BidirectionalLongShort-TermMemory,BiLSTM)对论元序列进行建模;BiLSTM通过正向和反向两个单独的LSTM保存历史和未来信息;得到在序列的每个时间步长t处的两个表示和后将它们拼接在一起作为句子向量表示进一步的,步骤(3)具体包括:引入注意力控制机制捕获到对关系识别有帮助的词汇,忽略对关系识别不重要的词汇,将关注重点放在包含重要信息的词汇上以增强篇章论元对的语义理解,更有效地学习包含重要信息的表示;M=tanh(H)(18)α=softmax(wTM)(19)公式(4)中,H是由输出向量[h1,h2,...,hn]组成的矩阵,其中n是论元的长度,即每个论元所包含的单词数量,d表示单词的维度,H经过双曲正切函数tanh函数而得到隐藏层状态向量表示矩阵M;公式(5)中,w表示权重参数向量;softmax函数将加权的隐藏层状态向量表示矩阵M转化为概率分布,称为每个单词的注意力值;公式(6)中,是由输出向量进行加权求和计算得到的新的论元向量表示,α的转置αT作为输出向量的权重;最后,根据公式(7)对上一步结果加入激活函数tanh,从而获取体现出其自身重要信息的篇章论元表示h*。进一步的,步骤(4)具体包括:TransS通过将论元对及其关系在低维向量空间中的位置信息进行建模,捕本文档来自技高网
...

【技术保护点】
1.基于TransS驱动的互激励神经网络的隐式篇章关系识别方法,其特征在于,包括如下步骤:/n(1)构建论元和篇章关系的嵌入层;篇章论元对(Arg1,Arg2)与其对应的篇章关系分别表示为词向量序列和词向量,然后通过单词的逐一映射,得到两个篇章论元的向量矩阵,以及其对应篇章关系的低维分布式表示;/n(2)篇章论元的表示学习;将篇章论元Arg1、Arg2的向量表示分别作为正向长短期记忆网络(Long Short-Term Memory,LSTM)层和反向LSTM层,即双向LSTM神经网络(Bidirectional Long Short-Term Memory,BiLSTM)的输入,编码得到两个篇章论元的抽象表示;/n(3)构建注意力机制增强的表示学习;利用注意力机制捕获篇章论元中重要的词汇信息,将捕获到的重要词汇信息融入基本的表示学习中,以加深对篇章论元的语义理解,从而获取融合重要信息的篇章论元表示;/n(4)构建句子翻译嵌入模块(Translating Sentence Embedding,TransS);TransS将篇章论元之间的语义关系翻译到低维向量空间,并得到篇章论元对及其关系之间的几何结构;同时,TransS模块所保留的几何结构信息能够作为篇章关系识别的指导;/n(5)构建篇章关系识别模块;将TransS模块所得的包含几何结构信息的论元表示输入篇章关系识别模块,并为TransS模块提供已学到的篇章关系语义信息,以帮助TransS模块更好地学习论元表示;/n(6)构建互激励机制;TransS和篇章关系识别两个模块的互相激励、互相指导,共同优化单词表示,可以更好地学习新的融合几何结构信息的篇章论元表示,以提高篇章关系识别能力。/n...

【技术特征摘要】
1.基于TransS驱动的互激励神经网络的隐式篇章关系识别方法,其特征在于,包括如下步骤:
(1)构建论元和篇章关系的嵌入层;篇章论元对(Arg1,Arg2)与其对应的篇章关系分别表示为词向量序列和词向量,然后通过单词的逐一映射,得到两个篇章论元的向量矩阵,以及其对应篇章关系的低维分布式表示;
(2)篇章论元的表示学习;将篇章论元Arg1、Arg2的向量表示分别作为正向长短期记忆网络(LongShort-TermMemory,LSTM)层和反向LSTM层,即双向LSTM神经网络(BidirectionalLongShort-TermMemory,BiLSTM)的输入,编码得到两个篇章论元的抽象表示;
(3)构建注意力机制增强的表示学习;利用注意力机制捕获篇章论元中重要的词汇信息,将捕获到的重要词汇信息融入基本的表示学习中,以加深对篇章论元的语义理解,从而获取融合重要信息的篇章论元表示;
(4)构建句子翻译嵌入模块(TranslatingSentenceEmbedding,TransS);TransS将篇章论元之间的语义关系翻译到低维向量空间,并得到篇章论元对及其关系之间的几何结构;同时,TransS模块所保留的几何结构信息能够作为篇章关系识别的指导;
(5)构建篇章关系识别模块;将TransS模块所得的包含几何结构信息的论元表示输入篇章关系识别模块,并为TransS模块提供已学到的篇章关系语义信息,以帮助TransS模块更好地学习论元表示;
(6)构建互激励机制;TransS和篇章关系识别两个模块的互相激励、互相指导,共同优化单词表示,可以更好地学习新的融合几何结构信息的篇章论元表示,以提高篇章关系识别能力。


2.根据权利要求1所述基于TransS驱动的互激励神经网络的隐式篇章关系识别方法,其特征在于,步骤(1)中具体如下:实现单词的嵌入,捕捉单词的内在属性,即将语料词表中所有单词与预训练所得的低维、连续词向量表示对应起来,得到语料中所有单词的向量表示;将篇章论元对以及其对应的篇章关系转化为向量表示;在形式上将嵌入层看作是一个投影层,其中单词嵌入根据索引进行查找表操作实现,即将索引转换为固定大小的稠密向量;从而获取两个篇章论元的向量矩阵,以及其对应篇章关系的低维分布式表示。


3.根据权利要求1所述基于TransS驱动的互激励神经网络的隐式篇章关系识别方法,其特征在于,步骤(2)具体包括:通过LSTM对单词序列进行建模;对于第t个时间步,LSTM读取单词xt作为输入,ht作为输出,具体公式如下:






ht=ot⊙tanh(ct)(3)
其中,it,ft,ot,ct,ht分别表示输入门、遗忘门、输出门、存储单元和隐藏状态;TA,b是依赖于网络参数的映射变换矩阵;ct-1表示上一时刻(t-1)的存储单元状态,是当前时刻存储单元到即时状态,ht-1表示t-1时刻的隐藏层状态;σ表示sigmoid函数,双曲正切函数tanh是在t-1时刻作用于ht-1和TA,b上的激活函数,⊙表示元素乘积;
利用双向LSTM神经网络(BidirectionalLongShort-TermMemory,BiLSTM)对论元序列进行建模;BiLSTM通过正向和反向两个单独的LSTM保存历史和未来信息;得到在序列的每个时间步长t处的两个表示和后将它们拼接在一起作为句子向量表示


4.根据权利要求1所述基于TransS驱动的互激励神经网络的隐式篇章关系识别方法,其特征在于,步骤(3)具体包括:引入注意力控制机制捕获到对关系识别有帮助的词汇,忽略对关系识别不重要的词汇,将关注重点放在包含重要信息的词汇上以增强篇章论元对的语义理解,更有效地学习包含重要信息的表示;
M=tanh(H)(4)
α=softmax(wTM)(5)






公式(4)中,H是由输出向量[h1,h2,...,hn]组成的矩阵,其中n是论元的长度,即每个论元所包含的单词数量,d表示单词的维度,H经过双曲正切函数tanh函数而得到隐藏层状态向量表示矩阵M;公式(5)中,w表示权重参数向量;...

【专利技术属性】
技术研发人员:贺瑞芳王建郭凤羽党建武贺迎春朱永凯
申请(专利权)人:天津大学
类型:发明
国别省市:天津;12

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1