基于动态路由的交互式胶囊网络的隐式篇章关系识别方法技术

本发明专利技术公开一种基于动态路由的交互式胶囊网络的隐式篇章关系识别方法，本方法利用一种动态交互路由从多种篇章关系的角度充分捕获论元交互；并且以迭代细化的方式将论元特征聚合为潜在的篇章关系表示，以获得论元特征的篇章关系暗示性语义线索。此外，通过考虑所有可能的篇章关系，有效捕获复杂的论元交互模式，从而做出更准确的篇章关系预测。

【技术实现步骤摘要】
基于动态路由的交互式胶囊网络的隐式篇章关系识别方法
本专利技术涉及自然语言处理中篇章分析
，尤其是涉及篇章关系识别技术，具体为一种基于动态路由的交互式胶囊网络的隐式篇章关系识别方法。
技术介绍
篇章关系描述了两个相邻的文本单元(如篇章单元，从句或者句子)，被称为Arg1和Arg2，在逻辑上如何关联(如因果关系，对比关系)。由于缺乏显式连接词，隐式篇章关系识别仍然具有挑战性(Pitleretal.,2009)[1]。识别篇章关系可以帮助许多自然语言处理(NaturalLanguageProcessing,NLP)任务，如机器翻译(Meyeretal.，2015)[2]、对话系统(Maetal.，2019)[3]等。随着深度学习在NLP领域的空前成功，基于神经网络的模型已成为隐式篇章关系识别的主流方向，并取得了令人鼓舞的性能提升。主要包括：1)基于表示的神经网络；2)基于交互的模型。前者大多利用基本的神经网络(如卷积神经网络(ConvolutionalNeuralNetworks,CNNs)、循环神经网络(RecurrentNeura本文档来自技高网...

【技术保护点】
1.基于动态路由的交互式胶囊网络的隐式篇章关系识别方法，其特征在于，包括如下步骤：/n(101)构建双向长短期记忆神经网络层：将篇章论元Arg1、Arg2的向量表示作为双向长短期记忆神经网络的输入，编码得到篇章论元Arg1、Arg2的抽象表示；/n(102)构建论元特征胶囊层：将步骤(101)得到的论元抽象表示输入到卷积神经网络中，并利用若干个不同的卷积核在论元抽象表示的不同位置抽取N-gram特征，获得一系列论元特征胶囊，以实现论元特征抽取；/n(103)构建篇章关系感知的交互层：将论元特征胶囊聚合为表示潜在篇章关系的篇章关系胶囊，并从多种篇章关系的角度捕获论元交互；一方面，通过特征聚合构建...

【技术特征摘要】
1.基于动态路由的交互式胶囊网络的隐式篇章关系识别方法，其特征在于，包括如下步骤：
(101)构建双向长短期记忆神经网络层：将篇章论元Arg1、Arg2的向量表示作为双向长短期记忆神经网络的输入，编码得到篇章论元Arg1、Arg2的抽象表示；
(102)构建论元特征胶囊层：将步骤(101)得到的论元抽象表示输入到卷积神经网络中，并利用若干个不同的卷积核在论元抽象表示的不同位置抽取N-gram特征，获得一系列论元特征胶囊，以实现论元特征抽取；
(103)构建篇章关系感知的交互层：将论元特征胶囊聚合为表示潜在篇章关系的篇章关系胶囊，并从多种篇章关系的角度捕获论元交互；一方面，通过特征聚合构建论元与篇章关系之间的相关性，从而捕获论元特征的篇章关系暗示性语义线索；另一方面，通过动态交互式路由进一步捕获篇章关系感知的论元交互；
(104)构建篇章关系识别层：利用步骤(103)生成的表示潜在篇章关系的篇章关系胶囊对隐式篇章关系进行识别。


2.根据权利要求1所述基于动态路由的交互式胶囊网络的隐式篇章关系识别方法，其特征在于，步骤(101)中具体如下：给定包含L个单词的论元的向量表示S＝{w1,w2,...wL}，通过查找表操作，每个单词由一个dw维的向量表示；为了获得每个单词的上下文信息，利用双向长短期记忆网络将论元编码成隐状态；









其中，wt表示论元中的每个单词，LSTMfw和LSTMbw分别为正向LSTM和反向LSTM，拼接和即单词在正反两个方向上的隐表示以得到单词的隐状态dh为双向长短期记忆神经网络中隐单元的数量；因此，得到整个论元的表示为hL表示第L个单词的隐表示。


3.根据权利要求1所述基于动态路由的交互式胶囊网络的隐式篇章关系识别方法，其特征在于，步骤(102)中具体如下：为了从论元抽象表示H中抽取N-gram特征，在局部区域进行卷积操作，以获得论元特征胶囊ui：



其中f是非线性激活函数，为一个卷积核组，Kt×dh为卷积核的尺寸，Kt为卷积操作的N-gram大小，t表示卷积核组的数量，d表示论元特征胶囊的维度，表示逐元素乘法，b是偏差项；在H上滑动所有的卷积核组后，拼接获得的多个特征图，最终得到一组论元特征胶囊其中r的计算方法为：



利用不同的卷积核组重复上述步骤C次，论元特征胶囊层的最终输出计算如下：



即是得到的所有论元特征胶囊，M为胶囊的数量，并且M＝r×C。


4.根据权利要求1所述基于动态路由的交互式胶囊网络的隐式篇章关系识别方法，其特征在于，步骤(103)中具体如下：
1)特征聚合；利用动态路由将论元特征胶囊聚合为潜在篇章关系表示；以迭代方式构建非线性映射，以确保每个...

【专利技术属性】
技术研发人员：韩玉桂，贺瑞芳，任冬伟，贺迎春，朱永凯，黄静，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12