基于对比学习和Adapter网络的隐式篇章关系识别方法及系统技术方案

本发明专利技术提出一种基于对比学习和Adapter网络的隐式篇章关系识别方法及系统，该方法包括获取自然标注的显式篇章关系实例，基于所获取的显式篇章关系实例使用分类代价和对比学习代价联合训练连接词分类模型，基于训练好的连接词分类模型和Adapter网络构建隐式篇章关系识别模型，并基于人工标注的隐式篇章关系实例优化隐式篇章关系识别模型，基于隐式篇章关系识别模型识别隐式篇章关系实例的类别。本发明专利技术解决了现有预训练阶段没有充分有效地利用自然标注的显式篇章关系数据以及基于少量人工标注的数据进行精调时容易造成已有知识的灾难性遗忘的问题。难性遗忘的问题。难性遗忘的问题。

【技术实现步骤摘要】
基于对比学习和Adapter网络的隐式篇章关系识别方法及系统


[0001]本专利技术属于自然语言处理
，尤其涉及一种基于对比学习和Adapter网络的隐式篇章关系识别方法及系统。

技术介绍

[0002]随着传统以字、词、短语、句子级别研究的分析方法已经远远不能满足自然语言理解和生成的需要，越来越多的研究者把研究重点从句子级别转向篇章层级。篇章有时也称语篇或话语，通常指由一系列连续的子句、句子或句群构成的，有意义、传达一个完整信息、前后衔接、语义连贯的语言整体单位。篇章之所以受到关注的原因主要在于以下几点：（1）与句法分析以词为最基本的分析单位不同，篇章分析中以基本篇章单元为基本单元，基本篇章单元切分块通常与人类的语言理解一致；（2）基本篇章单元之间的关系包含了相应的基本篇章单元在整个篇章中的语义功能信息；（3）篇章的结构也表示了整个段落或者句子的组织方式，在一个篇章中，各子句之间并不是杂乱无章的堆放在一起，而是具有一定的层次结构和语义关系，只有分析出其中的层次结构及语义关系，才能对篇章进行深入的分析和理解。其中篇章分析是自然语言处理的一个核心问题，也是近几年的一个研究热点和难点。篇章分析在自动文摘、问答系统、指代消解和篇章连贯性评价等方面都有所应用，而篇章关系识别又是篇章分析的重要环节。
[0003]篇章关系是指同一篇章内部，相邻片段或跨度在一定范围内的两个片段之间的语义连接关系，如条件关系、转折关系、因果关系等。根据篇章片段内部是否有连接词（例如“如果”、“虽然”及“但是”等），篇章关系可分为显式篇章关系和隐式篇章关系这两种类型。由于显式篇章关系的两个篇章单元（子句或句子，也常称为论元）之间存在连接词，所以绝大多数情况下仅根据连接词本身就可以比较准确地识别出其篇章关系。但是在隐式篇章关系的篇章片段内部，由于没有连接词，所以没有明显的词汇信息帮助我们识别其篇章关系。因而，隐式篇章关系识别是自然语言处理中最具挑战性的任务之一，也是篇章结构分析的性能瓶颈所在。该任务的目的是在缺少篇章连接词信息的情况下，自动推断两个篇章单元之间的语义逻辑关系（例如，因果关系）。目前，隐式篇章关系识别的准确率还比较低，尚有较大的提升空间。例如，在英文宾州篇章树库PDTB的第一级篇章关系上的识别准确率在70%左右，更细粒度篇章关系上的识别准确率则更低，在中文篇章树库上的识别准确率也不理想。而根据在中文篇章树库语料（Chinese Discourse TreeBank，CDTB）中的统计，超过70％的篇章关系被标记为隐式篇章关系。所以，准确的识别隐式篇章关系对篇章分析至关重要。
[0004]目前，基于深度学习的隐式篇章关系识别方法取得了比基于人工定义特征的方法更好的效果，成为当前研究的热点之一。从模型的角度可大致分为以下两类：1）基于论元编码的方法：首先利用神经网络分别学习两个论元的语义向量表示，然后推导论元之间的语义关系。2）基于论元交互的方法：首先使用双向注意力机制等神经网络建模论元中的词对或短语之间的局部语义关系，然后推导论元间的语义关系。基于论元编码的方法的缺点是
没有显式地建模论元中词或短语之间的语义关系，导致性能普遍低于基于论元交互的方法。人工标注训练数据的不足常导致基于深度学习的隐式篇章关系识别模型出现过拟合的问题。
[0005]因此，引入显式篇章数据的半监督方法近年来吸引了大量研究人员的关注，其尝试集成大量自然标注的显式篇章关系数据，以缓解训练数据不足的问题，从而进一步提高识别的性能。一方面，不管是基于论元编码的方法还是基于论元交互的方法都面临数据稀疏的问题。另一方面，显式篇章关系实例可认为是由连接词自然标注的数据，例如，“因为”表示因果关系。大量自然标注的显式篇章关系数据可潜在地用于扩充隐式篇章关系识别的训练数据。
[0006]目前，主流的引入显式篇章数据的半监督方法通常包括以下两个阶段：1）预训练阶段：使用大量自然标注的显式篇章关系数据进一步预训练BERT模型；2）精调阶段：基于少量人工标注的隐式篇章关系数据，对上一阶段得到的模型进行精调。然而现有方法主要存在以下的缺点：1）预训练阶段没有充分有效地利用自然标注的显式篇章关系数据；2）基于少量人工标注的数据进行精调时，容易造成预训练模型中已有知识的灾难性遗忘。

技术实现思路

[0007]本专利技术实施例的目的在于提供一种基于对比学习和Adapter网络的隐式篇章关系识别方法及系统，旨在解决现有的问题。
[0008]本专利技术实施例是这样实现的，一种基于对比学习和Adapter网络的隐式篇章关系识别方法，所述方法包括如下步骤：步骤一、获取自然标注的显式篇章关系实例：基于所自定义的模板从自然文本中自动获取与所预设的连接词相关的显式篇章关系实例；步骤二、基于所获取的显式篇章关系实例使用分类代价和对比学习代价联合训练连接词分类模型：所述连接词分类模型包括编码层、池化层和第一分类层；通过给定的显式篇章关系实例构建出所对应的正例和负例，通过编码层对显式篇章关系实例、正例及负例进行计算得到所对应的语义矩阵表示，通过池化层对显式篇章关系实例、正例及负例所对应的语义矩阵表示进行平均池化操作计算得到所对应的语义向量表示，通过第一分类层对显式篇章关系实例的语义向量表示进行计算得到连接词分类结果，并根据交叉熵代价函数对连接词分类结果进行计算得到分类代价；根据对比学习代价函数对显式篇章关系实例、正例及负例的语义向量表示进行计算得到对比学习代价；根据对分类代价和对比学习代价进行线性求和得到连接词分类模型的总代价，以进行连接词分类模型训练；步骤三、基于训练好的连接词分类模型和Adapter网络构建隐式篇章关系识别模型，并基于人工标注的隐式篇章关系实例优化隐式篇章关系识别模型：所述隐式篇章关系识别模型包括取自于连接词分类模型中的编码层，Adapter网络，池化与拼接层，及第二分类层；
通过编码层对隐式篇章关系实例进行计算得到所对应的语义矩阵表示，通过Adapter网络对隐式篇章关系实例的语义矩阵表示进行变换得到变换语义矩阵表示，通过池化与拼接层对隐式篇章关系实例的语义矩阵表示及变换语义矩阵表示进行矩阵拼接操作以及平均池化操作计算得到隐式篇章关系实例的语义向量表示，通过第二分类层对隐式篇章关系实例的语义向量表示进行计算得到预测结果；根据交叉熵代价函数对预测结果进行计算得到交叉熵代价，并基于交叉熵代价调整Adapter网络及第二分类层中的参数以调整隐式篇章关系识别模型；步骤四、基于隐式篇章关系识别模型识别隐式篇章关系实例的类别。
[0009]本专利技术另一实施例的目的还在于提供一种基于对比学习和Adapter网络的隐式篇章关系识别系统，所述系统执行如上述所述的方法，所述系统包括：显式篇章关系实例获取模块，用于获取自然标注的显式篇章关系实例，基于所自定义的模板从自然文本中自动获取与所预设的连接词相关的显式篇章关系实例；连接词分类模型训练模块，用于基于所获取的显式篇章关系实例使用分类代价和对比学习代价联合训练连接词分类模型，所述连接词分类模型包括编码层、池化层和第一分类层；通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习和Adapter网络的隐式篇章关系识别方法，其特征在于，所述方法包括如下步骤：步骤一、获取自然标注的显式篇章关系实例：基于所自定义的模板从自然文本中自动获取与所预设的连接词相关的显式篇章关系实例；步骤二、基于所获取的显式篇章关系实例使用分类代价和对比学习代价联合训练连接词分类模型：所述连接词分类模型包括编码层、池化层和第一分类层；通过给定的显式篇章关系实例构建出所对应的正例和负例，通过编码层对显式篇章关系实例、正例及负例进行计算得到所对应的语义矩阵表示，通过池化层对显式篇章关系实例、正例及负例所对应的语义矩阵表示进行平均池化操作计算得到所对应的语义向量表示，通过第一分类层对显式篇章关系实例的语义向量表示进行计算得到连接词分类结果，并根据交叉熵代价函数对连接词分类结果进行计算得到分类代价；根据对比学习代价函数对显式篇章关系实例、正例及负例的语义向量表示进行计算得到对比学习代价；根据对分类代价和对比学习代价进行线性求和得到连接词分类模型的总代价，以进行连接词分类模型训练；步骤三、基于训练好的连接词分类模型和Adapter网络构建隐式篇章关系识别模型，并基于人工标注的隐式篇章关系实例优化隐式篇章关系识别模型：所述隐式篇章关系识别模型包括取自于连接词分类模型中的编码层，Adapter网络，池化与拼接层，及第二分类层；通过编码层对隐式篇章关系实例进行计算得到所对应的语义矩阵表示，通过Adapter网络对隐式篇章关系实例的语义矩阵表示进行变换得到变换语义矩阵表示，通过池化与拼接层对隐式篇章关系实例的语义矩阵表示及变换语义矩阵表示进行矩阵拼接操作以及平均池化操作计算得到隐式篇章关系实例的语义向量表示，通过第二分类层对隐式篇章关系实例的语义向量表示进行计算得到预测结果；根据交叉熵代价函数对预测结果进行计算得到交叉熵代价，并基于交叉熵代价调整Adapter网络及第二分类层中的参数以调整隐式篇章关系识别模型；步骤四、基于隐式篇章关系识别模型识别隐式篇章关系实例的类别。2.如权利要求1所述的基于对比学习和Adapter网络的隐式篇章关系识别方法，其特征在于，所述通过编码层对显式篇章关系实例、正例及负例进行计算得到所对应的语义矩阵表示的公式表达式为：；；；其中，为的语义矩阵表示，为的语义矩阵表示，为的语义矩阵表
示，为显式篇章关系实例，为显式篇章关系实例的正例，为显式篇章关系实例的负例，为使用预训练好的BERT模型中的参数初始化的编码层；所述通过池化层对显式篇章关系实例、正例及负例所对应的语义矩阵表示进行平均池化操作计算得到所对应的语义向量表示的公式表达式为：；；；其中，为的语义向量表示，为的语义向量表示，为的语义向量表示，为平均池化操作；所述通过第一分类层对显式篇章关系实例的语义向量表示进行计算得到连接词分类结果的公式表达式为： ；其中，第一分类层由一个全连接层和一个softmax函数变换组成，为连接词分类结果，和是全连接层中的参数，为的语义向量表示。3.如权利要求2所述的基于对比学习和Adapter网络的隐式篇章关系识别方法，其特征在于，所述根据交叉熵代价函数对连接词分类结果进行计算得到分类代价的公式表达式为：；其中，为分类代价，为连接词分类模型的参数集，为显式篇章关系实例的真实类别， 为连接词分类结果关于真实类别的期望值，为所给定的所有显式篇章关系实例、所对应的正例和负例、以及显式篇章关系实例的真实类别所组合成的一个显式篇章关系数据集。4.如权利要求3所述的基于对比学习和Adapter网络的隐式篇章关系识别方法，其特征在于，所述根据对比学习代价函数对显式篇章关系实例、正例及负例的语义向量表示进行计算得到对比学习代价的公式表达式为：；
；；其中，为对比学习代价，为的语义向量表示，为的语义向量表示，为的语义向量表示，为度量两个向量间的余弦距离，为向量的2
‑
范数，表示向量的转置。5.如权利要求4所述的基于对比学习和Adapter网络的隐式篇章关系识别方法，其特征在于，所述根据对分类代价和对比学习代价进行线性求和得到连接词分类模型的总代价的公式表达式为：；其中，为总代价，为分类代价，为对比学习代价，为权重系数，用于调节分类代价和对比学习代价的重要程度。6.如权利要求1所述的基于对比学习和Adapter网络的隐式篇章关系识别方法，其特征在于，所述通过编码层对隐式篇章关系实例进行计算得到所对应的语义矩阵表示的公式表达式为：；；其中，为隐式篇章关系实例在第层的语义矩阵表示，为隐式篇章关系实例在第12层的语义矩阵表示，为编码层...

【专利技术属性】
技术研发人员：邬昌兴，熊锦晖，姚浩，谢子若，李雄，
申请(专利权)人：华东交通大学，
类型：发明
国别省市：