基于依存句法预训练模型的篇章级关系抽取方法及系统技术方案

本发明专利技术公开了基于依存句法预训练模型的篇章级关系抽取方法及系统，涉及自然语言处理技术领域，分别采用直接转换、双仿射转换和分解线性变换将依存句法信息引入到预训练模型中，分别比较不同引入方式的特点，分析依存句法信息对预训练模型的作用，同时探索图结构对预训练模型的辅助作用；将实体特征表示与实体间的距离特征进行拼接，丰富了实体的信息，有利于后续的篇章级关系抽取任务。本发明专利技术解决了目前预训练模型在篇章级关系抽取中处理长距离文本困难以及弱依赖的问题，不仅提高了预训练模型在篇章级关系抽取任务中处理长文本的能力和性能的精度，并且也探索出了图结构本身对预训练模型具有的辅助作用。对预训练模型具有的辅助作用。对预训练模型具有的辅助作用。

【技术实现步骤摘要】
基于依存句法预训练模型的篇章级关系抽取方法及系统


[0001]本专利技术涉及自然语言处理
，特别是涉及基于依存句法与训练模型的篇章级关系抽取方法及系统。

技术介绍

[0002]关系抽取是从纯文本中抽取未知的关系事实，是文本挖掘工作非常重要的一个步骤。关系抽取有很多非常关键的现实应用，如问答任务和文本分析任务。大多数关系抽取只关注于单个句子内的关系事实，然后很多关系事实并不只是存在于单个句子中，而是分布在多个句子中。因此关系抽取任务逐渐发展到篇章级。
[0003]目前，主流的篇章级关系抽取的方法大致可以分为三类：
[0004](1)、基于设计不同级别的特征提取器。这种方法利用不同等级的特征提取器分别抽取令牌级、句子级和篇章级的特征，但是这种方法在处理长文本问题上仍然具有很大的挑战。
[0005](2)、基于图结构的方法，该方法充分利用了图卷积神经网络在挖掘结构特征中的独特优势，这种方法中图结构一般在编码结构之后，由于图结构和编码结构本质上的结构差异性，严重影响了该方法的效果。
[0006](3)、基于预训练模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于依存句法预训练模型的篇章级关系抽取方法，其特征在于，所述方法包括：S1、获取篇章级关系抽取数据集，并对所述篇章级关系抽取数据集中的各篇文章进行处理，获取表示整篇文章中各个词间依赖关系的篇章级依存句法树，并且将所述篇章级依存句法树转化成相对应的邻接矩阵；所述篇章级关系抽取数据集中的数据包括每篇文章中包括的单词序列、单词序列中的实体信息和实体间的关系信息；S2、将所述单词序列分别映射到查询向量、键向量和值向量空间；计算任意两个词之间的注意力值；采用直接转换、双仿射转换或分解线性变换将S1得到的所述篇章级依存句法树相对应的邻接矩阵引入到注意力的计算中，得到注意力偏量，最后将得到的注意力偏量与原始注意力值相加得到最终的受依存句法信息指导的注意力值，得到基于依存句法信息指导的预训练模型；S3、将所述单词序列输入到S2得到的基于依存句法预训练模型中，对数据进行特征提取，得到实体特征表示；S4、计算实体之间的相对距离，并将所述实体之间的相对距离与S3得到的实体特征表示进行拼接，得到实体特征的增强表示；S5、将S4得到的实体特征表示进行矩阵变换，形成头实体和尾实体；将头实体和尾实体输入到双线性变换中对任意两个实体进行关系预测，最终得到任意两个实体之间的关系概率分布，从而抽取实体之间的关系。2.根据权利要求1所述的一种基于依存句法预训练模型的篇章级关系抽取方法，其特征在于，采用直接转换的方式将S1处理后得到的所述篇章级依存句法树相对应的邻接矩阵引入到注意力的计算中，包括：将篇章级依存句法信息的邻接矩阵直接作用于查询向量q和键向量k上，只保留具有依存关系的两个词之间的注意力值，再为每个依赖增加一个偏量：其中，为第l层上第i个词x
i
对应的查询向量，为第l层上第j个词x
j
对应的键向量，A
ij
表示x
i
和x
j
间的依赖关系，如果x
i
依赖x
j
，A
ij
则为1，否则为0，增加的偏量。3.根据权利要求1所述的一种基于依存句法预训练模型的篇章级关系抽取方法，其特征在于，采用双仿射转换的方式将S1处理后得到的所述篇章级依存句法树相对应的邻接矩阵引入到注意力的计算中，包括：使用权重矩阵参数化篇章级依存句法信息所对应的邻接矩阵，使其成为一个可训练的神经网络层，同直接转换一样为每个依赖增加一个偏量：其中，W
bili
作为可训练的权重，其作用相当于参数化A
ij
，使A
ij
成为可训练的神经网络层。4.根据权利要求1所述的一种基于依存句法预训练模...

【专利技术属性】
技术研发人员：张益嘉，杨名，楚子漪，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：