【技术实现步骤摘要】
本专利技术属于自然语言处理，具体为一种基于关系依赖信息的篇章关系抽取方法。
技术介绍
1、信息技术的不断发展，文本数据已经成为人类社会中最主要的信息载体之一。现在的人们已经可以随时随地使用移动设备，通过互联网去发送消息和搜索答案。然而，信息的爆炸增长也使得大量垃圾信息和低价值信息充斥在互联网各个角落，许多高价值的信息和知识被淹没在数字洪流中，使得目标人群获取高价值信息的代价越来越大。所以，人们迫切的希望研究一种自动化技术，能够让机器从海里非结构化文本中剔除垃圾信息，帮助人们筛选信息中有价值的部分，并以结构化的方式进行呈现，这也是自然语言处理领域的一个显著难题。
2、关系抽取旨在从非结构化的文本中，识别实体间的关系，将其中有关系的实体对转化为结果化三元组，其格式为<实体概念1，实体间关系，实体概念2>。例如，在句子“小明是一班的班长”中，就可以表示为结构化三元组<小明，班长，一班>。早期的关系抽取主要是基于规则的，通过构建文本模板和触发词并利用人为构造的抽取规则进行关系三元组的抽取。但新关系、新实体层出不穷，人为的规则往往需要需要大量的人力和时间，且很难满足大规模、高效率的关系抽取需要。随着深度学习技术的发展和成熟，文本可以转化为向量的方式进行处理，极大促进了关系抽取的研究。
3、早期利用深度学习技术的关系抽取方法，主要包括编码模块和分类模块，编码模块主要是利用成熟的神经网络模型如cnn、rnn等对文本信息进行编码，得到文本的向量表示，通过分类模块利用双线性函数计算分类结果，通过大规
4、相比于早期研究句子级关系抽取，篇章级关系抽取由于更贴近现实场景，引起了越来越多研究人员的关注。相比于句子级的关系抽取任务，篇章级关系抽取考虑了同一实体在不同句子中提及不同的情况，这使得篇章级关系抽取在实体的表达上更为多样，因此在构建模型时，需要嵌入更加丰富的上下文信息来增强实体特征表示。在篇章关系抽取嵌入上下文信息的研究中，主要有基于序列的篇章关系抽取和基于图神经网络的篇章关系抽取两种方法
5、基于序列的篇章关系抽取方法主要通过选择合适的编码器，对整篇文档中句子和单词进行编码。devlin等人首次将bert预训练模型用于文档级关系抽取任务中，将带有实体位置标注的输入文本通过bert预训练模型进行编码，送入到神经网络后得到头尾实体特征向量，将头尾实体拼接利用分类器得到实体关系抽取结果。two-step模型，通过两阶段的方法对实体类别进行细粒度分类，提高模型抽取复杂关系的准确性。这些方法通过依靠transformer处理长文本时的优异表现，能够为实体嵌入上下文信息用于关系抽取，但这种上下文信息仅仅考虑周围单词和句子的语义信息，没有考虑篇章多个句子的提及结构信息对头尾实体的影响，所以其表现很难进一步提升。
6、基于文档图的篇章关系抽取方法主要通过将输入篇章抽象成一张无向图，其中节点可以表示提及、实体或句子，边可以表示同构节点或异构节点间的关联关系通过利用图神经网络聚合无向图的信息，将篇章的全局结构信息作为上下文嵌入到节点中用于关系抽取。geda模型通过将实体和上下文建模成图结构能够增强模型的特征表达，再利用双重注意力网络学习篇章中的关键特征，取得了良好的表现，lsr模型通过将文章的图结构看作一个可学习的潜在变量，通过自动引导潜在图结构的生成来学习实体间的关系。这种方式能够比gead获得更加丰富的结构信息。ssan模型在建模图结构的同时，利用注意力机制对实体间的学习实体间的依赖关系，获得了良好的实体表示。
7、关系抽取领域在近些年取得了非常大的进步，呈现出从句子级迈向篇章级、从简单语义到复杂语义、从单句到跨句的特点。随着深度学习的不断发展，引入神经网络和预训练模型提取篇章中的实体上下文已经成为业界主要研究趋势。但目前的篇章中实体提及众多，大多数实体对间并不存在三元组关系。因此为了更加准确的抽取篇章中实体对关系，深入挖掘实体间的关联关系，利用实体间的依赖信息是非常必要的。
技术实现思路
1、本专利技术的目的在于提供一种基于关系依赖信息的篇章关系抽取方法，以解决
技术介绍
中提出的以下技术问题：
2、现有技术在篇章关系抽取方法因篇章实体间依赖信息提取有限导致的假正例问题。
3、为解决上述技术问题，本专利技术所采用的技术方案是：
4、一种基于关系依赖信息的篇章关系抽取方法，包括以下步骤；
5、s1，通过文本编码模块得到文本的向量表示；
6、s2，通过文本编码模块中的注意力头对实体的上下文特征进行计算，得到的实体的嵌入；
7、根据实体的嵌入，通过实体对特征提取器，利用双线性函数计算实体对的上下文信息，得到实体对的特征嵌入；
8、s3，构建实体对关联矩阵来表示篇章中所有实体对的关联信息，其中，关联矩阵上每个元素为对应实体对的特征嵌入；通过对实体对上的元素进行分析，得到关系依赖信息；
9、在关联矩阵中，利用两个双向自注意力机制采样实体对的特征嵌入并得到实体对之间的依赖关系；利用实体对之间的依赖关系得到实体对的增强表示；
10、s4，连接实体的嵌入、实体对的特征嵌入以及实体对的增强表示，通过全连接神经网络对实体对的关系进行预测；
11、s5，将神经网络模型样本空间划分为正例集合和负例集合，引入门限类作为每个样本的阈值类；
12、概率大于门限类的实体对为正例概率，小于门限类的实体对为负类概率；
13、根据正例概率和阈值类概率，构建自适应损失函数；
14、s6，利用神经网络模型得到预测的三元组关系。
15、进一步地，步骤s1中，文本编码模块采用预训练的bert-base模型，通过bert-base模型对文本编码并将文本转换为向量表示。
16、
17、进一步地，步骤s2中，通过c(s，o)＝htq(s，o)计算得到实体对的局部上下文嵌入表示，将得到的局部上下文嵌入表示与步骤s1中的实体文本向量进行融合得到实体对的特征嵌入；
18、其中，其中表示实体s的注意力输出，q(s,o)表示上下文信息，h为文本向量。c(s,o)表示实体对上下文嵌入表示。
19、进一步地，通过与将得到的局部上下文嵌入表示与步骤s1中的实体文本向量进行融合。
20、进一步地，步骤s3中，将实体嵌入zs拆分为大小相同的组实体嵌入zo进行相同拆分，计算每个维度的实体对特征，聚合后得到实体对的特征嵌入。
21、进一步地，步骤s3中，利用两个双向自注意力机制采样实体对特征嵌入计算方式为：
22、
23、
24、其中q，k分别表示自注意力机制中的实体对中的查询和键，v表示查询信息内容；e1，e2，e3表示文章本文档来自技高网...
【技术保护点】
1.一种基于关系依赖信息的篇章关系抽取方法，其特征在于：包括以下步骤；
2.根据权利要求1所述的一种基于关系依赖信息的篇章关系抽取方法，其特征在于：步骤S1中，文本编码模块采用预训练的Bert-base模型，通过Bert-base模型对文本编码并将文本转换为向量表示。
3.根据权利要求2所述的一种基于关系依赖信息的篇章关系抽取方法，其特征在于：步骤S2中，通过计算得到实体对的局部上下文嵌入表示，将得到的局部上下文嵌入表示与步骤S1中的实体文本向量进行融合得到实体对的特征嵌入；
4.根据权利要求3所述的一种基于关系依赖信息的篇章关系抽取方法，其特征在于：通过与将得到的局部上下文嵌入表示与步骤S1中的实体文本向量进行融合。
5.根据权利要求1所述的一种基于关系依赖信息的篇章关系抽取方法，其特征在于：步骤S3中，将实体嵌入Zs拆分为大小相同的组实体嵌入Zo进行相同拆分，计算每个维度的实体对特征，聚合后得到实体对的特征嵌入。
6.根据权利要求1所述的一种基于关系依赖信息的篇章关系抽取方法，其特征在于：步骤S3中，利用两个双向自注
7.根据权利要求6所述的一种基于关系依赖信息的篇章关系抽取方法，其特征在于：自注意力机制中的Q、K、V采样方式为：
...【技术特征摘要】
1.一种基于关系依赖信息的篇章关系抽取方法，其特征在于：包括以下步骤；
2.根据权利要求1所述的一种基于关系依赖信息的篇章关系抽取方法，其特征在于：步骤s1中，文本编码模块采用预训练的bert-base模型，通过bert-base模型对文本编码并将文本转换为向量表示。
3.根据权利要求2所述的一种基于关系依赖信息的篇章关系抽取方法，其特征在于：步骤s2中，通过计算得到实体对的局部上下文嵌入表示，将得到的局部上下文嵌入表示与步骤s1中的实体文本向量进行融合得到实体对的特征嵌入；
4.根据权利要求3所述的一种基于关系依赖信息的篇章关系抽取方法...
【专利技术属性】
技术研发人员：龚敬，张栗粽，闫科，刘桂君，包益全，
申请(专利权)人：成都开源众智信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。