一种神经网络的关系抽取方法技术

本发明专利技术涉及自然语言处理领域，具体提供了一种神经网络的关系抽取方法，基于词依存信息类型映射记忆神经网络的关系抽取模型，利用上下文关联的词以及词与词之间的依存关系类型对上下文信息进一步建模，对上下文特征进行区分建模。与现有技术相比，本发明专利技术在上下文信息的建模过程中，融合依存信息，对不同的上下文特征进行区分建模，不会存在噪声的影响，对提升模型的上下文表征能力会有帮助，进而提升模型在关系抽取任务的性能。型在关系抽取任务的性能。型在关系抽取任务的性能。

【技术实现步骤摘要】
一种神经网络的关系抽取方法


[0001]本专利技术涉及自然语言处理领域，具体提供一种神经网络的关系抽取方法。

技术介绍

[0002]关系抽取是信息抽取和信息检索领域里很重要的一项研究任务,其任务目标是抽取文本中的两个实体之间的关系。最近的研究表明，一种好的上下文信息建模机制，通过融合外部知识，譬如依存信息，能够很好地提升该任务的性能。
[0003]考虑到除了词与词之间的依存关系，依存关系的类型同样会对关系抽取任务有帮助，此外，通过工具提取的依存信息存在噪声，不同的依存信息对建模分析的贡献也不同，在上下文信息的建模过程中，融合依存信息，对不同的上下文特征进行区分建模时，通过工具提取依存信息时存在噪声会有影响。

技术实现思路

[0004]本专利技术是针对上述现有技术的不足，提供一种实用性强的神经网络的关系抽取方法。
[0005]本专利技术解决其技术问题所采用的技术方案是：
[0006]一种神经网络的关系抽取方法，基于词依存信息类型映射记忆神经网络的关系抽取模型，利用上下文关联的词以及词与词之间的依存关系类型对上下文信息进一步建模，对上下文特征进行区分建模。
[0007]进一步的，基于输入文本的利用bert预训练模型进行embedding，然后用BiLSTM和CRF做命名实体识别，然后，利用输入的句子和依存句法树构建根据两种不同类型的依存信息构建in
‑
entity和cross
‑
entity记忆槽。
[0008]进一步的，具体步骤如下：
[0009]S1、输入文本，生成依存树；
[0010]S2、使用BERT作为编码器，提取文本序列的表征；
[0011]S3、预测两个实体之间的关系标签。
[0012]进一步的，在步骤S1中，每一个输入的文本，首先使用依存句法工具自动处理文本并生成依存树，根据两种不同类型的依存信息构建in
‑
entity和cross
‑
entity记忆槽。
[0013]作为优选，所述in
‑
entity记忆槽是基于词的一阶依存信息构建，cross
‑
entity记忆槽是基于词与其他上下文关联词之间的依存路径构建。
[0014]进一步的，在步骤S2中，使用BERT作为编码器，提取文本序列的表征，并将文本序列表征和两个记忆槽输入基于依存关系类型映射记忆网络模块。
[0015]进一步的，在所述基于依存关系类型映射记忆网络模块里，分别利用in
‑
entity记忆槽和cross
‑
entity记忆槽融合键和值作为上下文特征，采用注意力机制，通过计算词和键之间的点积，作为权重分配给其上下文特征。
[0016]进一步的，在步骤S4中，基于依存关系类型映射记忆网络的输出，预测两个实体之
间的关系标签。
[0017]本专利技术的一种神经网络的关系抽取方法和现有技术相比，具有以下突出的有益效果：
[0018]本专利技术在上下文信息的建模过程中，融合依存信息，对不同的上下文特征进行区分建模，不会存在噪声的影响，对提升模型的上下文表征能力会有帮助，进而提升模型在关系抽取任务的性能。
附图说明
[0019]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]附图1是一种神经网络的关系抽取方法的流程示意图(一)；
[0021]附图2是一种神经网络的关系抽取方法的流程示意图(一)。
具体实施方式
[0022]为了使本
的人员更好的理解本专利技术的方案，下面结合具体的实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本专利技术保护的范围。
[0023]下面给出一个最佳实施例：
[0024]如图1
‑
2所示，本实施例中的一种神经网络的关系抽取方法，基于词依存信息类型映射记忆神经网络的关系抽取模型，利用上下文关联的词以及词与词之间的依存关系类型对上下文信息进一步建模，对上下文特征进行区分建模。
[0025]基于输入文本的利用bert预训练模型进行embedding，然后用BiLSTM和CRF做命名实体识别，然后，利用输入的句子和依存句法树构建根据两种不同类型的依存信息构建in
‑
entity和cross
‑
entity记忆槽。
[0026]具体步骤如下：
[0027]S1、输入文本，生成依存树：
[0028]每一个输入的文本，首先使用依存句法工具自动处理文本并生成依存树，根据两种不同类型的依存信息构建in
‑
entity和cross
‑
entity记忆槽。
[0029]in
‑
entity记忆槽是基于词的一阶依存信息构建，cross
‑
entity记忆槽是基于词与其他上下文关联词之间的依存路径构建。
[0030]S2、使用BERT作为编码器，提取文本序列的表征：
[0031]使用BERT作为编码器，提取文本序列的表征h，并将文本序列表征h和两个记忆槽输入基于依存关系类型映射记忆网络模块。在基于依存关系类型映射记忆网络模块里，分别利用in
‑
entity和cross
‑
entity记忆槽融合键(上下文关联的词)和值(与词的依存关系类型)作为上下文特征，为了区分不同上下文特征的重要程度，采用了注意力机制，通过计算词和键之间的点积，作为权重分配给其上下文特征。
[0032]S3、预测两个实体之间的关系标签：
[0033]基于依存关系类型映射记忆网络的输出，预测两个实体之间的关系标签。
[0034]上述具体的实施方式仅是本专利技术具体的个案，本专利技术的专利保护范围包括但不限于上述具体的实施方式，任何符合本专利技术的一种神经网络的关系抽取方法权利要求书的且任何所述
普通技术人员对其做出的适当变化或者替换，皆应落入本专利技术的专利保护范围。
[0035]尽管已经示出和描述了本专利技术的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本专利技术的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本专利技术的范围由所附权利要求及其等同物限定。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络的关系抽取方法，其特征在于，基于词依存信息类型映射记忆神经网络的关系抽取模型，利用上下文关联的词以及词与词之间的依存关系类型对上下文信息进一步建模，对上下文特征进行区分建模。2.根据权利要求1所述的一种神经网络的关系抽取方法，其特征在于，基于输入文本的利用bert预训练模型进行embedding，然后用BiLSTM和CRF做命名实体识别，然后，利用输入的句子和依存句法树构建根据两种不同类型的依存信息构建in
‑
entity和cross
‑
entity记忆槽。3.根据权利要求2所述的一种神经网络的关系抽取方法，其特征在于，具体步骤如下：S1、输入文本，生成依存树；S2、使用BERT作为编码器，提取文本序列的表征；S3、预测两个实体之间的关系标签。4.根据权利要求3所述的一种神经网络的关系抽取方法，其特征在于，在步骤S1中，每一个输入的文本，首先使用依存句法工具自动处理文本并生成依存树，根据两种不同类型的依存信息构建in
‑
entity和cross

【专利技术属性】
技术研发人员：寇菲，冯落落，王建华，高明，尹青山，
申请(专利权)人：山东新一代信息产业技术研究院有限公司，
类型：发明
国别省市：