基于神经网络的低资源场景下关系抽取方法及系统技术方案

本发明专利技术提供了一种基于神经网络的低资源场景下关系抽取方法及系统，包括：步骤S1：构建基于双塔结构的神经网络模型；步骤S2：训练双塔结构神经网络模型；步骤S3：语料利用训练后的双塔结构神经网络模型推测语句中实体之间的关系。本发明专利技术为低资源场景下的关系抽取提供了一种方法，并提高了低资源场景下关系抽取的准确率。准确率。准确率。

【技术实现步骤摘要】
基于神经网络的低资源场景下关系抽取方法及系统


[0001]本专利技术涉及深度学习、自然语言处理方向的关系判别
，具体地，涉及基于神经网络的低资源场景下关系抽取方法及系统，更为具体地，涉及一种基于双塔模型的，提升低资源场景下关系抽取准确率的一种方法。

技术介绍

[0002]深度学习(Deep learning)是从机器学习和人工智能网络发展出的新领域。构造数学模型，拟合数据方法的一种，但由于超过了一层的神经网络，故称深度学习。深度学习是指多层的人工神经网络和训练它的方法。一层神经网络会把大量的矩阵数字作为输入，通过非线性激活方法取权重，再产生另一个数据集合作为输出。
[0003]自然语言处理(Natural Language Processing)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。
[0004]专利文献CN113901230A(申请号：202111079384.7)公开了一种神经网络的关系抽取方法，基于词依存信息类型映射记忆神经网络的关系抽取模型，利用上下文关联的词以及词与词之间的依存关系类型对上下文信息进一步建模，对上下文特征进行区分建模。
[0005]低资源关系抽取(Low Resource Relation Extraction)。关系抽取是信息抽取中的一个任务，是要找到一句话的两个实体(实体对)之间的关系。低资源，指在深度学习的过程中，训练数据不足的情况。在实际生活中，难以获得大量的熟练数据，往往只有少量的训练数据用于训练，而这种情况下模型的效果表现并不好。关系抽取亦是如此，低资源关系抽取就是在只有少量训练数据的情况下进行关系抽取。

技术实现思路

[0006]针对现有技术中的缺陷，本专利技术的目的是提供一种基于神经网络的低资源场景下关系抽取方法及系统。
[0007]根据本专利技术提供的一种基于神经网络的低资源场景下关系抽取方法，包括：
[0008]步骤S1：构建基于双塔结构的神经网络模型；
[0009]步骤S2：训练双塔结构神经网络模型；
[0010]步骤S3：语料利用训练后的双塔结构神经网络模型推测语句中实体之间的关系。
[0011]优选地，所述双塔结构的神经网络模型包括：第一BERT编码器和第二BERT编码器；
[0012]所述第一BERT编码器是利用函数映射对数据集中输入的句子以及实体进行嵌入处理；
[0013]所述第二BERT编码器是利用函数映射对数据集中输入的关系进行嵌入处理。
[0014]优选地，所述步骤S2采用：
[0015]步骤S2.1：利用资源丰富的关系抽取语料对双塔结构神经网络模型进行预训练，得到预训练后的双塔结构神经网络模型；
[0016]步骤S2.2：利用领域不同的低资源关系抽取语料训练预训练后的双塔结构神经网络模型得到训练后的双塔结构神经网络模型。
[0017]优选地，所述步骤S3采用：
[0018]步骤S3.1：将语句划分为句子、句子中的实体以及实体间的候选关系；
[0019]步骤S3.2：将句子和句子中的实体输入所述训练后的第一BERT编码器得到语句的嵌入表征；
[0020]步骤S3.3：将实体间的候选关系输入所述训练后的第二BERT编码器得到关系名的嵌入表征；
[0021]步骤S3.4：将语句的嵌入表征和关系名的嵌入表征进行点积运算得到矩阵M；
[0022]步骤S3.5：对矩阵M进行Softmax操作得到矩阵P；
[0023]步骤S3.6：矩阵P中数值最大的维度对应的关系为预测的关系。
[0024]根据本专利技术提供的一种基于神经网络的低资源场景下关系抽取系统，包括：
[0025]模块M1：构建基于双塔结构的神经网络模型；
[0026]模块M2：训练双塔结构神经网络模型；
[0027]模块M3：语料利用训练后的双塔结构神经网络模型推测语句中实体之间的关系。
[0028]优选地，所述双塔结构的神经网络模型包括：第一BERT编码器和第二BERT编码器；
[0029]所述第一BERT编码器是利用函数映射对数据集中输入的句子以及实体进行嵌入处理；
[0030]所述第二BERT编码器是利用函数映射对数据集中输入的关系进行嵌入处理。
[0031]优选地，所述模块M2采用：
[0032]模块M2.1：利用资源丰富的关系抽取语料对双塔结构神经网络模型进行预训练，得到预训练后的双塔结构神经网络模型；
[0033]模块M2.2：利用领域不同的低资源关系抽取语料训练预训练后的双塔结构神经网络模型得到训练后的双塔结构神经网络模型。
[0034]优选地，所述模块M3采用：
[0035]模块M3.1：将语句划分为句子、句子中的实体以及实体间的候选关系；
[0036]模块M3.2：将句子和句子中的实体输入所述训练后的第一BERT编码器得到语句的嵌入表征；
[0037]模块M3.3：将实体间的候选关系输入所述训练后的第二BERT编码器得到关系名的嵌入表征；
[0038]模块M3.4：将语句的嵌入表征和关系名的嵌入表征进行点积运算得到矩阵M；
[0039]模块M3.5：对矩阵M进行Softmax操作得到矩阵P；
[0040]模块M3.6：矩阵P中数值最大的维度对应的关系为预测的关系。
[0041]根据本专利技术提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述所述的方法的步骤。
[0042]根据本专利技术提供的一种电子设备，包括存储器、处理器及存储在所述存储器上并
可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现上述所述的基于神经网络的低资源场景下关系抽取方法的步骤。
[0043]与现有技术相比，本专利技术具有如下的有益效果：
[0044]1、本专利技术在不引入其他额外信息的情况下，在低资源场景下，相对于其他的模型表现更好；
[0045]2、本专利技术为低资源场景下的关系抽取提供了一种方法，并提高了低资源场景下关系抽取的准确率。
[0046]3、通过实验表明，本专利技术在不引入其他额外信息的情况下，在低资源的场景下，在FewRel2.0数据集上，相对于BERT
‑
PAIR有10％
‑
20％准确率的提升。
附图说明
[0047]通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的低资源场景下关系抽取方法，其特征在于，包括：步骤S1：构建基于双塔结构的神经网络模型；步骤S2：训练双塔结构神经网络模型；步骤S3：语料利用训练后的双塔结构神经网络模型推测语句中实体之间的关系。2.根据权利要求1所述的基于神经网络的低资源场景下关系抽取方法，其特征在于，所述双塔结构的神经网络模型包括：第一BERT编码器和第二BERT编码器；所述第一BERT编码器是利用函数映射对数据集中输入的句子以及实体进行嵌入处理；所述第二BERT编码器是利用函数映射对数据集中输入的关系进行嵌入处理。3.根据权利要求1所述的基于神经网络的低资源场景下关系抽取方法，其特征在于，所述步骤S2采用：步骤S2.1：利用资源丰富的关系抽取语料对双塔结构神经网络模型进行预训练，得到预训练后的双塔结构神经网络模型；步骤S2.2：利用领域不同的低资源关系抽取语料训练预训练后的双塔结构神经网络模型得到训练后的双塔结构神经网络模型。4.根据权利要求2所述的基于神经网络的低资源场景下关系抽取方法，其特征在于，所述步骤S3采用：步骤S3.1：将语句划分为句子、句子中的实体以及实体间的候选关系；步骤S3.2：将句子和句子中的实体输入所述训练后的第一BERT编码器得到语句的嵌入表征；步骤S3.3：将实体间的候选关系输入所述训练后的第二BERT编码器得到关系名的嵌入表征；步骤S3.4：将语句的嵌入表征和关系名的嵌入表征进行点积运算得到矩阵M；步骤S3.5：对矩阵M进行Softmax操作得到矩阵P；步骤S3.6：矩阵P中数值最大的维度对应的关系为预测的关系。5.一种基于神经网络的低资源场景下关系抽取系统，其特征在于，包括：模块M1：构建基于双塔结构的神经网络模型；模块M2：训练双塔结构神经网络模型；模块M3：语料利用训练后的双塔结构神经网...

【专利技术属性】
技术研发人员：余大伟，傅洛伊，龙飞，王新兵，周成虎，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：