本公开涉及关系抽取模型的训练方法、关系抽取方法及装置，涉及人工智能领域。关系抽取模型的训练方法包括：根据第一语言的训练文本和提示模板，生成提示文本，其中，第一语言的训练文本中包括第一实体和第二实体；根据提示文本，利用关系抽取模型，确定第一实体与第二实体之间的关系预测结果，其中，关系抽取模型利用基于第一语言和第二语言的生成任务预训练得到；根据第一实体与第二实体之间的关系的标签，以及第一实体与第二实体之间的关系预测结果，训练关系抽取模型，以用于对第二语言的目标文本进行关系抽取。根据本公开，提高了跨语言关系抽取模型的泛化能力和关系抽取的准确性。性。性。
【技术实现步骤摘要】
关系抽取模型的训练方法、关系抽取方法及装置
[0001]本公开涉及人工智能领域，特别涉及关系抽取模型的训练方法、关系抽取方法及装置、计算机可读存储介质。
技术介绍
[0002]关系抽取是信息抽取的基本任务之一，目的是识别文本中实体之间的关系。关系抽取对于知识库的构建以及文本的理解十分重要，有利于自然语言处理的一些任务，如问答、文本理解等。关系抽取也是知识图谱构建的核心关键，是必不可少的步骤。
[0003]近些年来，由于场景逐渐复杂化，传统的简单关系抽取任务已经无法满足实际场景中的复杂应用，逐步衍生出了更加复杂的关系抽取需求，关系抽取方法已经成为自然语言处理领域研究的热点。
技术实现思路
[0004]根据本公开的第一方面，提供了一种关系抽取模型的训练方法，包括：根据第一语言的训练文本和提示模板，生成提示文本，其中，第一语言的训练文本中包括第一实体和第二实体；根据提示文本，利用关系抽取模型，确定第一实体与第二实体之间的关系预测结果，其中，关系抽取模型利用基于第一语言和第二语言的生成任务预训练得到；根据第一实体与第二实体之间的关系的标签，以及第一实体与第二实体之间的关系预测结果，训练关系抽取模型，以用于对第二语言的目标文本进行关系抽取。
[0005]在一些实施例中，提示文本包括第一提示文本和第二提示文本，关系抽取模型包括编码器和解码器，根据提示文本，利用关系抽取模型，生成第一实体与第二实体之间的关系预测结果，包括：根据第一提示文本，利用编码器，生成编码输出；根据编码输出和第二提示文本，利用解码器，生成第一实体与第二实体之间的关系预测结果。
[0006]在一些实施例中，根据编码输出和第二提示文本，利用解码器，生成第一实体与第二实体之间的关系预测结果，包括：根据编码输出和第二提示文本，利用解码器，生成解码输出；根据解码输出，利用分类器，生成第一实体与第二实体之间的关系预测结果。
[0007]在一些实施例中，根据第一语言的训练文本和提示模板，生成提示文本，包括：根据提示模板，将标记插入第一语言的训练文本，得到提示文本。
[0008]在一些实施例中，所述标记包括提示符、开始符和结束符的至少一种，所述根据提示模板，将标记插入第一语言的训练文本，得到提示文本，包括以下至少一项：在提示文本中，用提示符标记第一实体、第二实体和第一语言的训练文本的至少一种；用开始符标记所述提示文本的开头；用结束符标记所述提示文本的结尾。
[0009]在一些实施例中，提示模板包括连续提示模板、离散提示模板，或连续和离散结合的提示模板。
[0010]在一些实施例中，提示文本中包括第一实体、第二实体，以及提示关系抽取模型对第一实体和第二实体之间关系进行预测的提示信息。
[0011]在一些实施例中，关系抽取模型为基于注意力机制的预训练模型。
[0012]在一些实施例中，关系抽取模型为多语言双向自回归变换器预训练模型。
[0013]根据本公开的第二方面，提供了一种关系抽取方法，包括：
[0014]利用关系抽取模型，对第二语言的目标文本进行关系抽取，其中，关系抽取模型根据本公开任一实施例的关系抽取模型的训练方法训练得到。
[0015]根据本公开的第三方面，提供了一种关系抽取模型的训练装置，包括：生成模块，被配置为根据第一语言的训练文本和提示模板，生成提示文本，其中，第一语言的训练文本中包括第一实体和第二实体；确定模块，被配置为根据提示文本，利用关系抽取模型，确定第一实体与第二实体之间的关系预测结果，其中，关系抽取模型利用基于第一语言和第二语言的生成任务预训练得到；训练模块，被配置为根据第一实体与第二实体之间的关系的标签，以及第一实体与第二实体之间的关系预测结果，训练关系抽取模型，以用于对第二语言的目标文本进行关系抽取。
[0016]根据本公开的第四方面，提供了一种关系抽取装置，包括：关系抽取模块，被配置为利用关系抽取模型，对第二语言的目标文本进行关系抽取，其中，关系抽取模型利用根据本公开任一实施例所述的关系抽取模型的训练装置训练得到。
[0017]根据本公开第五方面，提供了一种电子设备，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行根据本公开任一实施例所述的关系抽取模型的训练方法或根据本公开任一实施例所述的关系抽取方法。
[0018]根据本公开第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时，实现根据本公开任一实施例所述的关系抽取模型的训练方法或根据本公开任一实施例所述的关系抽取方法。
附图说明
[0019]构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
[0020]参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
[0021]图1示出根据本公开一些实施例的关系抽取模型的训练方法的流程图；
[0022]图2示出根据本公开一些实施例的关系抽取模型的示意图；
[0023]图3示出根据本公开一些实施例的关系抽取模型的训练装置的框图；
[0024]图4示出根据本公开另一些实施例的电子设备的框图；
[0025]图5示出用于实现本公开一些实施例的计算机系统的框图。
具体实施方式
[0026]现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
[0027]同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0028]以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开
及其应用或使用的任何限制。
[0029]对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0030]在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
[0031]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0032]在训练资源贫乏的语言中，可能缺乏高质量的标注样本数据。但是某些实际含义相同的实体在另外一种语言的语料库中出现的频率可能更高。为了解决目标语言的零样本或少样本问题，可以用另外一种语言进行知识库的补全，这就是跨语言的关系抽取。跨语言关系抽取的目的是，学习用资源丰富的语言数据训练关系抽取模型，并将其转换为目标语言，从而能够在自然语言理解任务中实现初步的零样本迁移。
[0033]相关技术中，先使用源语言训练好模型，之后应用在目标语言上。由于不同语言之间的语法语序具有差异，训练好的模型应用在目标语言上，效果变差。
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种关系抽取模型的训练方法，包括：根据第一语言的训练文本和提示模板，生成提示文本，其中，第一语言的训练文本中包括第一实体和第二实体；根据提示文本，利用关系抽取模型，确定第一实体与第二实体之间的关系预测结果，其中，关系抽取模型利用基于第一语言和第二语言的生成任务预训练得到；根据第一实体与第二实体之间的关系的标签，以及第一实体与第二实体之间的关系预测结果，训练关系抽取模型，以用于对第二语言的目标文本进行关系抽取。2.根据权利要求1所述的关系抽取模型的训练方法，其中，提示文本包括第一提示文本和第二提示文本，关系抽取模型包括编码器和解码器，根据提示文本，利用关系抽取模型，生成第一实体与第二实体之间的关系预测结果，包括：根据第一提示文本，利用编码器，生成编码输出；根据编码输出和第二提示文本，利用解码器，生成第一实体与第二实体之间的关系预测结果。3.根据权利要求2所述的关系抽取模型的训练方法，其中，根据编码输出和第二提示文本，利用解码器，生成第一实体与第二实体之间的关系预测结果，包括：根据编码输出和第二提示文本，利用解码器，生成解码输出；根据解码输出，利用分类器，生成第一实体与第二实体之间的关系预测结果。4.根据权利要求1所述的关系抽取模型的训练方法，其中，根据第一语言的训练文本和提示模板，生成提示文本，包括：根据提示模板，将标记插入第一语言的训练文本，得到提示文本。5.根据权利要求4所述的关系抽取模型的训练方法，其中，所述标记包括提示符、开始符和结束符的至少一种，所述根据提示模板，将标记插入第一语言的训练文本，得到提示文本，包括以下至少一项：在提示文本中，用提示符标记第一实体、第二实体和第一语言的训练文本的至少一种；用开始符标记所述提示文本的开头；用结束符标记所述提示文本的结尾。6.根据权利要求1所述的关系抽取模型的训练方法，其中，提示模板包括连续提示模板、离散提示模板，或连续和离散结合的...
【专利技术属性】
技术研发人员：丁亮，陶大程，
申请(专利权)人：北京京东振世信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。