关系抽取模型的训练方法、关系抽取方法及装置制造方法及图纸

技术编号:38682113 阅读:13 留言:0更新日期:2023-09-02 22:54
本公开提供了一种关系抽取模型的训练方法,该方法包括从样本文本信息中获取多个第一字符信息;对多个所述第一字符信息中的每个所述第一字符信息进行拆分,生成多个第二字符信息;利用第一编码器对每个所述第一字符信息进行编码,生成多个第一编码信息;利用第二编码器对每个所述第二字符信息进行编码,生成多个第二编码信息;以及利用所述多个第一编码信息和所述多个第二编码信息训练待训练的神经网络模型,得到用于抽取文本信息中的语义关系的神经网络模型。本公开还提供了一种关系抽取方法、关系抽取模型的训练装置、关系抽取装置、计算机系统和计算机可读存储介质。算机系统和计算机可读存储介质。算机系统和计算机可读存储介质。

【技术实现步骤摘要】
关系抽取模型的训练方法、关系抽取方法及装置


[0001]本公开涉及计人工智能
,更具体地,涉及一种关系抽取模型的训练方法、关系抽取方法、装置、计算机系统和计算机可读存储介质。

技术介绍

[0002]从非结构化文本中提取实体和关系对于构建大规模可重用的知识库来说至关重要,这有助于完成许多其他任务,例如构建基于知识库的推荐系统、问答系统、疾病诊断系统等。关系抽取任务的目标是识别句子中包含的关系三元组。
[0003]在实现本公开构思的过程中,专利技术人发现相关技术中至少存在由于遗漏语义信息而导致的关系抽取不准确的技术问题。

技术实现思路

[0004]有鉴于此,本公开提供了一种关系抽取模型的训练方法、关系抽取方法、装置、计算机系统和计算机可读存储介质。
[0005]本公开的一个方面提供了一种关系抽取模型的训练方法,包括:
[0006]从样本文本信息中获取多个第一字符信息;
[0007]对多个上述第一字符信息中的每个上述第一字符信息进行拆分,生成多个第二字符信息;
[0008]利用第一编码器对每个上述第一字符信息进行编码,生成多个第一编码信息;
[0009]利用第二编码器对每个上述第二字符信息进行编码,生成多个第二编码信息;以及
[0010]利用上述多个第一编码信息和上述多个第二编码信息训练待训练的神经网络模型,得到用于抽取文本信息中的语义关系的神经网络模型。
[0011]根据本公开的实施例,其中,上述神经网络模型包括第一特征提取网络、第二特征提取网络和关系特征抽取网络,
[0012]上述利用上述多个第一编码信息和上述多个第二编码信息训练待训练的神经网络模型,得到用于抽取文本信息中的语义关系的神经网络模型包括:
[0013]利用上述第二特征提取网络对上述第二编码信息进行特征提取,生成第二特征数据;
[0014]将上述第二特征数据和上述第一编码信息共同输入上述第一特征提取网络,输出第一特征数据;
[0015]将上述第一特征数据输入上述关系特征抽取网络,输出预测关系抽取结果;
[0016]基于上述预测关系抽取结果迭代地调整上述第一特征提取网络、上述第二特征提取网络和上述关系特征抽取网络的网络参数,得到训练完成的神经网络模型。
[0017]根据本公开的实施例,其中,上述样本文本信息至少包括一个头实体和一个尾实体,与上述头实体和上述尾实体分别对应的上述第一字符信息分别具有各自的实体标签信
息。
[0018]根据本公开的实施例,其中,上述利用上述多个第一编码信息和上述多个第二编码信息训练待训练的神经网络模型,得到用于抽取文本信息中的语义关系的神经网络模型包括:
[0019]将上述多个第一编码信息和上述多个第二编码信息输入上述待训练的神经网络模型,输出预测关系抽取结果,其中,上述预测关系抽取结果包括与上述多个上述第一字符信息分别对应的预测标签信息;
[0020]基于上述预测标签信息和上述实体标签信息的匹配关系生成验证结果;
[0021]根据上述验证结果迭代地调整上述待训练的神经网络模型,得到训练完成的神经网络模型。
[0022]根据本公开的实施例,其中,上述关系特征抽取网络包括关系抽取层、注意力层和输出层;
[0023]上述将上述第一特征数据输入上述关系特征抽取网络,输出预测关系抽取结果包括:
[0024]将上述第一特征数据输入上述关系抽取层,输出关系特征数据;
[0025]将上述关系特征数据和上述第一特征数据输入上述注意力层,以便提取上述关系特征数据和上述第一特征数据中的重要特征,输出注意力特征数据;
[0026]将上述注意力特征数据输入上述输出层,输出上述预测关系抽取结果。
[0027]根据本公开的实施例,上述将上述第一特征数据输入上述关系抽取层,输出关系特征数据包括:
[0028]将上述第一特征数据输入上述关系抽取层,输出初始关系特征数据;
[0029]从预先配置完成的关系表中确定与上述初始关系特征数据相匹配的关系;
[0030]输出与上述关系对应的关系特征数据。
[0031]根据本公开的实施例,其中,上述第一特征提取网络包括多个第一特征提取单元和一个第二特征提取单元,其中,上述第一特征提取单元用于提取至少一个上述第一字符信息,上述第二特征提取单元与上述第一特征提取单元共享各自提取到的特征数据;
[0032]上述将上述第二特征数据和上述第一编码信息共同输入上述第一特征提取网络,输出第一特征数据包括:
[0033]将多个上述第一编码信息输入对应的上述第一特征提取单元,输出多个第三特征数据;
[0034]将上述第二特征数据输入上述第二特征提取单元,输出第四特征数据;
[0035]对多个上述第三特征数据和上述第四特征数据进行数据融合,生成上述第一特征数据。
[0036]根据本公开的实施例,其中,上述第二特征提取网络包括多个第二特征提取子网络,每个上述第二特征提取子网络中的多个第三特征提取层互相共享各自提取到的特征数据。
[0037]本公开的另一方面提供了一种关系抽取方法,包括:
[0038]获取待抽取文本信息;
[0039]将上述待抽取文本信息输入关系抽取模型,输出关系抽取结果,其中,上述关系抽
取结果包括至少一组由头实体、关系和尾实体组成的三元组,其中,上述关系抽取模型由权利要求1至8任一项上述的方法训练得到。
[0040]本公开的另一个方面提供了一种关系抽取模型的训练装置,包括:
[0041]第一获取模块,用于从样本文本信息中获取多个第一字符信息;
[0042]拆分模块,用于对多个上述第一字符信息中的每个上述第一字符信息进行拆分,生成多个第二字符信息;
[0043]第一编码模块,用于利用第一编码器对每个上述第一字符信息进行编码,生成多个第一编码信息;
[0044]第二编码模块,用于利用第二编码器对每个上述第二字符信息进行编码,生成多个第二编码信息;以及
[0045]训练模块,用于利用上述多个第一编码信息和上述多个第二编码信息训练待训练的神经网络模型,得到用于抽取文本信息中的语义关系的神经网络模型。
[0046]本公开的另一个方面提供了一种关系抽取装置,包括:
[0047]第二获取模块,用于获取待抽取文本信息;
[0048]抽取模块,用于将上述待抽取文本信息输入关系抽取模型,输出关系抽取结果,其中,上述关系抽取结果包括至少一组由头实体、关系和尾实体组成的三元组,其中,上述关系抽取模型由权利要求1至8任一项上述的方法训练得到。
[0049]本公开的另一个方面提供了一种计算机系统,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现本公开实施例上述的方法。
[0050]本公开的另一个本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种关系抽取模型的训练方法,包括:从样本文本信息中获取多个第一字符信息;对多个所述第一字符信息中的每个所述第一字符信息进行拆分,生成多个第二字符信息;利用第一编码器对每个所述第一字符信息进行编码,生成多个第一编码信息;利用第二编码器对每个所述第二字符信息进行编码,生成多个第二编码信息;以及利用所述多个第一编码信息和所述多个第二编码信息训练待训练的神经网络模型,得到用于抽取文本信息中的语义关系的神经网络模型。2.根据权利要求1所述的方法,其中,所述神经网络模型包括第一特征提取网络、第二特征提取网络和关系特征抽取网络,所述利用所述多个第一编码信息和所述多个第二编码信息训练待训练的神经网络模型,得到用于抽取文本信息中的语义关系的神经网络模型包括:利用所述第二特征提取网络对所述第二编码信息进行特征提取,生成第二特征数据;将所述第二特征数据和所述第一编码信息共同输入所述第一特征提取网络,输出第一特征数据;将所述第一特征数据输入所述关系特征抽取网络,输出预测关系抽取结果;基于所述预测关系抽取结果迭代地调整所述第一特征提取网络、所述第二特征提取网络和所述关系特征抽取网络的网络参数,得到训练完成的神经网络模型。3.根据权利要求1所述的方法,其中,所述样本文本信息至少包括一个头实体和一个尾实体,与所述头实体和所述尾实体分别对应的所述第一字符信息分别具有各自的实体标签信息。4.根据权利要求3所述的方法,其中,所述利用所述多个第一编码信息和所述多个第二编码信息训练待训练的神经网络模型,得到用于抽取文本信息中的语义关系的神经网络模型包括:将所述多个第一编码信息和所述多个第二编码信息输入所述待训练的神经网络模型,输出预测关系抽取结果,其中,所述预测关系抽取结果包括与所述多个所述第一字符信息分别对应的预测标签信息;基于所述预测标签信息和所述实体标签信息的匹配关系生成验证结果;根据所述验证结果迭代地调整所述待训练的神经网络模型,得到训练完成的神经网络模型。5.根据权利要求2所述的方法,其中,所述关系特征抽取网络包括关系抽取层、注意力层和输出层;所述将所述第一特征数据输入所述关系特征抽取网络,输出预测关系抽取结果包括:将所述第一特征数据输入所述关系抽取层,输出关系特征数据;将所述关系特征数据和所述第一特征数据输入所述注意力层,以便提取所述关系特征数据和所述第一特征数据中的重要特征,输出注意力特征数据;将所述注意力特征数据输入所述输出层,输出所述预测关系抽取结果。6.根据权利要求5所述的方法,所述将所述第一特征数据输入所述关系抽取层,输出关系特征数据包括:
将所述第一特征...

【专利技术属性】
技术研发人员:余盈盈
申请(专利权)人:北京京东世纪贸易有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1