模型训练方法、信息抽取方法及装置、电子设备、介质制造方法及图纸

技术编号:32974926 阅读:18 留言:0更新日期:2022-04-09 11:50
本公开实施例是关于一种模型训练方法、信息抽取方法及装置、电子设备、存储介质,涉及计算机技术领域,该模型训练方法包括:获取训练语料,并确定所述训练语料对应的三元组,以将所述三元组确定为训练数据;根据所述训练数据训练多个神经网络模型,并通过所述多个神经网络模型对所述训练数据进行类型预测得到预测三元组;对所述预测三元组的权重进行调整,并根据调整权重后的预测三元组更新训练数据;根据更新后的训练数据对神经网络模型的模型参数进行调整,获取信息抽取模型。本公开的技术方案能够提高标注的精准度以及模型的准确性。方案能够提高标注的精准度以及模型的准确性。方案能够提高标注的精准度以及模型的准确性。

【技术实现步骤摘要】
模型训练方法、信息抽取方法及装置、电子设备、介质


[0001]本公开涉及计算机
,具体而言,涉及一种模型训练方法、模型训练装置、信息抽取方法、信息抽取装置、电子设备以及计算机可读存储介质。

技术介绍

[0002]信息抽取是知识图谱构建中一项重要的技术,通过信息抽取,可以补全图谱中缺失的属性。
[0003]常见的信息抽取方案有两种,一种是基于抽取关系类型的信息抽取,通过预定义的抽取关系类型从图谱中抽取出三元组入库,通过训练模型从训练数据中抽取出三元组。另外一种是开放域信息抽取技术。其中为了解决标注效率低的问题,通常会采用远程监督的方案进行预标注。
[0004]上述方式中,基于抽取关系类型的信息抽取方式中由于远程监督而导致出现训练数据漏标和错标的问题,标注的结果不准确;训练数据的标注数量有限,存在一定的局限性;并且根据训练数据训练的信息抽取模型的准确性较低。
[0005]需要说明的是,在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]本公开的目的在于提供一种模型训练方法、信息抽取方法及装置、电子设备、存储介质,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的训练数据不准确以及模型准确性较低的问题。
[0007]本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
[0008]根据本公开的一个方面,提供一种模型训练方法,包括:获取训练语料,并确定所述训练语料对应的三元组,以将所述三元组确定为训练数据;根据所述训练数据训练多个神经网络模型,并通过所述多个神经网络模型对所述训练数据进行类型预测得到预测三元组;对所述预测三元组的权重进行调整,并根据调整权重后的预测三元组更新训练数据;根据更新后的训练数据对神经网络模型的模型参数进行调整,获取信息抽取模型。
[0009]根据本公开的一个方面,提供一种信息抽取方法,包括:获取待处理语料;通过信息抽取模型对所述待处理语料进行信息抽取,获取所述待处理语料对应的预测结果;其中,所述信息抽取模型根据上述任意一项所述的模型训练方法训练得到。
[0010]根据本公开的一个方面,提供一种模型训练装置,包括:训练数据获取模块,用于获取训练语料,并确定所述训练语料对应的三元组,以将所述三元组确定为训练数据;预测模块,用于根据所述训练数据训练多个神经网络模型,并通过所述多个神经网络模型对所述训练数据进行类型预测得到预测三元组;权重调整模块,用于对所述预测三元组的权重进行调整,并根据调整权重后的预测三元组更新训练数据;模型参数调整模块,用于根据更
新后的训练数据对神经网络模型的模型参数进行调整,获取信息抽取模型。
[0011]根据本公开的一个方面,提供一种信息抽取装置,包括:语料获取模块,用于获取待处理语料;结果确定模块,用于通过信息抽取模型对所述待处理语料进行信息抽取,获取所述待处理语料对应的预测结果;其中,所述信息抽取模型根据上述任意一项所述的模型训练方法训练得到。
[0012]根据本公开的一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的模型训练方法或上述任意一项所述的信息抽取方法。
[0013]根据本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的模型训练方法或上述任意一项所述的信息抽取方法。
[0014]本公开实施例中提供的模型训练方法、模型训练装置、信息抽取方法、信息抽取装置、电子设备以及计算机可读存储介质中,一方面,通过训练数据训练多个神经网络模型,并通过多个不同的神经网络模型对训练数据进行类型预测得到预测三元组,能够从训练数据中准确识别出错误标注以及漏标注的训练数据,提高标注的准确性和全面性。另一方面,避免了训练数据标注数量有限以及无法解决错误标注和漏标注的训练数据而导致的局限性,增加了应用范围。再一方面,通过调整预测三元组的权重来更新训练数据,进而根据更新的训练数据来训练模型,能够通过双向权重调整更新训练数据中预测三元组的权重,从而提高模型训练的精准度,提高模型准确性和可靠性。
[0015]应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
[0016]此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0017]图1示出了可以应用本公开实施例的模型训练方法或信息抽取方法的系统架构的示意图。
[0018]图2示出了适于用来实现本公开实施例的电子设备的结构示意图。
[0019]图3示意性示出本公开实施例中一种模型训练方法的示意图。
[0020]图4示意性示出本公开实施例中确定三元组得分的示意图。
[0021]图5示意性示出本公开实施例中确定预测三元组的流程示意图。
[0022]图6示意性示出本公开实施例中确定候选三元组和待剔除三元组的流程示意图。
[0023]图7示意性示出本公开实施例中进行模型训练的流程示意图。
[0024]图8示意性示出本公开实施例中信息抽取的流程示意图。
[0025]图9示意性示出本公开实施例中一种信息抽取方法的流程示意图。
[0026]图10示意性示出本公开实施例中一种模型训练装置的框图。
[0027]图11示意性示出本公开实施例中信息抽取装置的框图。
具体实施方式
[0028]现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
[0029]此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和 /或微控制器装置中实现这些功能本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法,其特征在于,包括:获取训练语料,并确定所述训练语料对应的三元组,以将所述三元组确定为训练数据;根据所述训练数据训练多个神经网络模型,并通过所述多个神经网络模型对所述训练数据进行类型预测得到预测三元组;对所述预测三元组的权重进行调整,并根据调整权重后的预测三元组更新训练数据;根据更新后的训练数据对神经网络模型的模型参数进行调整,获取信息抽取模型。2.根据权利要求1所述的模型训练方法,其特征在于,所述确定所述训练语料对应的三元组,包括:根据目标关系类型将所述训练数据中的三元组确定为初始三元组,并根据所述训练数据的语义信息在所述初始三元组中确定待抽取三元组,以确定所述三元组。3.根据权利要求1所述的模型训练方法,其特征在于,所述根据所述训练数据训练多个神经网络模型,包括:根据所述训练数据得到多个训练数据子集;将所述多个训练数据子集中的一个训练数据子集作为验证集,将剩余训练数据子集作为训练集,对多个神经网络模型进行训练。4.根据权利要求3所述的模型训练方法,其特征在于,所述将所述多个训练数据子集中的一个训练数据子集作为验证集,将剩余训练数据子集作为训练集,对多个神经网络模型进行训练,包括:将所述多个训练数据子集中的第i个训练数据子集作为验证集,将剩余训练数据子集作为训练集;以第i个神经网络模型的验证集分数值最高为模型训练目标,对多个神经网络模型中的第i个神经网络模型进行训练,并确定训练好的第i个神经网络模型。5.根据权利要求3所述的模型训练方法,其特征在于,所述通过所述多个神经网络模型对所述训练数据进行类型预测得到预测三元组,包括:通过所述多个神经网络模型对所述训练数据进行预测,得到多个目标三元组的多个得分;对所述目标三元组的多个得分进行平均处理获取每个目标三元组的目标得分,并根据所述目标得分确定所述预测三元组。6.根据权利要求5所述的模型训练方法,其特征在于,所述根据所述目标得分确定所述预测三元组,包括:若所述目标得分大于第一阈值,将所述三元组确定为候选三元组;若所述目标得分小于第二阈值,或所述目标得分大于第一阈值且所述三元组未存在于所述训练数据对应的语义信息中,将所述三元组确定为待剔除三元组;其中,所述第一阈值大于所述第二阈值。7.根据权利要求6所述的模型训练方法,其特征在于,所述对所述预测三元组的权重进行调整,并根据调整权重后的预测三元组更新训练数据,包括:降低处于所述训练数据中的待剔除三元组的权重,增加所述训练数据之外的候选三元...

【专利技术属性】
技术研发人员:樊乘源刘海锋
申请(专利权)人:深圳市欢太科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1