【技术实现步骤摘要】
本专利技术涉及计算机，特别是指信息抽取方法、装置、电子设备及计算机存储介质。
技术介绍
1、随着人工智能和自然语言处理技术的不断发展，信息抽取模型越来越广泛的应用在文本处理领域中,例如文本摘要、问答系统、机器翻译、内容创作等场景中,从而在人机交互、内容生成、数据分析等自然语言理解过程中发挥重要作用。
2、现有的信息抽取任务是基于深度学习和神经网络架构实现的生成式大型语言模型实现的。生成式大型语言模型通过在大规模语料库上进行预训练，实现了生成流畅、连贯的文本的目的，在实现信息抽取任务过程中能够完成自然语言的理解以及生成文本边界。
3、然而,由于大语言模型都是用常规文本生成的标记级屏蔽、以及用常规文本进行去噪借口任务训练的,导致语义关联能力较低,影响信息抽取结果的准确性。
技术实现思路
1、为了解决现有技术存在的信息抽取结果中实体语义关联性低的技术问题，本专利技术实施例提供了一种信息抽取方法及装置。所述技术方案如下：
2、一方面，提供了一种信息抽取方法，该方法由电子设备实现，该方法包括：
3、获取待抽取文本；
4、将所述待抽取文本输入信息抽取模型，其中，所述信息抽取模型是基于预训练模型进行训练获得的，所述预训练模型是对预训练语料库进行实体知识训练获得的；
5、根据所述信息抽取模型输出的信息抽取结果，获得所述待抽取文本对应的目标信息。
6、在第一方面的一种可能的实现方式中，所述信息抽取模型的训练过程包括：
7、获得预训练语料库，其中，所述预训练语料库包含至少一条预训练文本，每条预训练文本包含至少一个实体词语；
8、根据所述预训练语料库对预训练模型进行实体知识训练，其中，所述预训练模型为包含编码器-解码器的转换器模型；
9、根据训练目标函数对训练后的预训练模型进行微调，获得信息抽取模型。
10、在第一方面的一种可能的实现方式中，所述实体知识训练包括实体填充、实体对比以及实体排序。
11、在第一方面的一种可能的实现方式中，所述实体填充为：
12、;
13、其中，表示实体填充函数，x为输入序列，y表示模型通过填充相应的屏蔽实体和代词来构造的输出序列，表示索引小于t的向量，t是y的长度，θ是整个模型的参数。
14、在第一方面的一种可能的实现方式中，所述实体对比为：
15、;
16、其中，表示实体对比函数，θen为编码器的所有参数即优化目标，p(k)为hk的正例的索引集合，也可以理解为共指提及的索引集合，即表示由输入文本中同一实体的所有其他共指提及组成，p是p(k)中的元素，k为输入文本中提及的总数，hk是编码器层顶部的第k个提及的表示，hp表示第p个提及的表示，是编码器的隐藏层状态，t是编码器层数，h是编码器隐藏层的维度。
17、在第一方面的一种可能的实现方式中，所述实体排序为：
18、
19、其中，表示实体排序函数，n为文本s的长度，si为文本序列(s1,s2,s3,......,sn)。
20、在第一方面的一种可能的实现方式中，所述训练目标函数为：
21、
22、其中，为给定标记的语料库，(x,y)为样本，表示序列长度。
23、另一方面，提供了一种信息抽取装置，该装置应用于信息抽取方法，该装置包括：
24、获取模块，用于获取待抽取文本；
25、输入模块，用于将所述待抽取文本输入信息抽取模型，其中，所述信息抽取模型是基于预训练模型进行训练获得的，所述预训练模型是对预训练语料库进行实体知识训练获得的；
26、获得模块，用于根据所述信息抽取模型输出的信息抽取结果，获得所述待抽取文本对应的目标信息。
27、另一方面，提供一种电子设备，所述电子设备包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上述信息抽取方法中的任一项方法。
28、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述信息抽取方法中的任一项方法。
29、本专利技术实施例提供的技术方案带来的有益效果至少包括：通过采用经过实体知识训练的信息提取模型对待抽取文本进行处理，从而提取出表征待提取文本实体知识以及实体关系的内容，提高了信息抽取结果中实体语义关联性。
本文档来自技高网...【技术保护点】
1.一种信息抽取方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述信息抽取模型的训练过程包括：
3.根据权利要求2所述的方法，其特征在于，所述实体知识训练包括实体填充、实体对比以及实体排序。
4.根据权利要求3所述的方法，其特征在于，所述实体填充为：
5.根据权利要求3所述的方法，其特征在于，所述实体对比为：
6.根据权利要求3所述的方法，其特征在于，所述实体排序为：
7.根据权利要求2所述的方法，其特征在于，所述训练目标函数为：
8.一种信息抽取装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至7任一项所述的信息抽取方法。
【技术特征摘要】
1.一种信息抽取方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述信息抽取模型的训练过程包括：
3.根据权利要求2所述的方法，其特征在于，所述实体知识训练包括实体填充、实体对比以及实体排序。
4.根据权利要求3所述的方法，其特征在于，所述实体填充为：
5.根据权利要求3所述的方法，其特征在于，所述实体对比为：
6.根据权利要...
【专利技术属性】
技术研发人员：李晶，周艺耕，张民，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。