实体抽取模型的训练方法、实体关系抽取方法及装置制造方法及图纸

本申请提供一种实体抽取模型的训练方法、实体关系抽取方法及装置，其中实体抽取模型的训练方法包括：确定训练样本集的实体特征和词性特征，将训练样本集输入至初始抽取模型，通过特征抽取层获取到训练样本集的字符特征后，融合训练样本集的字符特征、实体特征和词性特征等不同的底层特征，共同对初始抽取模型进行训练，丰富了初始抽取模型在学习训练样本集中的样本文本时的依赖信息，减少了训练样本集的误差积累，增强训练完成的实体抽取模型的迁移能力，并且融合不同的底层特征，扩大了特征表示的差异性，提高了训练完成的实体抽取模型的抽取能力。抽取能力。抽取能力。

【技术实现步骤摘要】
实体抽取模型的训练方法、实体关系抽取方法及装置


[0001]本申请涉及自然语言处理
，特别涉及一种实体抽取模型的训练方法，一种实体关系抽取方法，一种实体抽取模型的训练装置，一种实体关系抽取装置，一种计算设备，以及一种计算机存储介质。

技术介绍

[0002]命名实体识别(NER)是指从输入文本中抽取出具有特定意义的或指代性强的实体，是自然语言处理中一个非常重要的任务，其在文本信息理解、知识问答、检索、图谱构建等诸多场景中有着广泛的应用。目前，在进行命名实体识别时，除了需要从输入文本中抽取出具有特定意义的或指代性强的实体，以及该实体的实体类型外，还可能需要抽取各个实体之间的实体关系。
[0003]现有技术中，往往是通过预训练语言模型的编码层获取输入文本的语义信息，将该语义信息直接作为词嵌入特征，输入线性网络得到输入文本中的实体信息，然后再对实体信息进行语义编码，基于语义信息和实体信息两两联合判断实体之间的关系。
[0004]然而，上述实体关系抽取方法中，仅仅是基于输入文本的语义信息和实体信息联合判断实体之间的关系，抽取实体关系中依赖的底层信息较少，导致实体关系抽取的准确性较差。因此，如何提供更准确的实体关系抽取方法就成为技术人员亟待解决的问题。

技术实现思路

[0005]有鉴于此，本申请实施例提供了一种实体抽取模型的训练方法、实体关系抽取方法及装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。
[0006]根据本申请实施例的第一方面，提供了一种实体抽取模型的训练方法，包括：
[0007]获取训练样本集，并确定训练样本集的实体特征和词性特征，其中，训练样本集包括至少一个样本文本；
[0008]将训练样本集输入初始实体抽取模型中的特征抽取层，获得训练样本集中各个样本文本对应的字符特征；
[0009]根据字符特征、实体特征和词性特征，调整初始实体抽取模型的模型参数，并返回执行获取训练样本集的操作步骤，直至达到训练停止条件，获得训练完成的实体抽取模型。
[0010]根据本申请实施例的第二方面，提供了一种实体关系抽取方法，包括：
[0011]将待抽取文本输入实体抽取模型，获得待抽取文本包括的各个目标实体以及对应的实体标注信息，其中，实体抽取模型为通过上述第一方面的实体抽取模型的训练方法训练得到；
[0012]将各个目标实体以及对应的实体标注信息输入关系抽取模型，获得各个目标实体之间的目标实体关系。
[0013]根据本申请实施例的第三方面，提供了一种实体抽取模型的训练装置，包括：
[0014]获取模块，被配置为获取训练样本集，并确定训练样本集的实体特征和词性特征，其中，训练样本集包括至少一个样本文本；
[0015]第一获得模块，被配置为将训练样本集输入初始实体抽取模型中的特征抽取层，获得训练样本集中各个样本文本对应的字符特征；
[0016]第一训练模块，被配置为根据字符特征、实体特征和词性特征，调整初始实体抽取模型的模型参数，并返回执行获取训练样本集的操作步骤，直至达到训练停止条件，获得训练完成的实体抽取模型。
[0017]根据本申请实施例的第四方面，提供了一种实体关系抽取装置，包括：
[0018]第二获得模块，被配置为将待抽取文本输入实体抽取模型，获得待抽取文本包括的各个目标实体以及对应的实体标注信息，其中，实体抽取模型为通过上述第一方面的实体抽取模型的训练方法训练得到；
[0019]第三获得模块，被配置为将各个目标实体以及对应的实体标注信息输入关系抽取模型，获得各个目标实体之间的目标实体关系。
[0020]根据本申请实施例的第五方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，处理器执行指令时实现实体抽取模型的训练方法或者实体关系抽取方法的步骤。
[0021]根据本申请实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现实体抽取模型的训练方法或者实体关系抽取方法的步骤。
[0022]根据本申请实施例的第七方面，提供了一种芯片，其存储有计算机指令，该指令被芯片执行时实现实体抽取模型的训练方法或者实体关系抽取方法的步骤。
[0023]本申请实施例中提供了一种实体抽取模型的训练方法，在训练实体抽取模型时，可以确定训练样本集的实体特征和词性特征，将训练样本集输入至初始抽取模型，通过特征抽取层获取到训练样本集的字符特征后，可以融合训练样本集的字符特征、实体特征和词性特征等不同的底层特征，共同对初始抽取模型进行训练，丰富了初始抽取模型在学习训练样本集中的样本文本时的依赖信息，减少了训练样本集的误差积累，增强训练完成的实体抽取模型的迁移能力，并且融合不同的底层特征，扩大了特征表示的差异性，提高了训练完成的实体抽取模型的抽取能力，使得训练完成的实体抽取模型可以更为准确地确定出输入文本包括的各个目标实体以及对应的实体标注信息，提高了模型抽取实体的准确性。
[0024]本申请实施例中提供了一种实体关系抽取方法，实体抽取模型为通过上述实体抽取模型的训练方法训练得到，因而实体抽取模型可以准确地确定出待抽取文本包括的各个目标实体以及对应的实体标注信息，之后可以将各个目标实体以及对应的实体标注信息输入至关系抽取模型，通过关系抽取模型对目标实体以及对应的实体标注信息进行融合分析，确定出各个目标实体之间的目标实体关系。如此，待抽取文本的目标实体关系抽取划分为两个阶段，先识别各个目标实体对应的实体标注信息，再抽取各个目标实体之间的实体关系，在对各个目标实体之间的关系进行抽取类时，融合了目标实体的本身实体信息以及实体标注信息等不同的特征信息，提高了实体关系抽取结果的准确性。
附图说明
[0025]图1是本申请一实施例提供的一种实体关系抽取过程的处理流程图；
[0026]图2是本申请一实施例提供的一种实体抽取模型的训练方法的流程图；
[0027]图3是本申请一实施例提供的一种实体特征和词性特征的确定过程的流程图；
[0028]图4是本申请一实施例提供的一种实体特征的确定过程流程图；
[0029]图5是本申请一实施例提供的一种词性特征的确定过程流程图；
[0030]图6是本申请一实施例提供的一种字符特征的获得过程流程图；
[0031]图7是本申请一实施例提供的一种初始实体抽取模型的模型参数调整方法的流程图；
[0032]图8是本申请一实施例提供的一种融合特征的获得方法的流程图；
[0033]图9是本申请一实施例提供的一种预测实体类型的确定方法的流程图；
[0034]图10是本申请一实施例提供的一种实体关系抽取方法的流程图；
[0035]图11是本申请一实施例提供的一种实体标注信息的确定方法的流程图；
[0036]图12是本申请一实施例提供的一种目标实体关系的确定方法的流程图；
[0037]图1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实体抽取模型的训练方法，其特征在于，包括：获取训练样本集，并确定所述训练样本集的实体特征和词性特征，其中，所述训练样本集包括至少一个样本文本；将所述训练样本集输入初始实体抽取模型中的特征抽取层，获得所述训练样本集中各个样本文本对应的字符特征；根据所述字符特征、所述实体特征和所述词性特征，调整所述初始实体抽取模型的模型参数，并返回执行所述获取训练样本集的操作步骤，直至达到训练停止条件，获得训练完成的实体抽取模型。2.根据权利要求1所述的实体抽取模型的训练方法，其特征在于，所述确定所述训练样本集的实体特征和词性特征，包括：根据所述训练样本集中各个样本文本包括的第一样本实体，构建预设实体词典，并确定所述预设实体词典对应的实体特征；对所述训练样本集中各个样本文本进行词性标注，并根据所述词性标注确定所述训练样本集的词性特征。3.根据权利要求2所述的实体抽取模型的训练方法，其特征在于，所述根据所述训练样本集中各个样本文本包括的第一样本实体，构建预设实体词典，并确定所述预设实体词典对应的实体特征，包括：抽取所述训练样本集中各个样本文本包括的第一样本实体，并统计各个第一样本实体出现的频数，选择频数大于频数阈值的目标样本实体构建所述预设实体词典；针对所述预设实体词典中的每个目标样本实体，查询预设词向量表，获取所述目标样本实体对应的词向量；通过特征融合网络融合所述各个目标样本实体对应的词向量，获得所述预设实体词典对应的实体特征。4.根据权利要求2所述的实体抽取模型的训练方法，其特征在于，所述对所述训练样本集中各个样本文本进行词性标注，并根据所述词性标注确定所述训练样本集的词性特征，包括：通过词性标注工具对所述训练样本集中各个样本文本进行词性标注，获得所述训练样本集中各个样本文本包括的各个词语的词性；基于预设编码规则对所述各个词语的词性进行编码，获得所述各个词语的词性向量；将所述各个词语的词性向量作为所述训练样本集的词性特征。5.根据权利要求1
‑
4任一项所述的实体抽取模型的训练方法，其特征在于，所述将所述训练样本集输入初始实体抽取模型中的特征抽取层，获得所述训练样本集中各个样本文本对应的字符特征，包括：将第一样本文本中的字符映射至预设字符库中对应的位置，获得所述第一样本文本的编码特征，其中，所述第一样本文本是所述训练样本集包括的任一样本文本；将所述编码特征输入初始实体抽取模型中的特征抽取层，获得所述第一样本文本对应的字符特征。6.根据权利要求1
‑
4任一项所述的实体抽取模型的训练方法，其特征在于，每个所述样本文本携带第一样本实体对应的实体类型标签；
所述根据所述字符特征、所述实体特征和所述词性特征，调整所述初始实体抽取模型的模型参数，包括：将所述各个样本文本对应的字符特征与所述实体特征、所述词性特征进行融合，获得所述训练样本集中各个样本文本的融合特征表示；将所述融合特征表示输入所述初始实体抽取模型中的实体识别层，获得所述初始实体抽取模型输出的预测实体类型；基于所述预测实体类型和所述实体类型标签，计算所述初始实体抽取模型的第一损失值，基于所述第一损失值，反向调整所述初始实体抽取模型的模型参数。7.根据权利要求6所述的实体抽取模型的训练方法，其特征在于，所述将所述各个样本文本对应的字符特征与所述实体特征、所述词性特征进行融合，获得所述训练样本集中各个样本文本的融合特征表示，包括：针对第一样本文本包括的第一字符的字符特征，将所述第一字符的字符特征与所述实体特征、所述第一字符的词性特征进行融合，获得所述第一字符的融合特征表示，其中，所述第一样本文本为所述训练样本集中的任一样本文本，所述第一字符为所述第一样本文本包括的任一字符；将第一样本文本包括的各个字符的融合特征表示作为所述第一样本文本的融合特征表示。8.根据权利要求6所述的实体抽取模型的训练方法，其特征在于，所述初始实体抽取模型还包括特征分析层；所述将所述融合特征表示输入所述初始实体抽取模型中的实体识别层，获得所述初始实体抽取模型输出的预测实体类型之前，还包括：将所述融合特征表示输入所述初始实体抽取模型中的特征分析层，获得所述各个样本文本对应的隐层表示；所述将所述融合特征表示输入所述初始实体抽取模型中的实体识别层，获得所述初始实体抽取模型输出的预测实体类型，包括：将所述隐层表示输入所述初始实体抽取模型中的实体识别层，获得所述初始实体抽取模型输出的预测实体类型。9.一种实体关系抽取方法，其特征在于，包括：将待抽取文本输入实体抽取模型，获得所述待抽取文本包括的各个目标实体以及对应的实体标注信息，其中，所述实体抽取模型为通过上述权利要求1
‑
8任一项所述的实体抽取模型的训练方法训练得到；将所述各个目标实体以及对应的实体标注信息输入关系抽取模型，获得所述各个目标实体之间的目标实体关系。10.根据权利要求9所述的实体关系抽取方法，其特征在于，所述将所述各个目标实体以及对应的实体标注信息输入关系抽取模型，获得所述各个目标实体之间的目标实体关系，包括：将所述各个目标实体以及对应的实体标注信息输入关系抽取模型的特征抽取层，获得所述各个目标实体中各个字符的字符语义向量，以及各个字符对应的实体标注信息的标注语义向量；
根据所述各个目标实体的所述字符语义向量和所述标注语义向量，确定所述各个目标实...

【专利技术属性】
技术研发人员：潘璋，李小龙，李长亮，
申请(专利权)人：北京金山数字娱乐科技有限公司，
类型：发明
国别省市：