事件抽取模型训练方法、事件抽取方法以及相关设备技术

本发明专利技术提供了事件抽取模型训练方法、事件抽取方法以及相关设备，事件抽取模型训练方法，包括：基于指导信息、专家案例以及通信字典生成知识图谱；对所述知识图谱进行编码获得知识图谱编码；将事件案例进行编码，获得文本编码；将所述知识图谱编码以及所述文本编码进行融合，获得融合编码；将所述融合编码输入第一抽取模型，获得所述事件案例的伪数据标签；基于所述事件案例以及所述伪数据标签训练第二抽取模型。本发明专利技术在样本数据小的情况下，提高事件抽取模型的泛化能力以及抽取准确性。事件抽取模型的泛化能力以及抽取准确性。事件抽取模型的泛化能力以及抽取准确性。

【技术实现步骤摘要】
事件抽取模型训练方法、事件抽取方法以及相关设备


[0001]本专利技术涉及自然语言处理领域，具体地说，涉及事件抽取模型训练方法、事件抽取方法以及相关设备。

技术介绍

[0002]在通信等特定领域，面对各种各样的问题，领域专家或者战略规划专家需要做出各种各样的决策。决策之前需要做调查研究——也就是获取关于问题的情报。通过事件抽取可以自动的获得事件信息，通过自动化的抽取方式，在信息爆炸的时代，大大减少信息筛选时间。
[0003]然而，现有的事件抽取方法一般分为多个子任务，先检测触发词，然后识别事件类别，之后检测论元，最后识别论元角色。第一步的前提需要标注的触发词，若无则无法进行后续。有监督的事件抽取方法，依赖人工标注数据，同时需要训练模型逐个完成子任务，模型串联导致错误传递，后一个模型效果极大依赖前序模型。除此之外，模型缺少先验信息，对数据的依赖比较明显，在样本数据少的情况下，学习难度增加，效果较差。
[0004]由此，如何在样本数据小的情况下，提高事件抽取模型的泛化能力以及抽取准确性，是本领域技术人员亟待解决的技术问题。
[0005]需要说明的是，上述
技术介绍
部分公开的信息仅用于加强对本专利技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]针对现有技术中的问题，本专利技术的目的在于提供事件抽取模型训练方法、装置、设备及存储介质，克服了现有技术的困难，在样本数据小的情况下，提高事件抽取模型的泛化能力以及抽取准确性。
[0007]本专利技术的实施例提供一种事件抽取模型训练方法，包括：
[0008]基于指导信息、专家案例以及通信字典生成知识图谱；
[0009]对所述知识图谱进行编码获得知识图谱编码；
[0010]将事件案例进行编码，获得文本编码；
[0011]将所述知识图谱编码以及所述文本编码进行融合，获得融合编码；
[0012]将所述融合编码输入第一抽取模型，获得所述事件案例的伪数据标签；
[0013]基于所述事件案例以及所述伪数据标签训练第二抽取模型。
[0014]在本申请的一些实施例中，所述基于指导信息、专家案例以及通信字典生成知识图谱包括：
[0015]对所述指导信息进行格式转换，以获得知识块；
[0016]基于所述文本数据生成知识块树形结构，所述知识块树形结构的根节点为文件名，所述知识块树形结构的叶子节点为知识块，所述知识块树形结构除了根节点和叶子节点之外的节点为多级标题。
[0017]在本申请的一些实施例中，所述对所述知识图谱进行编码获得知识图谱编码包括：
[0018]抽取所述专家案例的第一实体；
[0019]基于所述第一实体自所述知识图谱中搜索关联的实体以及实体关系；
[0020]对所述实体以及实体关系进行编码。
[0021]在本申请的一些实施例中，所述对所述实体以及实体关系进行编码包括：
[0022]利用图神经网络或者TransE算法对所述实体以及实体关系进行编码。
[0023]在本申请的一些实施例中，所述将所述知识图谱编码以及所述文本编码进行融合，获得融合编码包括：
[0024]对所述知识图谱编码以及所述文本编码进行拼接、相乘、相加或者加权求和，获得融合编码。
[0025]在本申请的一些实施例中，所述第一抽取模型为基于DMCNN的事件抽取模型，或者为ALBERT、BiLSTM、CRF的复合事件抽取模型。
[0026]在本申请的一些实施例中，所述第二抽取模型为基于完全子图搜索的事件抽取模型。
[0027]根据本申请的又一方面，还提供一种事件抽取方法，包括：
[0028]将待抽取事件输入至第二抽取模型，所述第二抽取模型经由如上所述的事件抽取模型训练方法训练；
[0029]获得所述第二抽取模型输出的实体。
[0030]根据本申请的又一方面，还提供一种事件抽取模型训练装置，包括：
[0031]知识图谱生成模块，配置成基于指导信息、专家案例以及通信字典生成知识图谱；
[0032]知识图谱编码模块，配置成对所述知识图谱进行编码获得知识图谱编码；
[0033]事件编码模块，配置成将事件案例进行编码，获得文本编码；
[0034]融合模块，配置成将所述知识图谱编码以及所述文本编码进行融合，获得融合编码；
[0035]伪数据标签获取模块，配置成将所述融合编码输入第一抽取模型，获得所述事件案例的伪数据标签；
[0036]训练模块，配置成基于所述事件案例以及所述伪数据标签训练第二抽取模型。
[0037]根据本申请的又一方面，还提供一种事件抽取装置，包括：
[0038]输入模块，配置成将待抽取事件输入至第二抽取模型，所述第二抽取模型经由如上所述的事件抽取模型训练方法训练；
[0039]抽取模块，配置成获得所述第二抽取模型输出的实体。
[0040]根据本专利技术的又一方面，还提供一种处理设备，包括：
[0041]处理器；
[0042]存储器，其中存储有所述处理器的可执行指令；
[0043]其中，所述处理器配置为经由执行所述可执行指令来执行如上所述事件抽取模型训练方法的步骤。
[0044]本专利技术的实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述事件抽取模型训练方法的步骤。
[0045]相比现有技术，本专利技术的目的在于：
[0046]本申请在小规模数据集的训练中增加背景知识，利用先验知识构建的知识图谱作为背景知识加入模型，辅助模型推理，提高泛化能力，减少过拟合，而且知识图谱中包含文本所不具备的多跳知识，可以极大提升模型的推理能力。除此之外针对当前事件抽取模型效果好但效率差的问题，利用模型蒸馏，效果好的模型的训练结果蒸馏到效率高的模型上，最终模型兼顾准确率与效率，大大提升事件抽取的效果与效率。
附图说明
[0047]通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显。
[0048]图1是本专利技术的事件抽取模型训练方法的一种实施例的流程图。
[0049]图2是本专利技术的事件抽取模型训练方法的一种具体实施例的流程图。
[0050]图3是本专利技术的事件抽取模型训练方法的一种实施例的示意图。
[0051]图4是本专利技术的事件抽取方法的一种实施例的流程图。
[0052]图5是本专利技术的事件抽取模型训练装置的一种实施例的模块图。
[0053]图6是本专利技术的事件抽取模型训练装置的一种具体实施例的模块图。
[0054]图7是本专利技术的事件抽取装置的一种实施例的模块图。
[0055]图8是本专利技术的事件抽取模型训练设备的结构示意图。
[0056]图9是本专利技术一实施例的计算机可读存储介质的结构示意图。
具体实施方式
[0057]现在将参考附图更全面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种事件抽取模型训练方法，其特征在于，包括：基于指导信息、专家案例以及通信字典生成知识图谱；对所述知识图谱进行编码获得知识图谱编码；将事件案例进行编码，获得文本编码；将所述知识图谱编码以及所述文本编码进行融合，获得融合编码；将所述融合编码输入第一抽取模型，获得所述事件案例的伪数据标签；基于所述事件案例以及所述伪数据标签训练第二抽取模型。2.根据权利要求1所述的事件抽取模型训练方法，其特征在于，所述基于指导信息、专家案例以及通信字典生成知识图谱包括：对所述指导信息进行格式转换，以获得知识块；基于所述文本数据生成知识块树形结构，所述知识块树形结构的根节点为文件名，所述知识块树形结构的叶子节点为知识块，所述知识块树形结构除了根节点和叶子节点之外的节点为多级标题。3.根据权利要求1所述的事件抽取模型训练方法，其特征在于，所述对所述知识图谱进行编码获得知识图谱编码包括：抽取所述专家案例的第一实体；基于所述第一实体自所述知识图谱中搜索关联的实体以及实体关系；对所述实体以及实体关系进行编码。4.根据权利要求3所述的事件抽取模型训练方法，其特征在于，所述对所述实体以及实体关系进行编码包括：利用图神经网络或者TransE算法对所述实体以及实体关系进行编码。5.根据权利要求1所述的事件抽取模型训练方法，其特征在于，所述将所述知识图谱编码以及所述文本编码进行融合，获得融合编码包括：对所述知识图谱编码以及所述文本编码进行拼接、相乘、相加或者加权求和，获得融合编码。6.根据权利要求1所述的事件抽取模型训练方法，其特征在于，所述第一抽取模型为基于DMCNN的事件抽取模型，或者为ALBERT、BiLSTM、CRF...

【专利技术属性】
技术研发人员：刘珮，钱兵，谢汉垒，薛艳茹，马冲，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：