计算机执行的、利用神经网络进行事件抽取的方法及装置制造方法及图纸

技术编号:21658702 阅读:20 留言:0更新日期:2019-07-20 05:39
本说明书实施例提供一种计算机执行的、利用神经网络进行事件抽取的方法及装置。所述神经网络包括输入层、向量转换层、注意力层、触发词事件分类层、论元词角色分类层、输出层,所述方法包括:首先在输入层,接收待分析句子对应的词集合;然后在向量转换层,确定所述词集合中各个词对应的词向量;再在注意力层,确定所述句子在各个事件类型下的句子向量;还在触发词事件分类层,确定候选触发词对应各个事件类型的触发词分类结果;还在论元词角色分类层,确定候选论元词在各个事件类型下的角色分类结果;之后在输出层,至少根据所述触发词分类结果和所述角色分类结果,确定事件抽取结果。

Method and Device of Event Extraction Based on Neural Network and Computer Execution

【技术实现步骤摘要】
计算机执行的、利用神经网络进行事件抽取的方法及装置
本说明书一个或多个实施例涉及计算机信息处理领域,尤其涉及一种计算机执行的、利用神经网络进行事件抽取的方法及装置。
技术介绍
事件抽取(Eventextraction)为一种信息抽取的形式,其是为了从自然语言文本中抽取结构化的事件信息。事件抽取拥有广泛的实际应用场景,例如文章内容自动提炼、知识库自动构建等。然而,事件抽取作为上层自然语言处理任务,面临着诸多困难的问题与挑战。例如,对事件抽取的性能要求越来越高。再例如,在实际应用中,事件类型的集合不是一个限定的集合,而可能会根据用户的需求进行扩充。因此,需要提供更准确、迁移性更好的事件抽取方案。
技术实现思路
本说明书一个或多个实施例描述了一种计算机执行的、利用神经网络进行事件抽取的方法,可以提高事件抽取的性能。根据第一方面,提供一种计算机执行的、利用神经网络进行事件抽取的方法,所述神经网络包括输入层、向量转换层、注意力层、触发词事件分类层、论元词角色分类层、输出层,所述方法包括:在输入层,接收待分析句子对应的词集合;在向量转换层,确定所述词集合中各个词对应的词向量;在注意力层,针对预设的多个事件类型中的各个事件类型,基于各个词的词向量,确定每个词在该事件类型下的综合注意力系数;并针对各个事件类型,以该事件类型下各个词的综合注意力系数为权重因子,对各个词向量求和,确定所述句子在各个事件类型下的句子向量;在触发词事件分类层,对于所述词集合中的各个候选触发词,基于该候选触发词的词向量和各个事件类型下的句子向量,确定该候选触发词对应各个事件类型的触发词分类结果;在论元词角色分类层,对于所述词集合中的各个候选论元词,基于该候选论元词的词向量,所述候选触发词的词向量和各个事件类型下的句子向量,确定该候选论元词在各个事件类型下的角色分类结果;在输出层,至少根据所述触发词分类结果和所述角色分类结果,确定事件抽取结果。在一个实施例中,其中,所述词集合为多个词构成的词集合;所述多个词由对所述待分析句子进行分词以及实体识别而得到的。在一个实施例中,其中,所述向量转换层包括向量查表层、双向长短期记忆LSTM处理层和向量拼接层,所述双向长短期记忆LSTM处理层包括前向LSTM单元和后向LSTM单元;所述词集合包括第一词,所述确定所述词集合中各个词对应的词向量包括:在所述向量查表层,通过向量映射,确定各个词对应的映射向量,其中,所述第一词对应第一映射向量;在所述双向长短期记忆LSTM处理层,获得所述前向LSTM单元对所述第一映射向量处理后输出的第一处理结果,所述后向LSTM单元对所述第一映射向量处理后输出的第二处理结果;将所述第一处理结果和第二处理结果进行拼接,得到第一拼接向量;在所述向量拼接层,基于所述第一映射向量和所述第一拼接向量,确定所述第一词对应的第一词向量。在一个实施例中,其中,所述通过向量映射,确定各个词对应的映射向量,包括:通过词映射,确定所述第一词对应的第一嵌入向量;基于所述第一词对应的实体类型的映射,确定所述第一词对应的第一实体类型向量;将所述第一嵌入向量和所述第一实体类型向量进行拼接,得到所述第一映射向量;所述基于所述第一映射向量和所述第一拼接向量,确定所述第一词对应的第一词向量,包括:将所述第一嵌入向量和所述第一拼接向量进行拼接,得到所述第一词向量。在一个实施例中,其中,所述词集合包括第一词,所述预设的多个事件类型包括第一事件类型;所述针对预设的多个事件类型中的各个事件类型,基于各个词的词向量,确定每个词在该事件类型下的综合注意力系数,包括:针对第一事件类型,确定所述第一词作为触发词的第一注意力系数和作为论元词的第二注意力系数;基于所述第一注意力系数和所述第二注意力系数,确定所述第一词在第一事件类型下的综合注意力系数。在一个实施例中,所述针对第一事件类型,确定所述第一词在作为触发词的第一注意力系数和作为论元词的第二注意力系数,包括:基于训练得到的第一参数集,将所述第一词的词向量,与训练得到的第一事件类型对应的第一查询向量进行第一运算,确定所述第一词在第一事件类型下的第一注意力系数;基于训练得到的第二参数集,将所述第一词的词向量,与训练得到的第一事件类型对应的第二查询向量进行第二运算,确定所述第一词在第一事件类型下的第二注意力系数。在一个实施例中,其中,所述预设的多个事件类型包括第一事件类型,所述对于所述词集合中的各个候选触发词,基于该候选触发词的词向量和各个事件类型下的句子向量,确定该候选触发词对应各个事件类型的触发词分类结果包括:基于训练得到的第三参数集,将该候选触发词的词向量和所述第一事件类型下的句子向量,与训练得到的第一事件类型对应的第三查询向量进行第三运算,确定该候选触发词对应第一事件类型的触发词分类结果;所述对于所述词集合中的各个候选论元词,基于该候选论元词的词向量,所述候选触发词的词向量和各个事件类型下的句子向量,确定该候选论元词在各个事件类型下的角色分类结果包括:基于训练得到的第四参数集,将该候选论元词的词向量,所述候选触发词的词向量和各个事件类型下的句子向量,与训练得到的第一事件类型的论元角色对应的第四查询向量进行第四运算,确定该候选论元词在第一事件类型下的角色分类结果。在一个实施例中,其中,所述注意力层、所述触发词事件分类层、所谓论元词角色分类层通过联合训练得到。在一个实施例中,所述神经网络包括还句子事件分类层,所述方法还包括:在句子事件分类层,基于各个事件类型的句子向量,确定待分析句子对应各个事件类型的句子分类结果;所述确定事件抽取结果包括,根据所述句子分类结果,所述触发词分类结果和所述角色分类结果,确定事件抽取结果。在一个实施例中,所述基于各个事件类型的句子向量,确定待分析句子对应各个事件类型的句子分类结果,包括:基于训练得到的第五参数集,将各个事件类型下的句子向量,与训练得到的各个事件类型对应的第五查询向量进行第五运算,确定该句子对应的各个事件类型的句子分类结果。在一个实施例中,所述注意力层、所述触发词事件分类层、所述论元词角色分类层、句子事件分类层通过联合训练得到。在一个实施例中,所述对于所述词集合中的各个候选论元词,基于该候选论元词的词向量,所述候选触发词的词向量和各个事件类型下的句子向量,确定该候选论元词在各个事件类型下的角色分类结果包括:基于该候选论元词的词向量,所述候选触发词的词向量,各个事件类型下的句子向量和该候选论元词的第一特征向量,判断该候选论元词是否为各个事件类型下的第一角色;该候选论元词的第一特征向量包括以下任一种或多种:该候选论元词的实体类型、该候选论元词和候选触发词之间间隔的词的数量、候选论元词和候选触发词之间的第一角色备选论元词的数量。根据第二方面,提供一种进行事件抽取的装置,所述装置包括:接收单元,配置为接收待分析句子对应的词集合;转换单元,配置为确定所述词集合中各个词对应的词向量;第一确定单元,配置为针对预设的多个事件类型中的各个事件类型,基于各个词的词向量,确定每个词在该事件类型下的综合注意力系数;并针对各个事件类型,以该事件类型下各个词的综合注意力系数为权重因子,对各个词向量求和,确定所述句子在各个事件类型下的句子向量;第二确定单元,配置为对本文档来自技高网...

【技术保护点】
1.一种计算机执行的、利用神经网络进行事件抽取的方法,所述神经网络包括输入层、向量转换层、注意力层、触发词事件分类层、论元词角色分类层、输出层,所述方法包括:在输入层,接收待分析句子对应的词集合;在向量转换层,确定所述词集合中各个词对应的词向量;在注意力层,针对预设的多个事件类型中的各个事件类型,基于各个词的词向量,确定每个词在该事件类型下的综合注意力系数;并针对各个事件类型,以该事件类型下各个词的综合注意力系数为权重因子,对各个词向量求和,确定所述句子在各个事件类型下的句子向量;在触发词事件分类层,对于所述词集合中的各个候选触发词,基于该候选触发词的词向量和各个事件类型下的句子向量,确定该候选触发词对应各个事件类型的触发词分类结果;在论元词角色分类层,对于所述词集合中的各个候选论元词,基于该候选论元词的词向量,所述候选触发词的词向量和各个事件类型下的句子向量,确定该候选论元词在各个事件类型下的角色分类结果;在输出层,至少根据所述触发词分类结果和所述角色分类结果,确定事件抽取结果。

【技术特征摘要】
1.一种计算机执行的、利用神经网络进行事件抽取的方法,所述神经网络包括输入层、向量转换层、注意力层、触发词事件分类层、论元词角色分类层、输出层,所述方法包括:在输入层,接收待分析句子对应的词集合;在向量转换层,确定所述词集合中各个词对应的词向量;在注意力层,针对预设的多个事件类型中的各个事件类型,基于各个词的词向量,确定每个词在该事件类型下的综合注意力系数;并针对各个事件类型,以该事件类型下各个词的综合注意力系数为权重因子,对各个词向量求和,确定所述句子在各个事件类型下的句子向量;在触发词事件分类层,对于所述词集合中的各个候选触发词,基于该候选触发词的词向量和各个事件类型下的句子向量,确定该候选触发词对应各个事件类型的触发词分类结果;在论元词角色分类层,对于所述词集合中的各个候选论元词,基于该候选论元词的词向量,所述候选触发词的词向量和各个事件类型下的句子向量,确定该候选论元词在各个事件类型下的角色分类结果;在输出层,至少根据所述触发词分类结果和所述角色分类结果,确定事件抽取结果。2.根据权利要求1所述的方法,其中,所述词集合为多个词构成的词集合;所述多个词由对所述待分析句子进行分词以及实体识别而得到的。3.根据权利要求1所述的方法,其中,所述向量转换层包括向量查表层、双向长短期记忆LSTM处理层和向量拼接层,所述双向长短期记忆LSTM处理层包括前向LSTM单元和后向LSTM单元;所述词集合包括第一词,所述确定所述词集合中各个词对应的词向量包括:在所述向量查表层,通过向量映射,确定各个词对应的映射向量,其中,所述第一词对应第一映射向量;在所述双向长短期记忆LSTM处理层,获得所述前向LSTM单元对所述第一映射向量处理后输出的第一处理结果,所述后向LSTM单元对所述第一映射向量处理后输出的第二处理结果;将所述第一处理结果和第二处理结果进行拼接,得到第一拼接向量;在所述向量拼接层,基于所述第一映射向量和所述第一拼接向量,确定所述第一词对应的第一词向量。4.根据权利要求3所述的方法,其中,所述通过向量映射,确定各个词对应的映射向量,包括:通过词映射,确定所述第一词对应的第一嵌入向量;基于所述第一词对应的实体类型的映射,确定所述第一词对应的第一实体类型向量;将所述第一嵌入向量和所述第一实体类型向量进行拼接,得到所述第一映射向量;所述基于所述第一映射向量和所述第一拼接向量,确定所述第一词对应的第一词向量,包括:将所述第一嵌入向量和所述第一拼接向量进行拼接,得到所述第一词向量。5.根据权利要求1所述的方法,其中,所述词集合包括第一词,所述预设的多个事件类型包括第一事件类型;所述针对预设的多个事件类型中的各个事件类型,基于各个词的词向量,确定每个词在该事件类型下的综合注意力系数,包括:针对第一事件类型,确定所述第一词作为触发词的第一注意力系数和作为论元词的第二注意力系数;基于所述第一注意力系数和所述第二注意力系数,确定所述第一词在第一事件类型下的综合注意力系数。6.根据权利要求5所述的方法,所述针对第一事件类型,确定所述第一词在作为触发词的第一注意力系数和作为论元词的第二注意力系数,包括:基于训练得到的第一参数集,将所述第一词的词向量,与训练得到的第一事件类型对应的第一查询向量进行第一运算,确定所述第一词在第一事件类型下的第一注意力系数;基于训练得到的第二参数集,将所述第一词的词向量,与训练得到的第一事件类型对应的第二查询向量进行第二运算,确定所述第一词在第一事件类型下的第二注意力系数。7.根据权利要求1所述的方法,其中,所述预设的多个事件类型包括第一事件类型,所述对于所述词集合中的各个候选触发词,基于该候选触发词的词向量和各个事件类型下的句子向量,确定该候选触发词对应各个事件类型的触发词分类结果包括:基于训练得到的第三参数集,将该候选触发词的词向量和所述第一事件类型下的句子向量,与训练得到的第一事件类型对应的第三查询向量进行第三运算,确定该候选触发词对应第一事件类型的触发词分类结果;所述对于所述词集合中的各个候选论元词,基于该候选论元词的词向量,所述候选触发词的词向量和各个事件类型下的句子向量,确定该候选论元词在各个事件类型下的角色分类结果包括:基于训练得到的第四参数集,将该候选论元词的词向量,所述候选触发词的词向量和各个事件类型下的句子向量,与训练得到的第一事件类型的论元角色对应的第四查询向量进行第四运算,确定该候选论元词在第一事件类型下的角色分类结果。8.根据权利要求1所述的方法,其中,所述注意力层、所述触发词事件分类层、所述论元词角色分类层通过联合训练得到。9.根据权利要求1所述的方法,所述神经网络还包括句子事件分类层,所述方法还包括:在句子事件分类层,基于各个事件类型的句子向量,确定待分析句子对应各个事件类型的句子分类结果;所述确定事件抽取结果包括,根据所述句子分类结果,所述触发词分类结果和所述角色分类结果,确定事件抽取结果。10.根据权利要求9所述的方法,所述基于各个事件类型的句子向量,确定待分析句子对应各个事件类型的句子分类结果,包括:基于训练得到的第五参数集,将各个事件类型下的句子向量,与训练得到的各个事件类型对应的第五查询向量进行第五运算,确定该句子对应的各个事件类型的句子分类结果。11.根据权利要求9所述的方法,所述注意力层、所述触发词事件分类层、所述论元词角色分类层、所述句子事件分类层通过联合训练得到。12.根据权利要求1所述的方法,所述对于所述词集合中的各个候选论元词,基于该候选论元词的词向量,所述候选触发词的词向量和各个事件类型下的句子向量,确定该候选论元词在各个事件类型下的角色分类结果包括:基于该候选论元词的词...

【专利技术属性】
技术研发人员:梁忠平温祖杰张家兴蒋亮陈若田张晓彤赵剑波王恩旭姜海波黄劼周芸
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:开曼群岛,KY

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1