一种结构化信息的生成方法、信息生成设备以及存储介质技术

本申请实施例公开了一种结构化信息的生成方法、信息生成设备以及存储介质，通过模型级联的方式生成与目标抽取任务相应的结构化信息，适用于不同的目标抽取任务，具有较强的适用性和迁移性。前述的方法包括：获取待抽取文本；基于待抽取文本和K个抽取模型生成由K个抽取元素组成的结构化信息，K个抽取元素组成的结构化信息与预设生成格式对应，每个抽取模型对应输出K个抽取元素集合的一个抽取元素集合，第一个抽取模型的输入为待抽取文本，第M个抽取模型的输入为待抽取文本和前M

【技术实现步骤摘要】
一种结构化信息的生成方法、信息生成设备以及存储介质


[0001]本申请实施例涉及结构化信息抽取
，具体涉及一种结构化信息的生成方法、信息生成设备以及存储介质。

技术介绍

[0002]人类社会发展过程中，知识主要以自然语言的形式进行传播和沉淀，这就导致了大量的信息以非结构化纯文本的形式存在于互联网中。而随着信息技术的迅速发展和硬件设备的不断升级，特别是大数据和人工智能技术的发展，机器正在逐步代替人类对数据进行处理和分析，但是机器或者说模型利用非结构化数据的能力要远远地弱于其利用结构化数据的能力，因此结构化信息抽取任务应运而生。结构化信息抽取任务旨在从非结构化的自然语言文本中提取出结构化的信息，以便于上层应用处理、分析和使用。
[0003]然而，受限于抽取结果的结构性与模型输出的单一性之间的矛盾，传统的方案将结构化信息各个部分的抽取过程独立开来，像流水线一样分步进行，这使得流水线各个部分的误差逐步积累，使得最终模型效果大打折扣。后续提出的联合式信息抽取方式通过参数共享、联合优化目标等手段，将各个元素的抽取过程联合起来，进行端到端的信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结构化信息的生成方法，其特征在于，所述方法应用于信息生成设备，所述信息生成设备包括目标抽取任务对应的K个抽取模型，所述目标抽取任务携带预设生成格式，所述K个抽取模型由编码器解码器框架对文本训练样本进行模型训练得到，所述K个抽取模型按顺序排列，所述K为整数，且K≥2，所述方法包括：获取待抽取文本；根据所述待抽取文本和所述K个抽取模型生成由K个抽取元素组成的结构化信息，其中，所述由K个抽取元素组成的结构化信息与所述预设生成格式对应，每个所述抽取模型对应输出K个抽取元素集合中的一个抽取元素集合，所述K个抽取元素的类型包括枚举值或抽取值，第一个抽取模型的输入为所述待抽取文本，第M个抽取模型的输入为所述待抽取文本和前M-1个抽取元素组成的文本，所述前M-1个抽取元素中的每一个抽取元素均由对应的抽取模型对前M-1个抽取元素集合进行遍历输出，M为整数，且1＜M≤K。2.根据权利要求1所述的方法，其特征在于，所述K个抽取元素包括第一抽取元素和K-1个第M抽取元素，所述根据所述待抽取文本和所述K个抽取模型生成由K个抽取元素组成的结构化信息，包括：将所述待抽取文本输入所述第一个抽取模型，得到第一抽取元素集合，所述第一抽取元素集合包括所述第一抽取元素，所述第一抽取元素排列在所述K个抽取元素中的第一个位置；对前M-1个抽取元素集合进行遍历，得到至少一个由前M-1个抽取元素组成的文本，其中，所述前M-1个抽取元素之间具有配对关系；将所述待抽取文本和任意一个所述由前M-1个抽取元素组成的文本输入所述第M个抽取模型，得到所述第M抽取元素集合，所述第M抽取元素集合包括所述第M抽取元素，所述第M抽取元素排列在所述K个抽取元素中的第M个位置；将所述第一抽取元素和K-1个所述第M抽取元素生成所述结构化信息。3.根据权利要求2所述的方法，其特征在于，所述第一抽取元素的类型包括第一枚举值或第一抽取值，将所述待抽取文本输入所述第一个抽取模型，得到第一抽取元素集合，包括：将所述待抽取文本输入所述第一个抽取模型，得到第一输出值、或第一开始位置与第一结束位置；在所述第一输出值大于预设阈值时，则基于所述第一输出值所对应的位置信息得到第一枚举值集合，所述第一枚举值集合包括所述第一枚举值，所述第一枚举值包括实体标签、实体关系、事件的属性类型或所述事件的元素类型；或，基于所述第一开始位置与所述第一结束位置得到第一抽取值集合，所述第一抽取值集合包括所述第一抽取值，所述第一抽取值包括实体、所述事件的触发词或所述事件的元素值。4.根据权利要求2所述的方法，其特征在于，所述第M抽取元素的类型包括第M枚举值或第M抽取值，将所述待抽取文本和所述由前M-1个抽取元素组成的文本输入所述第M个抽取模型，得到第M抽取元素集合，包括：将所述待抽取文本和所述由前M-1个抽取元素组成的文本输入所述第M个抽取模型，得到第M输出值、或第M开始位置与第M结束位置，其中，所述M-1个抽取元素的类型包括所述枚
举值或所述抽取值；当所述第M输出值大于预设阈值时，则基于所述第M输出值所对应的位置信息得到第M枚举值集合，所述第M枚举值集合包括所述第M枚举值，所述第M枚举值包括实体标签、实体关系、事件的属性类型或所述事件的元素类型；或，基于所述第M始位置与所述第M结束位置得到第M抽取值集合，所述第M抽取值集合包括所述第M抽取值，所述第M抽取值包括实体、所述事件的触发词或所述事件的元素值。5.根据权利要求3所述的方法，其特征在于，所述第一个抽取模型由第一嵌入层的预选模型、第一编码层的预选模型、第一解码层的预选模型以及第一输出层的预选模型组成，所述将所述待抽取文本输入所述第一个抽取模型，得到第一输出值、或第一开始位置与第一结束位置，包括：将所述待抽取文本输入所述第一嵌入层的预选模型，得到第一词向量序列；基于所述第一编码层的预选模型对所述第一词向量序列进行处理，得到第一语义向量序列；基于所述第一解码层的预选模型和所述第一输出层的预选模型对所述第一语义向量序列进行处理，得到第一输出值、或第一开始位置和第一结束位置。6.根据权利要求4所述的方法，其特征在于，所述第M个抽取模型由第M嵌入层的预选模型、第M编码层的预选模型、第M注意力机制网络层的预选模型、第M解码层的预选模型以及第M输出层的预选模型组成，将所述待抽取文本和M-1个抽取元素组成的文本输入所述第M个抽取模型，得到第M输出值、或第M开始位置与第M结束位置，包括：将所述待抽取文本和所述M-1个抽取元素组成的文本输入所述第M嵌入层的预选模型，分别得到第二词向量序列和第三词向量序列；基于所述第M编码层的预选模型对所述第二词向量序列和所述第三词向量序列进行处理，分别得到第二语义向量序列和第三语义向量序列；基于所述第M注意力机制网络层的预选模型对所述第二语义向量序列和所述第三语义向量序列进行处理，得到第一注意力向量序列；基于所述第M解码层的预选模型和所述第M输出层的预选模型对所述第一注意力向量序列进行处理，得到第M输出值、或第M开始位置和第M结束位置。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述文本训练样本和文本标注集，所述文本标注集包括Q组预设结构化信息，每组所述预设结构化信息包括K个文本标注，每个所述文本标注用于表征所述文本训练样本中的输出元素；基于所述文本训练样本、所述文本标注集以及K个初始文本抽取模型确定第一结构化信息输出集合，每个所述初始文本抽取模型分别输出所述第一结构化信息输出集合中的一个输出元素，第一个初始文本抽取模型的输入为所述文本训练样本和所述Q个第一文本标注，第M个初始文本抽取模型的输入包括所述文本训练样本和前M-1个去重标签集合组成的元素集合，所述前M-1个去重标签集合中的每一个文本标注分别由前M-1个初始文本抽取模型对应输出，所述Q个第一文本标注分别排列在每组所述预设结构化信息中的第一个位置；通过损失函数对所述第一结构化信息输出集合以及所述文本标注集进行处理，得到损失函数值，其中，所述损失函数值用于表征所述第一结构化信息输出集合中的每个输出元
素与所述文本标注集的差异度，所述损失函数由所述K个初始文本抽取模型分别对应的预设损失函数进行加权求和得到；基于所述损失函数值和所述K个初始文本抽取模型训练得到所述K个抽取模型。8.一种信息生成设备，其特征在于，所述信息生成设备包括目标抽取任务对应的K个抽取模型，所述目标抽取任务携带预设生成格式，所述K个抽取模型由编码器解码器框架对文本训练样...

【专利技术属性】
技术研发人员：王鹏，郑毅，王禹，袁晶，怀宝兴，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：