本发明专利技术公开了一种信息提取模型的训练方法及装置，该方法包括：获取标注后的文本数据，并将文本数据输入至预训练信息提取模型中，得到文本编码结果并输入至预设数量的第一全连接层中，得到头实体位置向量；分析头实体位置向量以及文本编码结果，得到目标文本向量，并将目标文本向量输入至第二全连接层，得到尾实体位置向量以及文本数据的实体关系；基于头实体位置向量、尾实体位置向量以及文本数据，计算预训练信息提取模型的损失信息，并根据损失信息对预训练信息提取模型进行训练，以得到目标信息提取模型。可见，实施本发明专利技术能够有利于提高信息提取模型训练的准确性和效率，以及有利于提高通过训练所得的信息提取模型进行信息提取的准确性。息提取的准确性。息提取的准确性。
【技术实现步骤摘要】
信息提取模型的训练方法及装置
[0001]本专利技术涉及信息处理
，尤其涉及一种信息提取模型的训练方法及装置。
技术介绍
[0002]随着大数据时代的到来，互联网技术也得到了普及和发展，互联网上的信息量呈直线式增长。在互联网业务中，每天都有海量的来自电商或者社交媒体的文本，其文本中蕴含大量有效信息，需要通过有效的方法对当中的关键信息进行提取。
[0003]目前，对于关键信息的提取方法大多数是基于pipline式进行抽取，也即，先抽取实体，再采用分类模型预测实体关系。但是，这种方式会存在重叠关系的现象，使得提取得到的信息准确率低下，并且这种方式也同样存在着效率低的问题。可见，提供一种新的信息提取模型以提高信息提取的准确性和效率显得尤为重要。
技术实现思路
[0004]本专利技术所要解决的技术问题在于，提供一种信息提取模型的训练方法及装置，能够有利于提高信息提取模型训练的准确性和效率，以及有利于提高通过训练所得的信息提取模型进行信息提取的准确性。
[0005]为了解决上述技术问题，本专利技术第一方面公开了一种信息提取模型的训练方法，所述方法包括：
[0006]获取标注后的文本数据，并将所述文本数据输入至预训练信息提取模型中，得到文本编码结果，所述文本编码结果包括若干个文本编码向量；
[0007]将所述文本编码结果输入至预设数量的第一全连接层中，得到头实体位置向量，所述头实体位置向量包括头实体起始向量和头实体结尾向量；
[0008]分析所述头实体位置向量以及所述文本编码结果，得到目标文本向量，并将所述目标文本向量输入至第二全连接层，得到尾实体位置向量以及所述文本数据的实体关系，所述尾实体位置向量包括尾实体起始向量和尾实体结尾向量；
[0009]基于所述头实体位置向量、所述尾实体位置向量以及所述文本数据，计算所述预训练信息提取模型的损失信息，并根据所述损失信息对所述预训练信息提取模型进行训练，以得到目标信息提取模型。
[0010]作为一种可选的实施方式，在本专利技术第一方面中，所述分析所述头实体位置向量以及所述文本编码结果，得到目标文本向量，包括：
[0011]对所述文本编码结果以及所述头实体起始向量执行第一计算操作，得到第一计算结果，以及对所述文本编码结果以及所述头实体结尾向量，执行第二计算操作，得到第二计算结果；
[0012]根据所述第一计算结果、所述第二计算结果以及所述文本编码结果，确定目标文本向量。
[0013]作为一种可选的实施方式，在本专利技术第一方面中，所述将所述文本数据输入至预
训练信息提取模型中，得到文本编码结果，包括：
[0014]确定所述文本数据中的目标标记，并将所述目标标记对应的向量作为文本编码结果；或者，
[0015]将所述文本数据输入至预设的至少一个隐藏层，从所有所述隐藏层中确定出目标隐藏层，并将所有所述目标隐藏层对应的向量执行拼接操作，得到目标拼接向量，再将所述目标拼接向量输入至预设的双向处理层中，得到文本编码结果。
[0016]作为一种可选的实施方式，在本专利技术第一方面中，所述基于所述头实体位置向量、所述尾实体位置向量以及所述文本数据，计算所述预训练信息提取模型的损失信息，包括：
[0017]根据所述头实体位置向量以及所述文本数据，确定第一损失子信息；
[0018]根据所述尾实体位置向量以及所述文本数据，确定第二损失子信息；
[0019]根据所述第一损失子信息以及所述第二损失子信息，确定所述预训练信息提取模型的损失信息。
[0020]作为一种可选的实施方式，在本专利技术第一方面中，所述将所述文本编码结果输入至预设数量的第一全连接层中，得到头实体位置向量，包括：
[0021]对于所述文本编码结果中的每个所述文本编码向量，将该文本编码向量执行数据转换操作，得到该文本编码向量的文本概率，判断该文本编码向量的文本概率是否大于预设的概率阈值；
[0022]根据每个所述文本编码向量的文本概率，确定所述文本编码结果的头实体位置向量。
[0023]作为一种可选的实施方式，在本专利技术第一方面中，所述根据每个所述文本编码向量的文本概率，确定所述文本编码结果的头实体位置向量，包括：
[0024]对于每个所述文本编码向量的文本概率，判断该文本编码向量的文本概率是否大于预设的概率阈值；
[0025]当判断出该文本编码向量的文本概率大于预设的所述概率阈值时，将该文本编码向量的文本概率确定为目标文本概率；
[0026]根据所有所述目标文本概率所对应的文本编码向量，确定所述文本编码结果的头实体位置向量。
[0027]作为一种可选的实施方式，在本专利技术第一方面中，所述将所述目标文本向量输入至第二全连接层，得到尾实体位置向量以及所述文本数据的实体关系，包括：
[0028]将所述目标文本向量输入至第二全连接层，得到所述目标文本向量的尾实体起始向量和尾实体结尾向量，以及得到关系向量矩阵；
[0029]根据所述尾实体起始向量和所述尾实体结尾向量，生成尾实体位置向量，以及根据所述关系向量矩阵，生成所述文本数据的实体关系。
[0030]本专利技术第二方面公开了一种信息提取模型的训练装置，所述装置包括：
[0031]获取模块，用于获取标注后的文本数据；
[0032]输入模块，用于将所述文本数据输入至预训练信息提取模型中，得到文本编码结果，所述文本编码结果包括若干个文本编码向量；
[0033]所述输入模块，还用于将所述文本编码结果输入至预设数量的第一全连接层中，得到头实体位置向量，所述头实体位置向量包括头实体起始向量和头实体结尾向量；
[0034]分析模块，用于分析所述头实体位置向量以及所述文本编码结果，得到目标文本向量；
[0035]所述输入模块，还用于将所述目标文本向量输入至第二全连接层，得到尾实体位置向量以及所述文本数据的实体关系，所述尾实体位置向量包括尾实体起始向量和尾实体结尾向量；
[0036]计算模块，用于计算所述预训练信息提取模型的损失信息；
[0037]训练模块，用于根据所述损失信息对所述预训练信息提取模型进行训练，以得到目标信息提取模型。
[0038]作为一种可选的实施方式，在本专利技术第二方面中，所述分析模块分析所述头实体位置向量以及所述文本编码结果，得到目标文本向量的具体方式包括：
[0039]对所述文本编码结果以及所述头实体起始向量执行第一计算操作，得到第一计算结果，以及对所述文本编码结果以及所述头实体结尾向量，执行第二计算操作，得到第二计算结果；
[0040]根据所述第一计算结果、所述第二计算结果以及所述文本编码结果，确定目标文本向量。
[0041]作为一种可选的实施方式，在本专利技术第二方面中，输入模块将所述文本数据输入至预训练信息提取模型中，得到文本编码结果的具体方式包括：
[0042]确定所述文本数据中的目标标记，并将所述目标标记对应的向量作为文本本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种信息提取模型的训练方法，其特征在于，所述方法包括：获取标注后的文本数据，并将所述文本数据输入至预训练信息提取模型中，得到文本编码结果，所述文本编码结果包括若干个文本编码向量；将所述文本编码结果输入至预设数量的第一全连接层中，得到头实体位置向量，所述头实体位置向量包括头实体起始向量和头实体结尾向量；分析所述头实体位置向量以及所述文本编码结果，得到目标文本向量，并将所述目标文本向量输入至第二全连接层，得到尾实体位置向量以及所述文本数据的实体关系，所述尾实体位置向量包括尾实体起始向量和尾实体结尾向量；基于所述头实体位置向量、所述尾实体位置向量以及所述文本数据，计算所述预训练信息提取模型的损失信息，并根据所述损失信息对所述预训练信息提取模型进行训练，以得到目标信息提取模型。2.根据权利要求1所述的信息提取模型的训练方法，其特征在于，所述分析所述头实体位置向量以及所述文本编码结果，得到目标文本向量，包括：对所述文本编码结果以及所述头实体起始向量执行第一计算操作，得到第一计算结果，以及对所述文本编码结果以及所述头实体结尾向量，执行第二计算操作，得到第二计算结果；根据所述第一计算结果、所述第二计算结果以及所述文本编码结果，确定目标文本向量。3.根据权利要求2所述的信息提取模型的训练方法，其特征在于，所述将所述文本数据输入至预训练信息提取模型中，得到文本编码结果，包括：确定所述文本数据中的目标标记，并将所述目标标记对应的向量作为文本编码结果；或者，将所述文本数据输入至预设的至少一个隐藏层，从所有所述隐藏层中确定出目标隐藏层，并将所有所述目标隐藏层对应的向量执行拼接操作，得到目标拼接向量，再将所述目标拼接向量输入至预设的双向处理层中，得到文本编码结果。4.根据权利要求3所述的信息提取模型的训练方法，其特征在于，所述基于所述头实体位置向量、所述尾实体位置向量以及所述文本数据，计算所述预训练信息提取模型的损失信息，包括：根据所述头实体位置向量以及所述文本数据，确定第一损失子信息；根据所述尾实体位置向量以及所述文本数据，确定第二损失子信息；根据所述第一损失子信息以及所述第二损失子信息，确定所述预训练信息提取模型的损失信息。5.根据权利要求4所述的信息提取模型的训练方法，其特征在于，所述将所述文本编码结果输入至预设数量的第一全连接层中，得到头实体位置向量，包括：对于所述文本编码结果中的每个所述文本编码向量，将该文本编码向量执行数据转换操作，得到该文本编码向量的文本概率，判断该文本编码向...
【专利技术属性】
技术研发人员：陈莹莹，陈第，
申请(专利权)人：有米科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。