实体识别模型的训练方法、装置、设备及介质制造方法及图纸

本申请提供了一种实体识别模型的训练方法、装置、设备及介质，涉及人工智能领域。该方法包括：获取样本文本和样本文本的实体标注，实体标注用于表示样本文本的目标实体；调用实体识别模型中的特征提取层对样本文本进行特征提取处理，得到样本文本的标识序列，标识序列中的标识与样本文本的文本内容的文字一一对应；调用实体识别模型中的分类器对标识序列进行实体识别处理，得到预测目标实体，分类器用于识别样本文本中的各个预测目标实体的头部和尾部，预测目标实体存在至少两个，预测目标实体是基于实体识别模型的单轮输出得到的；基于实体标注与预测目标实体之间的误差，对实体识别模型进行训练。该方法可以提高实体识别模型的准确率。模型的准确率。模型的准确率。

【技术实现步骤摘要】
实体识别模型的训练方法、装置、设备及介质


[0001]本申请涉及人工智能领域，特别涉及一种实体识别模型的训练方法、装置、设备及介质。

技术介绍

[0002]随着科技的发展，每天都会产生大量的文章，为满足不同对象的需求，需要对文章进行分类和匹配，及时为对象提供需要的文章。
[0003]相关技术需要先使用实体识别模型从文本中提取出实体词，然后通过实体识别模型从文本中抽取出特征，例如文本特征(例如文本长度，词性统计情况)，游戏实体特征(例如词性，词长)，文本和实体的交互特征(例如实体是否在新闻标题中出现，实体出现频次等)，然后根据上述特征计算每个实体的得分，取其中得分最高的实体作为关键实体。
[0004]在文本包括多个关键实体的情况下，相关技术需要多次调用实体识别模型，识别实体的效率较低。

技术实现思路

[0005]本申请实施例提供了一种实体识别模型的训练方法、装置、设备及介质，该方法生成的实体识别模型可以一次输出多个目标实体。所述技术方案如下：
[0006]根据本申请的一个方面，提供了一种实体识别模型的训练方法，该方法包括：
[0007]获取样本文本和所述样本文本的实体标注，所述实体标注用于表示所述样本文本的目标实体；
[0008]调用所述实体识别模型中的特征提取层对所述样本文本进行特征提取处理，得到所述样本文本的标识序列，所述标识序列中的标识与所述样本文本的文本内容的文字一一对应；
[0009]调用所述实体识别模型中的分类器对所述标识序列进行实体识别处理，得到预测目标实体，所述分类器用于识别所述样本文本中的各个所述预测目标实体的头部和尾部，所述预测目标实体存在至少两个，所述预测目标实体是基于所述实体识别模型的单轮输出得到的；
[0010]基于所述实体标注与所述预测目标实体之间的误差，对所述实体识别模型进行训练。
[0011]根据本申请的一个方面，提供了一种实体识别模型的训练装置，该装置包括：
[0012]获取模块，用于获取样本文本和所述样本文本的实体标注，所述实体标注用于表示所述样本文本的目标实体；
[0013]特征提取模块，用于调用所述实体识别模型中的特征提取层对所述样本文本进行特征提取处理，得到所述样本文本的标识序列，所述标识序列中的标识与所述样本文本的文本内容的文字一一对应；
[0014]实体识别模块，用于调用所述实体识别模型中的分类器对所述标识序列进行实体
识别处理，得到预测目标实体，所述分类器用于识别所述样本文本中的各个所述预测目标实体的头部和尾部，所述预测目标实体存在至少两个，所述预测目标实体是基于所述实体识别模型的单轮输出得到的；
[0015]训练模块，用于基于所述实体标注与所述预测目标实体之间的误差，对所述实体识别模型进行训练。
[0016]根据本申请的另一方面，提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上方面所述的实体识别模型的训练方法。
[0017]根据本申请的另一方面，提供了一种计算机存储介质，计算机可读存储介质中存储有至少一条程序代码，程序代码由处理器加载并执行以实现如上方面所述的实体识别模型的训练方法。
[0018]根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，上述计算机程序产品或计算机程序包括计算机指令，上述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从上述计算机可读存储介质读取上述计算机指令，上述处理器执行上述计算机指令，使得上述计算机设备执行如上方面所述的实体识别模型的训练方法。
[0019]本申请实施例提供的技术方案带来的有益效果至少包括：
[0020]通过实体识别模型中的特征提取层和分类器对样本文本进行处理，得到样本文本的预测目标实体。其中，分类器会识别各个预测目标实体的头部和尾部，进而识别出样本文本中所有可能的预测目标实体。因此，本申请实施例提供的实体识别模型可以一次输出文本中的多个实体。
附图说明
[0021]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1示出了本申请实施例提供的一种计算机系统；
[0023]图2示出了本申请实施例提供的一种实体识别模型的示意图；
[0024]图3示出了本申请实施例提供的一种实体识别模型的训练方法的流程示意图；
[0025]图4示出了本申请实施例提供的一种实体识别模型的示意图；
[0026]图5示出了本申请实施例提供的一种实体识别模型的训练方法的流程示意图；
[0027]图6示出了本申请实施例提供的一种实体识别模型的训练方法的流程示意图；
[0028]图7示出了本申请实施例提供的一种实体识别模型的使用方法的流程示意图；
[0029]图8示出了本申请实施例提供的一种实体识别模型的训练装置的示意图；
[0030]图9示出了本申请实施例提供的一种服务器的示意图。
具体实施方式
[0031]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方
式作进一步地详细描述。
[0032]首先，对本申请实施例中涉及的名词进行介绍：
[0033]人工智能(Artificial Intelligence，AI)：利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
[0034]人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0035]机器学习(Machine Learning，ML)：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实体识别模型的训练方法，其特征在于，所述方法包括：获取样本文本和所述样本文本的实体标注，所述实体标注用于表示所述样本文本的目标实体；调用所述实体识别模型中的特征提取层对所述样本文本进行特征提取处理，得到所述样本文本的标识序列，所述标识序列中的标识与所述样本文本的文本内容的文字一一对应；调用所述实体识别模型中的分类器对所述标识序列进行实体识别处理，得到预测目标实体，所述分类器用于识别所述样本文本中的各个所述预测目标实体的头部和尾部，所述预测目标实体存在至少两个，所述预测目标实体是基于所述实体识别模型的单轮输出得到的；基于所述实体标注与所述预测目标实体之间的误差，对所述实体识别模型进行训练。2.根据权利要求1所述的方法，其特征在于，所述分类器包括起始分类器和结尾分类器；所述调用所述实体识别模型中的分类器对所述标识序列进行实体识别处理，得到预测目标实体，包括：调用所述起始分类器对所述标识序列进行第一分类处理，得到所述标识序列中的起始标识，所述起始标识是与各个所述预测目标实体的头部对应的标识；调用所述结尾分类器对所述标识序列进行第二分类处理，得到所述标识序列中的结尾标识，所述结尾标识是与各个所述预测目标实体的尾部对应的标识；基于所述起始标识和所述结尾标识确定所述预测目标实体。3.根据权利要求2所述的方法，其特征在于，所述基于所述起始标识和所述结尾标识确定所述预测目标实体，包括：确定位于第i个起始标识后方的j个结尾标识，所述i，j为正整数；根据所述第i个起始标识和所述j个结尾标识之间的文字得到所述预测目标实体。4.根据权利要求1至3任一项所述的方法，其特征在于，所述样本文本包括文本标题和文本内容；所述特征提取层包括编码层和解码层；所述调用所述实体识别模型中的特征提取层对所述样本文本进行特征提取处理，得到所述样本文本的标识序列，包括：获取预设问题；组合所述预设问题、所述文本标题和所述文本内容，得到文本组合；调用所述实体识别模型中的所述编码层对所述文本组合进行编码处理，得到所述样本文本的向量组；调用所述实体识别模型中的所述解码层对所述向量组进行解码处理，得到所述样本文本的所述标识序列。5.根据权利要求4所述的方法，其特征在于，所述向量组包括文字特征向量和频次特征向量，所述文字特征向量用于表示所述样本文本中的文字，所述频次特征向量用于表示所述样本文本中文字的出现频次；所述编码层包括频次编码层和文字编码层；所述调用所述实体识别模型中的所述编码层对所述文本组合进行编码处理，得到所述样本文本的向量组，包括：
调用所述实体识别模型中的所述频次编码层对所述文本组合进行频次编码处理，得到所述频次特征向量；调用所述实体识别模型中的所述文字编码层对所述文本组合进行文字编码处理，得到所述文字特征向量。6.根据权利要求4所述的方法，其特征在于，所述向量组还包括段落特征向量；所述编码层还包括段落编码器；所述调用所述实体识别模型中的所述特征提取层对所述文本组合进行特征提取处理，得到所述样本文本的向量组，包括：为所述文本组合中的所述预设问题赋予第一数值；为所述文本组合中的所述文本标题赋予第二数值；为所述文本组合中的所述文本内容赋予第三数值；其中，所述第一数值、所述第二数值和所述第三数值是不同的值；调用所述实体识别模型中的所述段落编码器对所述文本组合进行编码处理，得到所述段落特征向量。7.根据权利要求4所述的方法，其特征在于，所述向量组还包括位置特征向量，所述位置特征向量用于表示所述样本文本中的文字所在的位置；所述调用所述实体识别模型中的所述...

【专利技术属性】
技术研发人员：黄东晓，刘文强，蒋益巧，
申请(专利权)人：深圳市腾讯信息技术有限公司，
类型：发明
国别省市：