实体识别方法及装置，实体识别模型的训练方法及装置制造方法及图纸

本申请公开了一种实体识别方法及装置，实体识别模型的训练方法及装置。该方法包括：根据待识别文本和与待识别文本对应的至少一个预设实体提示，通过实体识别模型的并列的第一分支网络和第二分支网络，得到待识别文本中的至少一个实体起始ID所在位置和至少一个实体终止ID所在位置；从至少一个实体终止ID中确定与每个实体起始ID相邻的实体终止ID；确定实体起始ID所在位置和与实体起始ID相邻的实体终止ID所在位置之间的文本为实体，通过第一分支网络和第二分支网络，分别输出至少一个实体起始ID所在位置和至少一个实体终止ID所在位置，避免了实体起始ID所在位置和实体终止ID所在位置在实体识别过程中产生相互竞争，从而提高了实体识别的准确率。了实体识别的准确率。了实体识别的准确率。

【技术实现步骤摘要】
实体识别方法及装置，实体识别模型的训练方法及装置


[0001]本申请涉及人工智能
，具体涉及一种实体识别方法及装置，实体识别模型的训练方法及装置。

技术介绍

[0002]在证券、银行等金融机构里面通常需要对重要的宏观的财经类新闻、中观的行业内新闻和微观的企业新闻进行信息抽取。而对于信息抽取任务来说，命名实体识别(Name Entity Recognition，NER)是信息抽取的重要任务，其在后续的事件抽取，关联分析，知识图谱的任务中作为基础工具。NER是信息提取的一个子任务，旨在将文本中的命名实体定位并分类为预先定义的类别，如人员、组织、位置、时间表达式、数量、货币值、百分比等。一般采用神经网络模型将每个实体的实体起始位置和实体终止位置识别出来，但是由于实体起始位置和实体终止位置为一个实体相关的位置信息，不容易被神经网络模型区分，如果直接采用神经网络模型对每个实体的实体起始位置和实体终止位置进行分类，会导致每个实体的实体起始位置和实体终止位置产生相互竞争，从而降低了实体识别的准确率。

技术实现思路

[0003]有鉴于此，本申请的实施例致力于提供一种实体识别方法及装置，实体识别模型的训练方法及装置，能够提高实体识别的准确率。
[0004]根据本申请实施例的第一方面，提供了一种实体识别方法，包括：根据待识别文本和与待识别文本对应的至少一个预设实体提示，通过实体识别模型的并列的第一分支网络和第二分支网络，得到待识别文本中的至少一个实体起始ID所在位置和至少一个实体终止ID所在位置，其中，至少一个预设实体提示用于描述待识别文本中的预设实体，第一分支网络用于输出至少一个实体起始ID所在位置，每个实体起始ID所在位置为预设实体的起始ID所在位置，第二分支网络用于输出至少一个实体终止ID所在位置，每个实体终止ID所在位置为预设实体的终止ID所在位置；从至少一个实体终止ID中确定与每个实体起始ID相邻的实体终止ID；确定实体起始ID所在位置和与实体起始ID相邻的实体终止ID所在位置之间的文本为实体。
[0005]由于在实体识别模型中加入并列的第一分支网络和第二分支网络，第一分支网络用于输出至少一个实体起始ID所在位置，第二分支网络用于输出至少一个实体终止ID所在位置，因此，将实体起始ID所在位置的第一分类任务与实体终止ID所在位置的第二分类任务分离开来，即，将第一分类任务与第二分类任务分为两个独立的二分类任务来处理，以分别获得至少一个实体起始ID所在位置和至少一个实体终止ID所在位置，能够避免采用常规分类网络直接对预设实体的起始ID所在位置、预设实体的终止ID所在位置以及待识别文本中除预设实体以外的其他字符ID所在位置进行三分类时，预设实体的起始ID所在位置与预设实体的终止ID所在位置之间产生相互竞争，从而提高了实体识别的准确率。
[0006]根据本申请实施例的第二方面，提供了一种实体识别模型的训练方法，包括：根据
文本样本和与文本样本对应的至少一个预设实体提示，确定训练数据，其中，预设实体提示用于描述文本样本中的预设实体，训练数据标注有多个标签，多个标签包括预设实体的起始ID所在位置的第一标签、文本样本的除预设实体的起始ID以外的其他字符ID所在位置的第二标签、多个标签包括预设实体的终止ID所在位置的第三标签以及文本样本的除预设实体的终止ID以外的其他字符ID所在位置的第四标签；将训练数据输入实体识别模型的主干网络中进行特征提取，得到输出向量；将输出向量输入实体识别模型的第一分支网络中进行分类，得到文本样本中的每个字符ID的第一分类结果，并根据第一分类结果、第一标签以及第二标签，得到第一分支网络的第一损失函数值，其中，第一分类结果用于表征文本样本中的每个字符ID所在位置是否为预设实体的起始ID所在位置；将输出向量输入实体识别模型的第二分支网络中进行分类，得到文本样本中的每个字符ID的第二分类结果，并根据第二分类结果、第三标签以及第四标签，得到第二分支网络的第二损失函数值，其中，第二分类结果用于表征文本样本中的每个字符ID所在位置是否为预设实体的终止ID所在位置；根据第一损失函数值和第二损失函数值，更新实体识别模型中的参数。
[0007]在实体识别模型中设置并列的第一分支网络和第二分支网络，在训练实体识别模型的过程中，第一分支网络仅学习文本样本中的每个字符ID所在位置是否为预设实体的起始ID所在位置，以完成第一分类任务，第二分支网络仅学习文本样本中的每个字符ID所在位置是否为预设实体的终止ID所在位置，以完成第二分类任务。通过将第一分类任务和第二分类任务分离开来，即，分为第一分支网络和第二分支网络两个独立的二分类任务，能够避免采用常规分类网络直接对预设实体的起始ID所在位置、预设实体的终止ID所在位置以及文本样本中除预设实体以外的其他字符ID所在位置进行三分类时，预设实体的起始ID所在位置与预设实体的终止ID所在位置之间产生相互竞争，从而降低实体识别模型的收敛难度，提高了实体识别的准确率。
[0008]根据本申请实施例的第三方面，提供了一种实体识别装置，包括：第一获取模块，配置为根据待识别文本和与待识别文本对应的至少一个预设实体提示，通过实体识别模型的并列的第一分支网络和第二分支网络，得到待识别文本中的至少一个实体起始ID所在位置和至少一个实体终止ID所在位置，其中，至少一个预设实体提示用于描述待识别文本中的预设实体，第一分支网络用于输出至少一个实体起始ID所在位置，每个实体起始ID所在位置为预设实体的起始ID所在位置，第二分支网络用于输出至少一个实体终止ID所在位置，每个实体终止ID所在位置为预设实体的终止ID所在位置；第一确定模块，配置为从至少一个实体终止ID中确定与每个实体起始ID相邻的实体终止ID；第二确定模块，配置为确定实体起始ID所在位置和与实体起始ID相邻的实体终止ID所在位置之间的文本为实体。
[0009]根据本申请实施例的第四方面，提供了一种电子设备，该电子设备包括：处理器；以及存储器，在存储器中存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行第一方面或第二方面所提及的方法。
[0010]根据本申请实施例的第五方面，提供了一种计算机可读存储介质，该存储介质存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述第一方面或第二方面所提及的方法。
[0011]本申请的实施例所提供的一种实体识别方法，在实体识别模型中设置并列的第一分支网络和第二分支网络，通过第一分支网络和第二分支网络，分别输出至少一个实体起
始ID所在位置和至少一个实体终止ID所在位置，避免了采用常规分类网络直接对预设实体的起始ID所在位置、预设实体的终止ID所在位置以及待识别文本中除预设实体以外的其他字符ID所在位置进行三分类时，预设实体的起始ID所在位置与预设实体的终止ID所在位置之间产生相互竞争，从而提高了实体识别的准确率。
附图说明
[0012]通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实体识别方法，其特征在于，包括：根据待识别文本和与所述待识别文本对应的至少一个预设实体提示，通过实体识别模型的并列的第一分支网络和第二分支网络，得到所述待识别文本中的至少一个实体起始ID所在位置和至少一个实体终止ID所在位置，其中，所述至少一个预设实体提示用于描述所述待识别文本中的预设实体，所述第一分支网络用于输出所述至少一个实体起始ID所在位置，每个实体起始ID所在位置为所述预设实体的起始ID所在位置，所述第二分支网络用于输出所述至少一个实体终止ID所在位置，每个实体终止ID所在位置为所述预设实体的终止ID所在位置；从所述至少一个实体终止ID中确定与每个实体起始ID相邻的实体终止ID；确定所述实体起始ID所在位置和与所述实体起始ID相邻的实体终止ID所在位置之间的文本为所述实体。2.根据权利要求1所述的方法，其特征在于，所述根据待识别文本和与所述待识别文本对应的至少一个预设实体提示，通过实体识别模型的并列的第一分支网络和第二分支网络，得到所述待识别文本中的至少一个实体起始ID所在位置和至少一个实体终止ID所在位置，包括：将所述待识别文本和所述至少一个预设实体提示进行拼接，得到至少一个拼接结果；将每个拼接结果输入所述实体识别模型的主干网络中进行特征提取，得到输出向量；将所述输出向量输入所述第一分支网络中进行分类，得到所述至少一个实体起始ID所在位置；将所述输出向量输入所述第二分支网络中进行分类，得到所述至少一个实体终止ID所在位置。3.根据权利要求2所述的方法，其特征在于，在所述至少一个拼接结果包括多个拼接结果的情况下，所述将所述待识别文本和所述至少一个预设实体提示进行拼接，得到至少一个拼接结果，包括：a)将所述待识别文本和与所述待识别文本对应的第i
‑
1预设实体提示进行拼接，得到第i
‑
1拼接结果；b)判断所述第i
‑
1预设实体提示和与所述待识别文本对应的第i预设实体提示是否具有关联关系；c)在所述第i
‑
1预设实体提示与所述第i预设实体提示具有关联关系的情况下，将所述待识别文本和与所述待识别文本对应的第i预设实体提示进行拼接，得到第i拼接结果；迭代执行上述步骤b)和c)至第n次，得到所述多个拼接结果，其中，所述i为大于或等于1且小于或等于n的整数，所述n为大于或等于2的整数。4.根据权利要求2所述的方法，其特征在于，还包括：对所述待识别文本进行语义识别，得到所述待识别文本的语义识别结果；判断所述语义识别结果与所述至少一个预设实体提示是否具有关联关系；其中，所述将所述待识别文本和所述至少一个预设实体提示进行拼接，得到至少一个拼接结果，包括：在所述语义识别结果与所述至少一个预设实体提示具有关联关系的情况下，将所述待识别文本和所述至少一个预设实体提示进行拼接，得到所述至少一个拼接结果。
5.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：通过滑动窗口，在所述待识别文本中抽取预设业务场景下的多个实体提示对应的多个关键词，其中，所述预设业务场景为所述待识别文本所属业务场...

【专利技术属性】
技术研发人员：丁隆耀，蒋宁，夏粉，肖冰，李宽，吕乐宾，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：