本公开的实施例提供了一种实体识别方法、装置、电子设备及可读存储介质。所述方法包括：获取预先训练好的实体识别模型和所述实体识别模型的模型参数；调用矩阵运算库重写所述实体识别模型的模型结构，并将所述模型参数赋予重写的实体识别模型，生成目标实体识别模型；获取待识别语句；将所述待识别语句输入至所述目标实体识别模型；调用所述目标实体识别模型输出所述待识别语句中的目标实体词及所述目标实体词的实体类型。本公开的实施例可以在高负载的流量下确保NER服务高承载性，并提高了实体识别的效率和准确率。实体识别的效率和准确率。实体识别的效率和准确率。
【技术实现步骤摘要】
实体识别方法、装置、电子设备及可读存储介质
[0001]本公开的实施例涉及实体识别
，尤其涉及一种实体识别方法、装置、电子设备及可读存储介质。
技术介绍
[0002]NER(Named Entity Recognition，命名实体识别技术)是人工智能领域的核心基础技术之一，该技术旨在识别非结构化文本中的命名实体并将其分类到预定义的类型中。由于命名实体识别是很多业务场景中最底层和基础的模块之一，在高负荷的业务流量下，对NER服务的吞吐量、性能和识别效果都提出了很高的要求。
[0003]目前常用的命名实体识别方法是基于BERT的NER模型的方法，当前由于GPU(Graphics Processing Unit，图形处理器)资源的稀缺，基于BERT的NER模型无法大规模地在线上进行实时计算，BERT的复杂性也导致推理速度达不到性能要求，导致实体识别的效率及准确率较低。
技术实现思路
[0004]本公开的实施例提供一种实体识别方法、装置、电子设备及可读存储介质，用以在高负载的流量下确保NER服务的高承载性，提高实体识别的效率和准确率。
[0005]根据本公开的实施例的第一方面，提供了一种实体识别方法，包括：
[0006]获取预先训练好的实体识别模型和所述实体识别模型的模型参数；
[0007]调用矩阵运算库重写所述实体识别模型的模型结构，并将所述模型参数赋予重写的实体识别模型，生成目标实体识别模型；
[0008]获取待识别语句；
[0009]将所述待识别语句输入至所述目标实体识别模型；
[0010]调用所述目标实体识别模型输出所述待识别语句中的目标实体词及所述目标实体词的实体类型。
[0011]可选地，在所述获取预先训练好的实体识别模型和所述实体识别模型的模型参数之前，还包括：
[0012]获取样本语句；
[0013]对所述样本语句进行预处理，生成模型训练语句；
[0014]基于所述模型训练语句对初始实体识别模型进行训练，得到所述实体识别模型。
[0015]可选地，所述对所述样本语句进行预处理，生成模型训练语句，包括：
[0016]根据预设概率对所述样本语句中的实体词进行替换处理，生成所述模型训练语句。
[0017]可选地，所述初始实体识别模型包括：第一词向量获取层、第二词向量获取层、字向量获取层和转移概率获取层，所述模型训练语句包含训练语句中的实体词对应的至少两个实体类型，其中，
[0018]所述基于所述模型训练语句对初始实体识别模型进行训练，得到所述实体识别模型，包括：
[0019]将所述模型训练语句输入至所述初始实体识别模型；
[0020]调用所述第一词向量获取层获取所述模型训练语句中按照从左向右的顺序整合的每个词的第一词向量；
[0021]调用所述第二词向量获取层获取所述模型训练语句中按照从右向左的顺序整合的每个词的第二词向量；
[0022]调用所述字向量获取层获取所述模型训练语句中每个字的字向量；
[0023]调用所述概率转移矩阵获取层对所述第一词向量、所述第二词向量和所述字向量进行处理，获取每个字和每个词在所述实体类型的预测值，并根据所述预测值获取所述至少两个实体类型之间的转移概率；
[0024]基于所述转移概率，计算得到所述初始实体识别模型的损失值；
[0025]在所述损失值处于预设范围内的情况下，将训练后的初始实体识别模型作为所述实体识别模型。
[0026]可选地，所述调用所述目标实体识别模型输出所述待识别语句中的目标实体词及所述目标实体词的实体类型，包括：
[0027]获取所述待识别语句中的每个字的目标字向量；
[0028]获取所述待识别语句中的每个词的目标词向量；
[0029]将所述目标字向量和所述目标词向量进行拼接处理，生成拼接向量；
[0030]将所述拼接向量输入至所述目标实体识别模型中；
[0031]调用所述目标实体识别模型对所述拼接向量进行处理，得到所述待识别语句中包含的目标实体词及所述目标实体词的实体类型。
[0032]可选地，所述获取所述待识别语句中的每个词的目标词向量，包括：
[0033]获取所述待识别语句中按照从左向右的顺序整合的每个词的第一词向量；
[0034]获取所述待识别语句中按照从右向左的顺序整合的每个词的第二词向量；
[0035]将所述第一词向量和所述第二词向量作为所述目标词向量。
[0036]根据本公开的实施例的第二方面，提供了一种实体识别装置，包括：
[0037]实体识别模型获取模块，用于获取预先训练好的实体识别模型和所述实体识别模型的模型参数；
[0038]目标实体识别模型生成模块，用于调用矩阵运算库重写所述实体识别模型的模型结构，并将所述模型参数赋予重写的实体识别模型，生成目标实体识别模型；
[0039]待识别语句获取模块，用于获取待识别语句；
[0040]待识别语句输入模块，用于将所述待识别语句输入至所述目标实体识别模型；
[0041]实体类型获取模块，用于调用所述目标实体识别模型输出所述待识别语句中的目标实体词及所述目标实体词的实体类型。
[0042]可选地，所述装置还包括：
[0043]样本语句获取模块，用于获取样本语句；
[0044]模型训练语句生成模块，用于对所述样本语句进行预处理，生成模型训练语句；
[0045]实体识别模型获取模块，用于基于所述模型训练语句对初始实体识别模型进行训
练，得到所述实体识别模型。
[0046]可选地，所述模型训练语句生成模块包括：
[0047]模型训练语句生成单元，用于根据预设概率对所述样本语句中的实体词进行替换处理，生成所述模型训练语句。
[0048]可选地，所述初始实体识别模型包括：第一词向量获取层、第二词向量获取层、字向量获取层和转移概率获取层，所述模型训练语句包含训练语句中的实体词对应的至少两个实体类型，其中，
[0049]所述实体识别模型获取模块包括：
[0050]模型训练语句输入单元，用于将所述模型训练语句输入至所述初始实体识别模型；
[0051]第一词向量获取单元，用于调用所述第一词向量获取层获取所述模型训练语句中按照从左向右的顺序整合的每个词的第一词向量；
[0052]第二词向量获取单元，用于调用所述第二词向量获取层获取所述模型训练语句中按照从右向左的顺序整合的每个词的第二词向量；
[0053]字向量获取单元，用于调用所述字向量获取层获取所述模型训练语句中每个字的字向量；
[0054]转移概率获取单元，用于调用所述概率转移矩阵获取层对所述第一词向量、所述第二词向量和所述字向量进行处理，获取每个字和每个词在所述实体类型的预测值，并根据所述预测值获取所述至少两个实体类型之间的转移概率；
[0055]损失值计算单元本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种实体识别方法，其特征在于，包括：获取预先训练好的实体识别模型和所述实体识别模型的模型参数；调用矩阵运算库重写所述实体识别模型的模型结构，并将所述模型参数赋予重写的实体识别模型，生成目标实体识别模型；获取待识别语句；将所述待识别语句输入至所述目标实体识别模型；调用所述目标实体识别模型输出所述待识别语句中的目标实体词及所述目标实体词的实体类型。2.根据权利要求1所述的方法，其特征在于，在所述获取预先训练好的实体识别模型和所述实体识别模型的模型参数之前，还包括：获取样本语句；对所述样本语句进行预处理，生成模型训练语句；基于所述模型训练语句对初始实体识别模型进行训练，得到所述实体识别模型。3.根据权利要求2所述的方法，其特征在于，所述对所述样本语句进行预处理，生成模型训练语句，包括：根据预设概率对所述样本语句中的实体词进行替换处理，生成所述模型训练语句。4.根据权利要求2所述的方法，其特征在于，所述初始实体识别模型包括：第一词向量获取层、第二词向量获取层、字向量获取层和转移概率获取层，所述模型训练语句包含训练语句中的实体词对应的至少两个实体类型，其中，所述基于所述模型训练语句对初始实体识别模型进行训练，得到所述实体识别模型，包括：将所述模型训练语句输入至所述初始实体识别模型；调用所述第一词向量获取层获取所述模型训练语句中按照从左向右的顺序整合的每个词的第一词向量；调用所述第二词向量获取层获取所述模型训练语句中按照从右向左的顺序整合的每个词的第二词向量；调用所述字向量获取层获取所述模型训练语句中每个字的字向量；调用所述概率转移矩阵获取层对所述第一词向量、所述第二词向量和所述字向量进行处理，获取每个字和每个词在所述实体类型的预测值，并根据所述预测值获取所述至少两个实体类型之间的转移概率；基于所述转移概率，计算得到所述初始实体识别模型的损失值；在所述损失值处于预设范围内的情况下，将训练后的初始实体识别模型作为所述实体识别模型。5.根据权利要求1所述的方法，其特征在于，所述调用所述目标实体识别模型输出...
【专利技术属性】
技术研发人员：黄江华，胡炎根，江会星，武威，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。