【技术实现步骤摘要】
本申请涉及自然语言处理，尤其涉及一种基于bilstm-crf模型的实体识别方法及系统。
技术介绍
1、命名实体识别(named entity recognition，ner)是自然语言处理中一项非常基础的任务，旨在从文本中识别和分类出具有特定意义的命名实体；命名实体可以是人名、地名、组织机构名等。ner是机器翻译、句法分析和元数据标注等多种自然语言处理任务的基础工具。
2、通常情况下，ner模型(例如，bilstm-crf模型)的识别偏好是不变的，这是因为ner模型的训练数据和模型结构决定了它对不同实体类型的识别能力和倾向性。但是，在实际应用场景中，对不同的实体类型识别准确度的要求并不是一成不变的，例如，在电力系统的故障监测，对设备名称的识别要求极高的精确率，不能出现误报，而对故障症状的识别则需要更高的召回率，尽可能覆盖文本中出现的各种故障症状，以便及时发现和处理潜在的故障，这就是对不同实体类型有不同的识别偏好。为此，如何实现对ner模型的识别偏好的调节成为一个亟待解决的问题。
技术实现思路
1、本申请实施例提供一种基于bilstm-crf模型的实体识别方法及系统，通过获取输入文本对应的发射矩阵，以及其在所属的专业领域中的实体数据，接着，获取不同实体对应的不同识别偏好数据，再根据这些识别偏好数据对上述发射矩阵进行调节，可以按需更改模型对不同实体的识别偏好，实现了对ner模型识别偏好的调节。
2、第一方面，本申请实施例提供了一种基于bilstm-crf模型的实
3、获取预设bilstm-crf模型；所述预设bilstm-crf模型包括：输入层、bilstm层、线性层、crf层；所述输入层包括目标词向量模型；
4、通过所述目标词向量模型对目标输入文本进行词向量转换，得到目标词向量；所述目标词向量包括至少一个词向量；
5、通过所述bilstm层对所述目标词向量进行特征提取，得到目标特征数据；
6、将所述目标特征数据经过所述线性层映射，得到第一发射矩阵；所述第一发射矩阵包括所述目标词向量中每一词向量对应的不同实体的发射概率；
7、确定所述目标输入文本对应的专业领域，得到目标专业领域；
8、确定所述目标输入文本在所述目标专业领域中可能包含的所有实体，得到目标实体数据集；
9、获取所述目标实体数据集中每一实体对应的目标偏好等级，得到n个目标偏好等级；n为正整数；
10、根据所述n个目标偏好等级对所述第一发射矩阵进行调节，得到第二发射矩阵；
11、将所述第二发射矩阵输入所述crf层以优化该层的模型参数，得到优化后的目标crf层；
12、将所述目标输入文本输入到所述目标crf层进行预测，得到目标预测结果；所述目标预测结果包括所述目标输入文本中每一token的预测标签。
13、第二方面，本申请实施例提供了一种基于bilstm-crf模型的实体识别系统，所述系统包括：获取单元、处理单元、优化单元、标注单元；其中，
14、所述获取单元，用于获取预设bilstm-crf模型；所述预设bilstm-crf模型包括：输入层、bilstm层、线性层、crf层；所述输入层包括目标词向量模型；
15、所述处理单元，用于通过所述目标词向量模型对目标输入文本进行词向量转换，得到目标词向量；所述目标词向量包括至少一个词向量；通过所述bilstm层对所述目标词向量进行特征提取，得到目标特征数据；将所述目标特征数据经过所述线性层映射，得到第一发射矩阵；所述第一发射矩阵包括所述目标词向量中每一词向量对应的不同实体的发射概率；
16、所述优化单元，用于确定所述目标输入文本对应的专业领域，得到目标专业领域；确定所述目标输入文本在所述目标专业领域中可能包含的所有实体，得到目标实体数据集；获取所述目标实体数据集中每一实体对应的目标偏好等级，得到n个目标偏好等级；n为正整数；根据所述n个目标偏好等级对所述第一发射矩阵进行调节，得到第二发射矩阵；将所述第二发射矩阵输入所述crf层以优化该层的模型参数，得到优化后的目标crf层；
17、所述标注单元，用于将所述目标输入文本输入到所述目标crf层进行预测，得到目标预测结果；所述目标预测结果包括所述目标输入文本中每一token的预测标签。
18、第三方面，本申请提供了一种电子设备，包括：处理器、存储器，所述存储器用于存储一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请第一方面中的步骤的指令。
19、第四方面，本申请提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请第一方面中所描述的部分或全部步骤。
20、第五方面，本申请提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
21、实施本申请，具备如下有益效果：
22、可以看出，实施本申请中所描述的基于bilstm-crf模型的实体识别方法，通过获取目标输入文本对应的第一发射矩阵，以及其在所属的专业领域中的目标实体数据集，接着，获取目标实体数据集中不同实体对应的识别偏好数据，也即n个目标偏好等级，再根据这些识别偏好数据对上述第一发射矩阵进行调节，得到第二发射矩阵，将该第二发射矩阵输入到crf层中，得到带有识别偏好的crf层，也即目标crf层，这样可以根据不同的识别偏好数据更改上述bilstm-crf模型对不同实体的识别偏好，上述bilstm-crf模型是ner模型的一种，也即实现了对ner模型识别偏好的调节。
本文档来自技高网...【技术保护点】
1.一种基于BiLSTM-CRF模型的实体识别方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述获取所述目标实体数据集中每一实体对应的目标偏好等级，得到n个目标偏好等级，包括：
3.如权利要求1所述的方法，其特征在于，所述根据所述n个目标偏好等级对所述第一发射矩阵进行调节，得到第二发射矩阵，包括：
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
5.如权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
6.如权利要求1-4任一项所述的方法，其特征在于，所述通过所述目标词向量模型对所述目标输入文本进行词向量转换，得到目标词向量，包括：
7.如权利要求6所述的方法，其特征在于，所述通过所述目标文本数据对所述参考词向量模型进行训练，得到所述目标词向量模型，包括：
8.一种基于BiLSTM-CRF模型的实体识别系统，其特征在于，所述系统包括：获取单元、处理单元、优化单元、标注单元；其中，
9.一种电子设备，其特征在于，包括：处理器、存储器，所述存
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。
...【技术特征摘要】
1.一种基于bilstm-crf模型的实体识别方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述获取所述目标实体数据集中每一实体对应的目标偏好等级，得到n个目标偏好等级，包括：
3.如权利要求1所述的方法，其特征在于，所述根据所述n个目标偏好等级对所述第一发射矩阵进行调节，得到第二发射矩阵，包括：
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
5.如权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
6.如权利要求1-4任一项所述的方法，其特征在于，所述通过所述目标词向量模型对所述目标输入文本进行词向量转换，得到目标词向量...
【专利技术属性】
技术研发人员：辛逍，郑福康，陈妍，肖晓丹，陈晓阳，欧阳家宝，薛珊，
申请(专利权)人：深圳供电局有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。