一种中文实体识别方法、装置及存储介质制造方法及图纸

本申请公开了一种中文实体识别方法、装置及存储介质，其中该方法，包括：获取待识别文本以及预设的字典中与所述待识别文本相匹配的匹配词；将所述待识别文本和所述匹配词输入预训练好的编码网络，输出文本向量；将所述文本向量输入预训练好的线性网络，输出中文实体在所述待识别文本中的首位置和尾位置；基于所述首位置和所述尾位置，从所述待识别文本中提取出各个中文实体。出各个中文实体。出各个中文实体。

【技术实现步骤摘要】
一种中文实体识别方法、装置及存储介质


[0001]本申请涉及实体识别
，特别是涉及一种中文实体识别方法、装置及存储介质。

技术介绍

[0002]命名实体识别(Named Entity Recognition，NER)是NLP中一项非常基础的任务。NER是信息提取、问答系统、句法分析、机器翻译等众多NLP任务的重要基础工具。
[0003]NER是一种序列标注问题，因此他们的数据标注方式也遵照序列标注问题的方式，主要是BIO和BIOES两种。NER的过程，就是根据输入的句子，预测出其标注序列的过程。FLAT是其中一种实体识别模型。FLAT模型的输入为原始token序列和从字典内匹配到的词拼接在一起，并且还为每一个token(字符或词汇)设计两种位置索引，根据这两种位置索引就可以还原出在字典中被匹配到的词在输入文本中的位置，其缺陷是会存在嵌套实体问题(实体重叠问题)，如《叶圣陶散文选集》中会出现两个实体「叶圣陶」和「叶圣陶散文选集」分别代表「作者」和「作品」两个实体。
[0004]针对上述的现有技术中存在的由于实体中存在嵌套实体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种中文实体识别方法，其特征在于，包括：获取待识别文本以及预设的字典中与所述待识别文本相匹配的匹配词；将所述待识别文本和所述匹配词输入预训练好的编码网络，输出文本向量；将所述文本向量输入预训练好的线性网络，输出中文实体在所述待识别文本中的首位置和尾位置；基于所述首位置和所述尾位置，从所述待识别文本中提取出各个中文实体。2.根据权利要求1所述的方法，其特征在于，将所述待识别文本和所述匹配词输入预训练好的编码网络之前，还包括：将与待识别文本对应的原始token序列和被匹配到的匹配词进行拼接，得到输入tokens；为所述输入tokens中的每一个token构建一个头部位置编码和一个尾部位置编码。3.根据权利要求2所述的方法，其特征在于，将所述待识别文本和所述匹配词输入预训练好的编码网络，输出文本向量，包括：将所述输入tokens输入所述编码网络的嵌入层，得到输入嵌入向量；将所述输入嵌入向量、每一个token对应的头部位置编码和尾部位置编码输入所述编码网络的自注意力网络层，输出每一个token的注意力分数；将所述输入嵌入向量和每一个token的注意力分数输入所述编码网络的循环神经网络的编码器，并将所述编码器的输出向量确定为所述文本向量。4.根据权利要求1所述的方法，其特征在于，所述线性网络采用两个sigmoid函数的标注方式来分别标注中文实体在所述待识别文本中的首位置和尾位置。5.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行权利要求1至4中任意一项所述的方法。6.一种中文实体识别装置，其特征在于，包括：获取模块，用于获取待识别文本以及预设的字典中与所述待识别文本相匹配的匹配词；编码模块，用于将所述待识...

【专利技术属性】
技术研发人员：陈赞军，蒋宁，周长安，
申请(专利权)人：北京有限元科技有限公司，
类型：发明
国别省市：