一种命名实体识别方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种命名实体识别方法、系统、设备及存储介质，步骤一，构建BERT预训练语言模型，将中文语句输出至BERT预训练语言模型中，输出具有语义特征表示的向量；步骤二，构建BiLSTM神经网络模型，将BERT预训练语言模型的输出结果作为BiLSTM神经网络模型的输入；步骤三，将BiLSTM神经网络模型的输出结果进行BIO联合标注，得到正确的标签，进行标注后得到该中文语句的命名实体识别结果。有效提高了命名实体识别任务中准确率。实体识别任务中准确率。实体识别任务中准确率。

【技术实现步骤摘要】
一种命名实体识别方法、系统、设备及存储介质


[0001]本专利技术属于信息抽取领域，涉及一种命名实体识别方法、系统、设备及存储介质。

技术介绍

[0002]命名实体识别是自然语言处理中的一项基本研究任务，也是信息抽取的一个子任务，最早是在MUC－6会议上引入这一评测任务，作为信息抽取技术的子课题供广大学者讨论研究，旨在识别出自然语言文本中的专有名词和有意义的数量短语，并加以分类。
[0003]通用领域的命名实体识别已经得到了广泛研究，其识别方法可分为基于规则的方法和基于统计的方法两大类。基于规则的方法通过分析实体本身的词汇特征和短语的搭配习惯，人工构建规则集抽取预先定义的各种类别的实体，需要具备大量的专业知识，因此导致召回率低、可移植性差的问答。基于统计的方法是从给定的、己标注好的训练集出发，定义特征集合，并应用学习算法训练统计模型，完成命名实体识别。目前常用的统计模型包括支持向量机(SupportVectorMachine，SVM)、隐马尔可夫(HiddenMarkovModels，HMM)和条件随机场(ConditionalRandomFields，CRFS)等，但这些模型都需要人依靠逻辑直觉和训练语料中的统计信息手工设计出大量的特征，其识别性能很大程度上依赖于所设计特征的准确度。

技术实现思路

[0004]本专利技术的目的在于克服上述现有技术的缺点，提供一种命名实体识别方法、系统、设备及存储介质，有效提高了命名实体识别任务中准确率。
[0005]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0006]一种命名实体识别方法，包括以下步骤：
[0007]步骤一，构建BERT预训练语言模型，将中文语句输出至BERT预训练语言模型中，输出具有语义特征表示的向量；
[0008]步骤二，构建BiLSTM神经网络模型，将BERT预训练语言模型的输出结果作为BiLSTM神经网络模型的输入；
[0009]步骤三，将BiLSTM神经网络模型的输出结果进行BIO联合标注，得到正确的标签，进行标注后得到该中文语句的命名实体识别结果。
[0010]优选的，步骤三中，对BiLSTM神经网络模型的输出结果进行BIO联合标注后，在标签的基础上，加入一层CRF约束，然后进行反向解码，得到最优路径，找到正确的标签。
[0011]进一步，使用维比特算法进行反向解码。
[0012]优选的，步骤一中，BERT预训练语言模型中中文语句的特征向量表示包括词嵌入向量和位置编码。
[0013]优选的，步骤一中，BERT预训练语言模型包括输入层、特征向量层、多头自注意力层、残差网络层、全连接层和输出层。
[0014]优选的，BiLSTM神经网络模型由四层组成，依次为输入层、前向LSTM层、反向LSTM
层和输出层，通过前向LSTM层和反向LSTM层的输出进行连接表示作为BiLSTM神经网络模型的结果输出。
[0015]进一步，设t时刻前向LSTM层或反向LSTM层的输入由三个部分组成，分别为：记忆单元c_(t
‑
1)，上一个单元的隐含层h_(t
‑
1)和输入层x_t；隐含层h_t和记忆单元c_t构成了t时刻该单元的输出；t时刻隐含层的计算流程：先算出输入门、输出门和遗忘门的信息，再计算出记忆单元内的信息，最后由输出门和记忆单元的值计算得到该时刻隐含层的值。
[0016]一种命名实体识别系统，包括：
[0017]BERT预训练语言模型模块，用于构建BERT预训练语言模型，将中文语句输出至BERT预训练语言模型中，输出具有语义特征表示的向量；
[0018]BiLSTM神经网络模型模块，用于构建BiLSTM神经网络模型，将BERT预训练语言模型的输出结果作为BiLSTM神经网络模型的输入；
[0019]命名实体识别模块，用于将BiLSTM神经网络模型的输出结果进行BIO联合标注，得到正确的标签，进行标注后得到该中文语句的命名实体识别结果。
[0020]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述命名实体识别方法的步骤。
[0021]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述命名实体识别方法的步骤。
[0022]与现有技术相比，本专利技术具有以下有益效果：
[0023]本专利技术首先将BERT预训练模型应用到中文命名实体识别任务中，为解决中文字词的多样性表达，字词的多义性问题，得到一个语义特征向量表示序列，再通过结合BiLSTM神经网络，规避传统LSTM网络其在进行句子建模时，无法编码从右向左(从后往前)的信息，只获得了待识别文本中的上文信息，无法结合上下文语境和语义信息对句子进行全局分析的缺陷，与传统统计机器学习方法相比，降低了对人工标注训练数据语料得依赖性。
[0024]进一步，引入CRF条件随机场，加入一层约束，来避免乱序标签的现象，确保最终结果是有效的，提高了命名实体识别任务的准确性。
[0025]进一步，在Bert预训练模型，Transformer模型编码词向量时引入了位置编码的特征，位置编码会在词向量中加入了字词的位置信息，使Transformer能够区分不同位置的字词。
[0026]进一步，残差网络层能够增强模型有保留输入状态的能力，达到“经过该层后结果至少不比输入差”的效果，全连接层能够提升网络的能力。
附图说明
[0027]图1为本专利技术的BERT模型结构图；
[0028]图2为本专利技术的BiLSTM结构图图；
[0029]图3为本专利技术的BERT
‑
BiLSTM
‑
CRF结构图；
[0030]图4为本专利技术的反向标注问句序列；
[0031]图5为本专利技术的训练模型F1值评估图。
具体实施方式
[0032]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例；基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0033]需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。
[0034]除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0035]本专利技术所述的命名实体识别方法，包括以下步骤：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种命名实体识别方法，其特征在于，包括以下步骤：步骤一，构建BERT预训练语言模型，将中文语句输出至BERT预训练语言模型中，输出具有语义特征表示的向量；步骤二，构建BiLSTM神经网络模型，将BERT预训练语言模型的输出结果作为BiLSTM神经网络模型的输入；步骤三，将BiLSTM神经网络模型的输出结果进行BIO联合标注，得到正确的标签，进行标注后得到该中文语句的命名实体识别结果。2.根据权利要求1所述的命名实体识别方法，其特征在于，步骤三中，对BiLSTM神经网络模型的输出结果进行BIO联合标注后，在标签的基础上，加入一层CRF约束，然后进行反向解码，得到最优路径，找到正确的标签。3.根据权利要求2所述的命名实体识别方法，其特征在于，使用维比特算法进行反向解码。4.根据权利要求1所述的命名实体识别方法，其特征在于，步骤一中，BERT预训练语言模型中中文语句的特征向量表示包括词嵌入向量和位置编码。5.根据权利要求1所述的命名实体识别方法，其特征在于，步骤一中，BERT预训练语言模型包括输入层、特征向量层、多头自注意力层、残差网络层、全连接层和输出层。6.根据权利要求1所述的命名实体识别方法，其特征在于，BiLSTM神经网络模型由四层组成，依次为输入层、前向LSTM层、反向LSTM层和输出层，通过前向LSTM层和反向LSTM层的输出进行连接表示作为BiLSTM神经网络模型的结果输出。7.根据权利要求6所述的命名实体识别方法，其特征在于，设t时...

【专利技术属性】
技术研发人员：王萌，叶娜，张翔，
申请(专利权)人：西安建筑科技大学，
类型：发明
国别省市：