一种融合局部上下文信息并利用标签语义进行命名实体识别的方法技术

本发明专利技术涉及一种融合局部上下文信息并利用标签语义进行命名实体识别的方法。该方法包括以下步骤:对数据进行预处理，得到标签的自然语言形式；使用两个基于Transformer的模型提取全局上下文信息向量和标签语义向量。然后通过多窗口Bi_LSTM层增强局部上下文信息提取，同时，利用基于CNN的联合学习模块进一步捕捉相邻词之间的局部上下文信息。通过多窗口注意力层整合全局上下文和局部上下文信息，以获得token的最终表示，最后计算token与每个标签的相似度，选取与token相似度最高的标签作为该token的预测值。本发明专利技术弥补了基于Transformer的模型对局部上下文信息提取不充分的缺陷。此外，本发明专利技术还使用标签语义进行预测，提高了任务预测的准确率。

【技术实现步骤摘要】

本专利技术属于自然语言处理技术中的命名实体识别领域，具体涉及一种融合局部上下文信息并利用标签语义进行命名实体识别的方法。

技术介绍

1、命名实体识别是自然语言处理中一项基础性关键任务，也是关系抽取、事件抽取、知识图谱、机器翻译、问答系统等诸多nlp任务的基础，具有重大的应用价值。早期的命名实体识别方法大多是基于词典和规则的方法，规则的设计一般基于句法、语法、词汇的模式以及特定领域的知识等。词典是由特征词构成的词典和外部词典共同组成，外部词典指已有的常识词典。制定好规则和词典后，通常使用匹配的方式对文本进行处理以实现命名实体识别。虽然基于规则的命名实体识别系统在词库详尽的情况下工作得非常好。但是由于特定领域的规则和词典的不完整，从这些系统中经常可以观察到高精确度和低召回率，而且这些系统不能转移到其他领域。

2、随着深度学习模型在图像识别领域取得优异效果，自然语言处理研究者们逐渐将深度学习模型应用到自然语言处理领域。深度学习中较为经典的ner模型是2015年由huang等人提出的bi_lstm-crf模型。bi_lstm-crf模型可以有效地利用过本文档来自技高网...

【技术保护点】

1.一种融合局部上下文信息并利用标签语义进行命名实体识别的方法，其特征在于，包括以下步骤:对数据进行预处理，并得到数据中所有标签的自然语言形式；将预处理后的数据以及自然语言形式的标签集分别输入到两个基于Transformer的模型中，以获得蕴含全局上下文信息的向量和蕴含标签语义信息的向量；将蕴含全局上下文信息的向量输入到多窗口的Bi_LSTM层，以获得多层次的蕴含局部上下文信息的向量；并将蕴含全局上下文信息的向量输入到基于CNN的联合学习模块，增强模型对相邻词之间局部上下文信息的捕捉能力；然后将之前得到的蕴含全局上下文信息的向量和多层次的蕴含局部上下文信息的向量一起输入到多窗口注意力层进...

【技术特征摘要】

1.一种融合局部上下文信息并利用标签语义进行命名实体识别的方法，其特征在于，包括以下步骤:对数据进行预处理，并得到数据中所有标签的自然语言形式；将预处理后的数据以及自然语言形式的标签集分别输入到两个基于transformer的模型中，以获得蕴含全局上下文信息的向量和蕴含标签语义信息的向量；将蕴含全局上下文信息的向量输入到多窗口的bi_lstm层，以获得多层次的蕴含局部上下文信息的向量；并将蕴含全局上下文信息的向量输入到基于cnn的联合学习模块，增强模型对相邻词之间局部上下文信息的捕捉能力；然后将之前得到的蕴含全局上下文信息的向量和多层次的蕴含局部上下文信息的向量一起输入到多窗口注意力层进行信息融合，以获得token的最终表示，然后取蕴含标签语义信息的向量中[cls]对应的词嵌入作为标签的最终表示；将token的最终表示与每个标签的最终表示进行点乘，以计算token与每个标签之间的相似度；最后，利用softmax和argmax来选取与token相似度最高的标签作为该token的预测值。

2.根据权利要求1所述的一种融合局部上下文信息并利用标签语义进行命名实体识别的方法，其特征在于，数据的预处理过程包括以下步骤:首先，遍历数据集中的训练集和验证集，以获取所有标签，然后将这些标签转换为自然语言形式，例如将“b-per”转换成“begin person”。预处理后的数据格式如下:

3.根据权利要求1所述的一种融合局部上下文信息并利用标签语义进行命名实体识别的方法，其特征在于，transformer编码器包括多头注意力机制层和前馈神经网络层，用于获得蕴含全局上下文信息的向量和蕴含标签语义信息的向量。tr...

【专利技术属性】
技术研发人员：张璞，袁文浩，张靖宇，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：