一种基于标签注意力机制的命名实体识别方法技术

本发明专利技术公开了一种基于标签注意力机制的命名实体识别方法，采用的网络模型包括IDCNN‑BiLSTM‑LAN层和BiLSTM‑LAN层；通过对所有候选标签进行编码的方式，利用标签知识捕捉了标签间长期依赖关系，并在一定程度上解决了标注偏执问题。序列标注实验结果证明，在比BiLSTM‑CRF训练解码速度更快的情况下，本发明专利技术可以达到更高的实体提取准确率，可以应用于智能家居领域人机交互话术的语义理解。

A named entity recognition method based on label attention mechanism

【技术实现步骤摘要】
一种基于标签注意力机制的命名实体识别方法
本专利技术属于自然语言处理领域，涉及一种智能家居领域人机交互话术的命名实体识别方法。
技术介绍
实体是文本的基本信息元素，是构成文本的基础。命名实体识别(NamedEntityRecognition,NER)是自然语言处理的一项基本任务，主要是从一段文本中找出实体，并对实体出现的位置和类别进行标记。随着深度学习的发展，最近几年出现了大量的基于神经网络的模型，最具代表性的是BiLSTM-softmax和BiLSTM-CRF模型。然而在很多情况下，BiLSTM-CRF并没有比不对输出序列进行建模的BiLSTM-softmax取得更好的效果。一个可能的原因是神经网络编码器已经有很强的序列信息编码能力，在此基础上CRF并没有引入更多的有效信息，对输出序列没有进行很好的编码。人机交互话术的命名实体识别方法在应用于家居领域时，由于人机交互话术文本意图范围广泛，且实体类别细分领域众多，因此对实体的标记提取的准确性要求较高。在智能家居领域人机交互话术自然语言处理中就使用到了NER方法，但当前智能家居领域NER方本文档来自技高网...

【技术保护点】
1.一种基于标签注意力机制的命名实体识别方法，其特征在于：该命名实体识别方法包括以下步骤：/n1)将输入文本的向量化表示并行输入IDCNN网络和第一BiLSTM网络，将IDCNN网络和第一BiLSTM网络输出的向量进行拼接后形成蕴含词信息的特征向量；/n2)计算蕴含词信息的特征向量与候选标签的注意力机制，生成输入文本中每个词对每个候选标签的相近程度的概率分布；/n3)将步骤2)生成的各个概率分布与对应候选标签相乘，形成蕴含标签信息的特征向量；/n4)将步骤1)形成的蕴含词信息的特征向量和步骤3)形成的蕴含标签信息的特征向量拼接后同时通过第二BiLSTM网络进行编码；/n5)计算步骤4)中的第二...

【技术特征摘要】
1.一种基于标签注意力机制的命名实体识别方法，其特征在于：该命名实体识别方法包括以下步骤：
1)将输入文本的向量化表示并行输入IDCNN网络和第一BiLSTM网络，将IDCNN网络和第一BiLSTM网络输出的向量进行拼接后形成蕴含词信息的特征向量；
2)计算蕴含词信息的特征向量与候选标签的注意力机制，生成输入文本中每个词对每个候选标签的相近程度的概率分布；
3)将步骤2)生成的各个概率分布与对应候选标签相乘，形成蕴含标签信息的特征向量；
4)将步骤1)形成的蕴含词信息的特征向量和步骤3)形成的蕴含标签信息的特征向量拼接后同时通过第二BiLSTM网络进行编码；
5)计算步骤4)中的第二BiLSTM网络输出的向量与候选标签的注意力机制，再次生成输入文本中每个词对每个候选标签的相近程度的概率分布，得到用于文本命名实体识别预测的网络模型。


2.根据权利要求1所述一种基于标签注意力机制的命名实体识别方法，其特征在于：所述命名实体识别方法还包括以下步骤：将待识别命名实体的文本的向量化表示输入所述网络模型，然后由该网络模型输出该文本的命名实体的标签标注结果。


3.根据权利要求1所述一种基于标签注意力机制的命名实体识别方法，其特征在于：所述步骤1)中，采用BERT预训练中文词向量。


4.根据权利要求1所述一种基于标签注意力机制的...

【专利技术属性】
技术研发人员：郑帅，刘军，孟庆波，田智强，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61