一种实体识别方法、模型训练方法及装置制造方法及图纸

本申请提供一种实体识别方法、模型训练方法及装置，其中，实体识别方法包括：获取待识别文本及预先训练的实体识别模型，将待识别文本分别输入实体识别模型的第一子模型和第二子模型，得到第一词特征向量和第二词特征向量，然后将第一词特征向量和第二词特征向量输入实体识别模型的第三子模型，经第三子模型的双向隐藏状态提取，得到多个第一隐藏状态和多个第二隐藏状态，再将多个第一隐藏状态和多个第二隐藏状态进行拼接，得到拼接后的隐藏状态，将拼接后的隐藏状态输入实体识别模型的分类层，经分类层的分类识别，得到待识别文本的实体识别结果。实体识别时，既考虑了语法语义，又考虑了词法，从而提高了长实体的识别精度。从而提高了长实体的识别精度。从而提高了长实体的识别精度。

【技术实现步骤摘要】
一种实体识别方法、模型训练方法及装置


[0001]本申请涉及计算机技术的人工智能领域，特别涉及一种实体识别方法。本申请同时涉及一种实体识别模型训练方法、一种实体识别装置、一种实体识别模型训练装置、一种计算设备，以及一种计算机可读存储介质。

技术介绍

[0002]人工智能(AI，Artificial Intelligence)是指已工程化(即设计并制造)的系统感知环境的能力，以及获取、处理、应用和表示知识的能力。人工智能领域关键技术的发展状况，包括机器学习、知识图谱、自然语言处理、计算机视觉、人机交互、生物特征识别、虚拟现实/增强现实等关键技术。自然语言处理(Natural Language Processing)是指用计算机对自然语言的形、音、义等信息进行处理，即对字、词、句、篇章的输入、输出、识别、分析、理解、生成等的操作和加工。自然语言处理是计算机科学领域与人工智能领域中的一个重要方向，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
[0003]实体识别又称作命名实体识别(NER，Named Entity Rec本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实体识别方法，其特征在于，包括：获取待识别文本及预先训练的实体识别模型，所述实体识别模型包括第一子模型、第二子模型、第三子模型和分类层，所述第一子模型为基于深度学习的语言模型，所述第二子模型为词法关联模型，所述第三子模型为双向的隐藏状态提取模型；将所述待识别文本分别输入所述第一子模型和所述第二子模型，得到第一词特征向量和第二词特征向量；将所述第一词特征向量和所述第二词特征向量输入所述第三子模型，经所述第三子模型的双向隐藏状态提取，得到多个第一隐藏状态和多个第二隐藏状态；将所述多个第一隐藏状态和所述多个第二隐藏状态进行拼接，得到拼接后的隐藏状态；将所述拼接后的隐藏状态输入所述分类层，经所述分类层的分类识别，得到所述待识别文本的实体识别结果。2.根据权利要求1所述的实体识别方法，其特征在于，在所述获取待识别文本及预先训练的实体识别模型的步骤之前，所述方法还包括：获取训练集和初始的网络模型，所述训练集包括多个训练文本，各训练文本携带有实体标注信息，所述网络模型包括第一子模型、第二子模型、第三子模型和分类层，所述第一子模型为基于深度学习的语言模型，所述第二子模型为词法关联模型，所述第三子模型为双向的隐藏状态提取模型；从所述训练集中提取训练文本，并将所述训练文本分别输入所述第一子模型和所述第二子模型，得到第一词特征向量和第二词特征向量；将所述第一词特征向量和所述第二词特征向量输入所述第三子模型，经所述第三子模型的双向隐藏状态提取，得到多个第一隐藏状态和多个第二隐藏状态；将所述多个第一隐藏状态和所述多个第二隐藏状态进行拼接，得到拼接后的隐藏状态；将所述拼接后的隐藏状态输入所述分类层，经所述分类层的分类识别，得到所述训练文本的实体预测结果；对比所述实体预测结果与所述训练文本携带的实体标注信息，得到差异值；若所述差异值大于预设阈值，则调整所述第一子模型、所述第二子模型、所述第三子模型和所述分类层的模型参数，并返回执行所述从所述训练集中提取训练文本的步骤，直至达到训练停止条件，停止训练，确定完成训练的网络模型为实体识别模型。3.根据权利要求1或2所述的实体识别方法，其特征在于，所述第三子模型包括多个隐藏层；所述将所述第一词特征向量和所述第二词特征向量输入所述第三子模型，经所述第三子模型的双向隐藏状态提取，得到多个第一隐藏状态和多个第二隐藏状态的步骤，包括：将所述第一词特征向量输入所述第三子模型，经所述第三子模型中各隐藏层从前往后的顺序分别提取隐藏状态，得到多个第一隐藏状态；将所述第二词特征向量输入所述第三子模型，经所述第三子模型中各隐藏层从后往前的顺序分别提取隐藏状态，得到多个第二隐藏状态。4.根据权利要求3所述的实体识别方法，其特征在于，所述将所述第一词特征向量输入
所述第三子模型，经所述第三子模型中各隐藏层从前往后的顺序分别提取隐藏状态，得到多个第一隐藏状态的步骤，包括：按照所述第三子模型中各隐藏层从前往后的顺序，将所述第一词特征向量输入第1个隐藏层，经所述第1个隐藏层的计算，得到第1个第一隐藏状态；将所述第1个第一隐藏状态输入第2个隐藏层，经所述第2个隐藏层的计算，得到第2个第一隐藏状态；对第i个隐藏层之前已计算出的预设数目个第一隐藏状态进行加权运算，得到加权结果，并将所述加权结果输入第i个隐藏层，经所述第i个隐藏层的计算，得到第i个第一隐藏状态，其中，i为大于2、且小于或等于n的正整数，n为所述第三子模型中隐藏层的总个数。5.根据权利要求3所述的实体识别方法，其特征在于，所述将所述第二词特征向量输入所述第三子模型，经所述第三子模型中各隐藏层从后往前的顺序分别提取隐藏状态，得到多个第二隐藏状态的步骤，包括：按照所述第三子模型中各隐藏层从后往前的顺序，将所述第二词特征向量输入第n个隐藏层，经所述第n个隐藏层的计算，得到第1个第二隐藏状态，其中，所述第n个隐藏层为所述第三子模型中的最后一个隐藏层；将所述第1个第二隐藏状态输入第n
‑
1个隐藏层，经所述第n
‑
1个隐藏层的计算，得到第2个第二隐藏状态；对第j个隐藏层之后已计算出的预设数目个第二隐藏状态进行加权运算，得到加权结果，并将所述加权结果输入第j个隐藏层，经所述第j个隐藏层的计算，得到第n
‑
(j
‑
1)个第二隐藏状态，其中，j为大于或等于1、且小于n
‑
1的正整数。6.根据权利要求1所述的实体识别方法，其特征在于，所述将所述多个第一隐藏状态和所述多个第二隐藏状态进行拼接，得到拼接后的隐藏状态的步骤，包括：按照第一隐藏状态和第二隐藏状态的提取顺序，将同一顺序提取的第二隐藏状态拼接在第一隐藏状态之后，得到多个拼接后的隐藏状态。7.根据权利要求1所述的实体识别方法，其特征在于，所述第一子模型为BERT模型，所述第二子模型为Word2Vec模型，所述第三子模型为双向LSTM模型，所述分类层为CRF层。8.一种实体识别模型训练方法，其特征在于，包括：获取训练集和初始的网络模型，所述训练集包括多个训练文本，各训练文本携带有实体标注信息，所述网络模型包括第一子模型、第二子模型、第三子模型和分类层，所述第一子模型为基于深度学习的语言模型，所述第二子模型为词法关联模型，所述第三子模型为双向的隐藏状态提取模型；从所述训练集中提取训练文本，并将所述训练文本分别输入所述第一子模型和所述第二子模型，得到第一词特征向量和第二词特征向量；将所述第一词特征向量和所述第二词特征向量输入所述第三子模型，经所述第三子模型的双向隐藏状态提取，得到多个第一隐藏状态和多个第二隐藏状态；将所述多个第一隐藏状态和所述多个第二隐藏状态进...

【专利技术属性】
技术研发人员：冯硕，李长亮，
申请(专利权)人：北京金山数字娱乐科技有限公司，
类型：发明
国别省市：