基于多层神经网络的电力实体识别方法、存储介质和设备技术

本发明专利技术公开了一种基于多层神经网络的电力实体识别方法、存储介质和设备，将待识别的电力语料输入至预先构建的BERT电力实体识别模型中，得到电力实体标签的哈夫曼编码，通过哈夫曼编码映射得到实体标签，进而得到识别出的实体。通过语言模型训练语料对BERT语言模型进行预训练；对电力语料数据标注电力实体标签，构建电力实体识别语料；根据电力实体标签在电力实体识别语料中的数量构建电力实体标签的哈夫曼编码；在预训练得到的BERT语言模型后增加分类层构成BERT电力实体识别模型，通过电力实体识别语料对BERT电力实体识别模型进行再次训练，得到训练好的BERT电力实体识别模型。提高了电力领域中文命名实体识别的精度。提高了电力领域中文命名实体识别的精度。提高了电力领域中文命名实体识别的精度。

【技术实现步骤摘要】
基于多层神经网络的电力实体识别方法、存储介质和设备


[0001]本专利技术涉及电力实体识别
，具体涉及一种基于多层神经网络的电力实体识别方法、存储介质和设备。

技术介绍

[0002]命名实体识别(NER)(也称为实体识别、实体分块和实体提取)是信息提取的一个子任务，用于识别输入文本中的人名、地名、组织机构名或者根据特定需求划分的命名实体，旨在将输入文本中的命名实体定位并分类为预先定义的类别。传统命名实体识别涉及包括3大类(实体、时间和数字)和7小类(人名、地名、时间、数值、货币和百分比)的识别任务。传统的命名实体识别方法可以分为基于词典的命名实体识别方法，基于规则的命名实体识别方法以及基于传统机器学习的命名实体识别的方法。
[0003]早期的研究基于规则方法，制定规则、维护规则的人力成本很高。基于机器学方法，其中条件随机场模型(CRF)通过建立对数似然模型进行特征学习，但是训练代价较大，训练速度较慢。基于深度学习模型，可以自动学习特征，长短期记忆网络模型(LSTM)可以通过门控单元学习到长距离特征，注意力机制模型(Attentio本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多层神经网络的电力实体识别方法，其特征在于：将待识别的电力语料输入至预先构建的BERT电力实体识别模型中，得到电力实体标签的哈夫曼编码，通过哈夫曼编码映射得到实体标签，进而得到识别出的实体。2.根据权利要求1所述的一种基于多层神经网络的电力实体识别方法，其特征是：所述BERT电力实体识别模型的构建步骤包括：提取海量文本语料库，对海量本文语料库进行数据预处理，得到语言模型训练语料；通过语言模型训练语料对BERT语言模型进行预训练；对电力语料数据标注电力实体标签，构建电力实体识别语料；根据电力实体标签在电力实体识别语料中的数量构建电力实体标签的哈夫曼编码；在预训练得到的BERT语言模型后增加分类层构成BERT电力实体识别模型，通过电力实体识别语料对BERT电力实体识别模型进行再次训练，得到训练好的BERT电力实体识别模型。3.根据权利要求2所述的一种基于多层神经网络的电力实体识别方法，其特征是：所述对海量本文语料库进行数据预处理过程包括：对文本分句并构建句子对，句子对用设定的连接标签进行连接，句子对头部加设定的头部标签，句子对尾加设定的尾部标签；其中，原始文本相连的句子构成的句子对为正样本，未连接的句子作为负样本；构建上下句关系预测任务的语料；在每一个句子中，随机遮住部分的字用于预测；对于被遮住的字，其一部分用设定字符串标签代替，一部分用随机的字来替换，剩余部分保持词不变，构成用于字预测任务的语料；根据遮住位置的真实词生成词标签，根据句子对的关系生成上下句关系标签，从而得到语言模型训练语料。4.根据权利要求3所述的一种基于多层神经网络的电力实体识别方法，其特征是：所述通过语言模型训练语料对BERT语言模型进行预训练，包括步骤：BERT语言模型的输入为经过预处理后的文本，输出为字标签和上下句关系标签；计算BERT语言模型的输出和真实标签的损失值，将字标签的损失值和上下句关系的损失值加和得到最终的损失值，根据最终损失值采用AdamW优化器训练BERT语言模型，当验证集上模型的损失值不再下降时，停止训练，保存模型参数，得到BERT语言模型。5.根据权利要求2所述的一种基于多层神经网络的电力实体识别方法，其特征...

【专利技术属性】
技术研发人员：刘子全，李睿凡，王泽元，胡成博，熊永平，朱雪琼，
申请(专利权)人：国家电网有限公司北京邮电大学国网江苏省电力有限公司江苏省电力试验研究院有限公司，
类型：发明
国别省市：