一种电网设备故障报告内故障信息的快速提取方法技术

技术编号:28037310 阅读:37 留言:0更新日期:2021-04-09 23:19
本发明专利技术涉及一种电网设备故障报告内故障信息的快速提取方法,解决现有模型对领域实体识别能力不足的问题。该模型使用基于Transformer的双向编码器BERT模型解决了BiLSTM上下文信息获取不足的问题,在获得全局的上下文信息的基础上,提高模型的识别精度,并使用基于迁移学习的预训练模型BERT,增强领域字词信息获取能力。而本发明专利技术在此基础上进行面向电网领域的本地微调训练,对BERT的部分Transformer层进行面向领域的重训练,在保留原始模型包含的中文句法语法信息的情况下,使得原本不适用于电网领域的通用模型能在电网故障报告文本上取得较好的结果。

【技术实现步骤摘要】
一种电网设备故障报告内故障信息的快速提取方法
本专利技术涉及快速提取电网设备故障报告内故障信息的方法,具体涉及一种电网设备故障报告内故障信息的快速提取方法。
技术介绍
变压器、输电线等电力设备在送电使用后,常因设备固有缺陷隐患、短路冲击、过载运行等因素产生故障。当设备发生故障后,技术人员通常会对设备从正常运行、到发现可能存在状态异常、到采取多种手段检测、以及停电检修、确诊存在隐患/故障的完整过程进行记录,通常包含设备类型、名称、故障发生时间、现象、原因、检修方法、检修结果等信息,并以故障报告的形式存档,为设备故障诊断、故障处理方法检修处理决策积累经验。电网设备故障报告基本以自然语言表述的文档,即非结构化形式存储,没有固定的格式和结构,难以快速、准确与相似故障情况关联,无法进一步辅助开展故障分析诊断。另外人工智能已经在电网领域进行了广泛的应用,基于模型的人工智能在文本挖掘、图像识别、故障诊断、决策支持等多个领域取得了良好的成果。如秦善强,付志红,朱学贵,籍勇亮在2017年在电工技术学报上发表的论文:遗传神经网络的瞬变电磁视电阻率求解算法,本文档来自技高网...

【技术保护点】
1.一种电网设备故障报告内故障信息的快速提取方法,其特征在于:其包括以下步骤:/n步骤一、基于N层双向Transformer进行BERT模型构建,并利用构建的BERT模型对文本进行词嵌入转换,将输入的文本数据

【技术特征摘要】
1.一种电网设备故障报告内故障信息的快速提取方法,其特征在于:其包括以下步骤:
步骤一、基于N层双向Transformer进行BERT模型构建,并利用构建的BERT模型对文本进行词嵌入转换,将输入的文本数据通过Transformer转化为向量,将文本以字的单位转换成字向量;
步骤二、利用BiLSTM模型结合前向LSTM的隐层和后向LSTM的隐层对词嵌入处理后的数据进行分类得到向量;
步骤三、使用CRF模型对模型的损失进行计算,基于位置信息转移矩阵进行矩阵相乘计算得到输出的概率,使输出更符合实体语法规则,得到输出向量,从而得到全局最优秀的序列,即输出各故障类别的概率,
其中,对步骤一中的BERT模型进行微调,其微调如下:
①基于迁移学习理论对预训练的中文模型进行参数初始化操作;
②冻结部分靠近输入的Transformer层的参数;
③训练剩下靠近输出的Transformer层和全连接层,使其跟随下游任务进行微调训练,
其中微调后的





2.根据权利要求1所述的一种电网设备故障报告内故障信息的快速提取方法,其特征在于:所述BERT模型通过Transformer中的编码器对语句进行编码,其中包括多头自注意力机制。


3.根据权利要求2所述的一种电网设备故障报告内故障信息的快速提取方法,其特征在于:多头自注意力机制通过构建多个自注意力中的Q、K、V矩阵得到的,对于每个K、Q、V矩阵,进行多个线性层映射,再通过缩放的点积注意力机制进行运算,拼接后得到结果。


4.根据权利要求2或3所述的一种电网设备故障报告内故障信息的快速提取方法,其特征在于:经过多头自注意力机制进行句词加权计算后,...

【专利技术属性】
技术研发人员:陈再发劳山付军
申请(专利权)人:浙江国际海运职业技术学院
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1