基于可动态组合多头注意力的电力领域命名实体识别方法技术

本发明专利技术公开了基于可动态组合多头注意力的电力领域命名实体识别方法，包括如下步骤：构建LERoBERTa‑DCMHA模型，将采集的电力文本字词序列输入模型中，得到电力文本字词序列的字特征向量；根据词典组合与电力文本字词序列，进行电力词汇词向量训练，得到电力文本字词序列的词特征向量；将字特征向量与词特征向量进行特征融合，获得电力文本字词序列的特征向量；对电力文本字词序列的特征向量进行双向特征编码，得到输出状态序列；对输出状态序列进行标注概率排序，获得最终的实体识别结果；本发明专利技术通过添加可动态组合多头注意力和卷积池化层TextCNN至预训练语言模型中，提高了模型命名实体识别的性能和准确度。

【技术实现步骤摘要】

本专利技术涉及电力知识图谱，具体为基于可动态组合多头注意力的电力领域命名实体识别方法。

技术介绍

1、电力行业的繁荣发展，大量的电气设备在评估、检测、维修等过程中伴随着海量的相关文本数据，在云计算、5g、ai等革命式的计算机技术的出现前，这些数据常常通过人工的方式过滤筛选和整理。人工处理的方式不仅费时费力，其结果还易出错、结构混乱，造成高耗低效的局面。电力领域文本数据命名实体识别是利用计算机自动从非结构化和半结构化的电力文本字词序列中识别并抽取与电力相关的命名实体对象，这些命名实体为后续电力系统智能信息构建和相关研究评估奠定了工作基础。

2、目前，基于深度学习的命名实体识别技术得到了很大的发展，但是其模型的计算和利用效率仍有不足；同时，命名实体识别任务在垂直领域中存在未登录词和标记量少等情况。

技术实现思路

1、针对现有技术的不足，本专利技术提供了基于可动态组合多头注意力的电力领域命名实体识别方法，其目的在于解决
技术介绍
中的问题。

2、为实现上述目的，本专利技术提供如下技术方案：基于可本文档来自技高网...

【技术保护点】

1.基于可动态组合多头注意力的电力领域命名实体识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于可动态组合多头注意力的电力领域命名实体识别方法，其特征在于：将预训练语言模型RoBERTa中的多头注意力换为动态组合多头注意力DCMHA是在预训练语言模型RoBERTa中的多头注意力中引入Compose函数操作得到动态组合多头注意力DCMHA；动态组合多头注意力的核心是Compose函数，给定查询和键，Compose函数将注意力矩阵，表示实数域的维列向量空间，变换成一个具有可训练参数的注意力矩阵：

3.根据权利要求2所述的基于可动态组合多头注意力的电力领...

【技术特征摘要】

1.基于可动态组合多头注意力的电力领域命名实体识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于可动态组合多头注意力的电力领域命名实体识别方法，其特征在于：将预训练语言模型roberta中的多头注意力换为动态组合多头注意力dcmha是在预训练语言模型roberta中的多头注意力中引入compose函数操作得到动态组合多头注意力dcmha；动态组合多头注意力的核心是compose函数，给定查询和键，compose函数将注意力矩阵，表示实数域的维列向量空间，变换成一个具有可训练参数的注意力矩阵：

3.根据权利要求2所述的基于可动态组合多头注意力的电力领域命名实体识别方法，其特征在于：将电力文本字词序列输入leroberta-dcmha模型中，得到电力文本字词序列的字特征向量的具体过程为：

4.根据权利要求3所述的基于可动态组合多头注意力的电力领域命名实体识别方法，其特征在于：leroberta-dcmha模...

【专利技术属性】
技术研发人员：康兵，张之荣，丁贵立，袁小翠，张兴旺，崔明建，李斌，王宗耀，钟炜力，
申请(专利权)人：南昌工程学院，
类型：发明
国别省市：