基于多分枝残差注意力网络的智能稽查建模方法技术

本发明专利技术提出了一种基于多分枝残差注意力网络的智能稽查建模方法，其步骤为：首先，获取稽查数据字段，并对稽查数据字段进行预处理得到训练数据；其次，构建多分枝残差注意力网络，并利用训练数据对多分枝残差注意力网络进行训练，得到多分枝残差注意力网络模型；最后，将稽查数据输入多分枝残差注意力网络模型中，输出稽查结果，完成对电力营销业务中的异常问题的识别分类与自动排查。本发明专利技术通过多次卷积操作，捕获更多数据，解决长时序数据较难学习的问题，同时该网络采用高效注意力机制，在稽查数据变化较大的时刻点投入更多的注意力，从而提高了模型训练和预测的准确度。

【技术实现步骤摘要】
基于多分枝残差注意力网络的智能稽查建模方法
本专利技术涉及智能稽查建模
，特别是指一种基于多分枝残差注意力网络的智能稽查建模方法。
技术介绍
电力稽查是电力营销中不可或缺的一个职能，在电力营销市场化过程中扮演越来越重要的角色。如何平衡稽查与被稽查者之间的利益，在有限的稽查中发现和预测电力营销中更多的错误，已经成为电力公司和科研人员关注的新课题。建立智能稽查模型，深入洞察电力营销业务中存在的问题，支撑异常问题整改，实现数字化稽查是提高电力营销稽查效率的必要手段。目前，电力营销稽查建模方法主要有以下几种：(1)基于稽查结果的营销工作质量评价定性分析模型该方法运用专家调查法进行风险程度和管控强度测评，基于评价得分和具体差错类型，应用专业统计分析建模技术，建立稽查结果统计分析模型，实现营销差错的主因分析确定、成因分析、责任岗位分析、营销业务短板分析、风险性分析，但是这种方法稽查方式单一。(2)基于数据挖掘技术的电价执行在线稽查模型该方法以计量、营销等海量用电数据为研究对象，利用K-Means聚类算法识别客户的典型用电模式，利用马氏距离判别算法识别电价异常用户。利用计量自动化、营销系统海量用电数据，基于自适应模糊神经推理和决策树C5.0算法构建电价执行智能稽查模型，但是这种方法准确率不高。(3)基于数据挖掘的用电数据异常的分析与研究该方法首先利用孤立森林算法构建异常检测模型，识别大部分异常用户。其次通过建立基于聚类分析、局部离群因子算法的异常检测模型并进行比较。再次利用决策树算法建立用电数据异常识别模型，但是此方法效率低下，排查范围有限。(4)基于广义规则归纳算法的电力稽查关联问题分析模型该模型从建模角度出发，对稽查样本问题库进行编码整理，再对问题字段进行bool变换，将文本规范化为符号变量，解决了文本难以分类和噪声过大的问题，然后利用数据挖掘中的GRI关联算法对已有的稽查样本数据库进行问题关联分析，得出问题间的隐含关系，但是此方法排查深度不够，误差率高。
技术实现思路
针对目前深度学习算法在稽查建模方法中存在特征提取不充分，浅层的网络容易出现梯度消失，较难有效学习长时序数据间的映射关系等问题，本专利技术提供了一种基于多分枝残差注意力网络的智能稽查建模方法，克服了传统方法人工筛选效率低、应用场景单一、模型精度差的缺陷。本专利技术的技术方案是这样实现的：一种基于多分枝残差注意力网络的智能稽查建模方法，其步骤如下：步骤一：获取稽查数据字段，并对稽查数据字段进行预处理得到训练数据；步骤二：构建多分枝残差注意力网络，并利用训练数据对多分枝残差注意力网络进行训练，得到多分枝残差注意力网络模型；步骤三：将稽查数据输入多分枝残差注意力网络模型中，输出稽查结果，完成对电力营销业务中的异常问题的识别分类与自动排查。所述稽查数据字段包括:日期、线路或台区ID、供电量、售电量、线路用户电量、电流、电压和功率因素。所述多分枝残差注意力网络的网络结构为：输入层-卷积层I-多分枝残差注意力模块I-下采样层I-多分枝残差注意力模块II-下采样层II-多分枝残差注意力模块III-下采样层III-多分枝残差注意力模块IV-下采样层IV-卷积层II-池化层-全连接层I-全连接层II-输出层。所述多分枝残差注意力模块I、多分枝残差注意力模块II、多分枝残差注意力模块III和多分枝残差注意力模块IV均包括多分枝残差块和高效注意力模块，多分枝残差块的输入侧与卷积层I、下采样层I、下采样层II或下采样层III相连接，多分枝残差块的输出侧与高效注意力模块的输入侧相连接，高效注意力模块的输出侧与下采样层I、下采样层II、下采样层III或下采样层IV相连接；所述多分枝残差块用于提取训练数据的特征，高效注意力模块用于优化训练数据的特征。所述多分枝残差块包括多分枝残差单元I、多分枝残差单元II和多分枝残差单元III，多分枝残差单元I的输入侧与卷积层I、下采样层I、下采样层II或下采样层III相连接，多分枝残差单元I的输出侧与多分枝残差单元II的输入侧相连接，多分枝残差单元II的输出侧与多分枝残差单元III的输入侧相连接，多分枝残差单元III的输出侧与高效注意力模块的输入侧相连接，多分枝残差单元II的输出侧与高效注意力模块的输出侧相连接。所述多分枝残差单元I、多分枝残差单元II和多分枝残差单元III的网络结构相同，均包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层，第一卷积层分别与第五卷积层、第二卷积层、第三卷积层和第四卷积层相连接，第二卷积层分别与第三卷积层和第五卷积层相连接，第三卷积层分别与第四卷积层和第五卷积层相连接，第四卷积层与第五卷积层相连接；第一卷积层为多分枝残差单元I、多分枝残差单元II或多分枝残差单元III的输入卷积层，第五卷积层为多分枝残差单元I、多分枝残差单元II或多分枝残差单元III的输出卷积层。所述高效注意力模块包括第一池化层、一维卷积层I、一维卷积层II、一维卷积层III、激活层和第二池化层，第一池化层分别与一维卷积层I和第二池化层相连接，一维卷积层I与一维卷积层II相连接，一维卷积层II与激活层相连接，激活层与一维卷积层III相连接，一维卷积层III与第二池化层相连接；所述第一池化层为高效注意力模块的输入层，第二池化层为高效注意力模块的输出层。高效注意力模块优化训练数据的特征的方法为：对于大小为W×1×C的特征图U，U＝[x1，x2，...，xc]，对特征图U进行一维化操作，得到一维化后的特征图Z；利用特征图U的每个通道及其k近邻构造快速一维卷积y，并将一维化后的特征图Z与快速一维卷积y进行卷积运算，得到权重Wk；利用激活函数对权重Wk进行归一化，并对归一化后的权重进行放大，得到最终的权重Fw；利用最终的权重Fw加权到特征图U上得到优化后的特征图。所述一维化后的特征图Z的获得方法为：其中，zc∈Z＝{z1,z2,…,zc}，FGAP(·)表示将特征通道c中的特征图的线性运算，xi表示特征通道c中第i个特征图，W表示特征通道c中的特征图个数；所述权重Wk为：其中，Fh(·)表示利用快速一维卷积特征通道c学习到的预权重，表示特征通道c对应的快速一维卷积，表示c个特征通道中的所有k个近邻通道中非零数值的集合，其余位置由零填充，*表示卷积运算；所述最终的权重Fw为：Fw＝n·σ(Wk)其中，n为权值放大系数，σ(·)为Sigmoid函数；所述优化后的特征图为：U′＝Fw·U其中，U′为优化后的特征图。本技术方案能产生的有益效果：1)本专利技术首先对原始稽查数据进行归一化处理，通过滑动窗口的方式获得网络的输入；2)多分枝残差注意力网络利用叠加的多分枝残差结构来提取深层的负载特征，降低网络优化的难度，增强了网络信息的传递，并解决网络的梯度消失问题；3)通过多次本文档来自技高网...

【技术保护点】
1.一种基于多分枝残差注意力网络的智能稽查建模方法，其特征在于，其步骤如下：/n步骤一：获取稽查数据字段，并对稽查数据字段进行预处理得到训练数据；/n步骤二：构建多分枝残差注意力网络，并利用训练数据对多分枝残差注意力网络进行训练，得到多分枝残差注意力网络模型；/n步骤三：将稽查数据输入多分枝残差注意力网络模型中，输出稽查结果，完成对电力营销业务中的异常问题的识别分类与自动排查。/n

【技术特征摘要】
1.一种基于多分枝残差注意力网络的智能稽查建模方法，其特征在于，其步骤如下：
步骤一：获取稽查数据字段，并对稽查数据字段进行预处理得到训练数据；
步骤二：构建多分枝残差注意力网络，并利用训练数据对多分枝残差注意力网络进行训练，得到多分枝残差注意力网络模型；
步骤三：将稽查数据输入多分枝残差注意力网络模型中，输出稽查结果，完成对电力营销业务中的异常问题的识别分类与自动排查。


2.根据权利要求1所述的基于多分枝残差注意力网络的智能稽查建模方法，其特征在于，所述稽查数据字段包括:日期、线路或台区ID、供电量、售电量、线路用户电量、电流、电压和功率因素。


3.根据权利要求1所述的基于多分枝残差注意力网络的智能稽查建模方法，其特征在于，所述多分枝残差注意力网络的网络结构为：输入层-卷积层I-多分枝残差注意力模块I-下采样层I-多分枝残差注意力模块II-下采样层II-多分枝残差注意力模块III-下采样层III-多分枝残差注意力模块IV-下采样层IV-卷积层II-池化层-全连接层I-全连接层II-输出层。


4.根据权利要求3所述的基于多分枝残差注意力网络的智能稽查建模方法，其特征在于，所述多分枝残差注意力模块I、多分枝残差注意力模块II、多分枝残差注意力模块III和多分枝残差注意力模块IV均包括多分枝残差块和高效注意力模块，多分枝残差块的输入侧与卷积层I、下采样层I、下采样层II或下采样层III相连接，多分枝残差块的输出侧与高效注意力模块的输入侧相连接，高效注意力模块的输出侧与下采样层I、下采样层II、下采样层III或下采样层IV相连接；所述多分枝残差块用于提取训练数据的特征，高效注意力模块用于优化训练数据的特征。


5.根据权利要求4所述的基于多分枝残差注意力网络的智能稽查建模方法，其特征在于，所述多分枝残差块包括多分枝残差单元I、多分枝残差单元II和多分枝残差单元III，多分枝残差单元I的输入侧与卷积层I、下采样层I、下采样层II或下采样层III相连接，多分枝残差单元I的输出侧与多分枝残差单元II的输入侧相连接，多分枝残差单元II的输出侧与多分枝残差单元III的输入侧相连接，多分枝残差单元III的输出侧与高效注意力模块的输入侧相连接，多分枝残差单元II的输出侧与高效注意力模块的输出侧相连接。


6.根据权利要求5所述的基于多分枝残差注意力网络的智能稽查建模方法，其特征在于，所述多分枝残差单元I、多分枝残差单元II和多分枝残差单元III的网络结构相同，均包括第...

【专利技术属性】
技术研发人员：张琳娟，武宏波，李翼铭，许长清，邱超，李奇，周楠，张平，卢丹，郭璞，郑征，陈婧华，韩军伟，
申请(专利权)人：国网河南省电力公司经济技术研究院，国家电网有限公司，
类型：发明
国别省市：河南;41