一种基于大数据深度学习的电价稽查执行方法技术

本发明专利技术属于一种电力营销稽查技术领域，尤其涉及一种基于大数据深度学习的电价稽查执行方法，是一种深度学习中的变分自动编码器算法进行电价执行异常识别的电价执行稽查创新方法。本发明专利技术包括用电数据获取并进行简单分类；用电数据提取概率特征；重构概率判别。本发明专利技术有效解决了目前电价执行稽查多种异构参数的计算问题，通过重构概率来有效判定用电客户是否异常；针对部分客户用电数据局部缺失情况，由于算法判别过程中生成模型可对数据进行同特征恢复，固可有效解决缺失问题。实现电价执行稽查在线诊断，解决电价执行情况多样、参数复杂的实际问题，为电力营销工作提供了有效的保障，大幅度提高了异常检测的准确率，大幅度降低稽查不匹配率。

【技术实现步骤摘要】
一种基于大数据深度学习的电价稽查执行方法
本专利技术属于一种电力营销稽查
，尤其涉及一种基于大数据深度学习的电价稽查执行方法，是一种深度学习中的变分自动编码器算法进行电价执行异常识别的电价执行稽查创新方法。
技术介绍
供电企业营销稽查工作是营销业务顺利开展，及时发现异常情况，提高工作质量经营管理水平的重要保障。近年来，智能电网规模越来越来大，大数据、多维度、高智能、强可靠性已成为现代电网的显著特点。传统的稽查监控工作方法难以适应新形式的需求，以深度学习为代表的智能方法越来越成为解决上述问题的有效工具。目前，电价执行稽查工作主要有三种方式。第一，人工检查方法，该方法效率低工作量大正在逐渐淘汰；第二，普通网络稽查监控系统，通过设立用电量门限阈值筛选，该方法只能对门限阈值超量的电价执行异常进行筛选；第三，通过聚类等传统机器学习方法对系统筛选，但该方法只能凭借用电轨迹对电价执行异常进行辨别，情况单一，无法处理异构数据，用户数据局部缺失的情况下无法有效分析计算。
技术实现思路
为了解决上述现有技术中存在的问题，本专利技术提供了一种基于大数据深度学习的电价稽查执行方法，其目的是为了解决目前电价执行稽查情况复杂、参数众多、数据可能不完整，仅靠用电量很难全面稽查电价执行情况的问题。通过本方法可有效面对多种情况，提高了电价执行营销稽查的准确性、针对性、可靠性。为实现上述专利技术目的，本专利技术是通过以下技术方案实现的：一种基于大数据深度学习的电价稽查执行方法，包括以下步骤：步骤1.用电数据获取并进行简单分类；步骤2.用电数据提取概率特征，为每一个样本构造专属正态分布，然后采样重构，并训练编码器及解码器；步骤3.重构概率判别，利用重构概率蒙特卡洛估计值，实现异常客户判别，实现电价执行稽查工作。所述步骤1中用电数据获取并进行简单分类，包括：(1)获取数据：数据取自供电企业市场营销及营销稽查监控业务数据库，数据类型对应数值化包括：异常种类：包含客户基本用电信息，具体包含售电均价波动、特殊电价执行异常、超容量用电、居民大电量、农排大电量、化肥大电量、力率执行异常、变损电量异常、两部制电价执行异常及分时电价执行异常；对应数值从1到N种类；客户用电一般属性：包含客户基本用电信息；具体包含电压、电流、变压器容量、平均功率因数、平均负载率、超容率、总电费、基本电费、峰时电费、平时电费及谷时电费，数值按照归一化处理便于计算；客户用电高级属性：包含用电计算指标及衍生指标；具体包含用电同比、环比、偏差率、峰总比、平总比、谷总比、峰谷比及数值大部分为比值，直接代如矩阵；客户数据属性：包含客户数据是否完整及不完整情况；具体包含用户类别、所属行业、所属位置、抄表号段、售电均价、上月售电均价、上年同期售电均价、售电环比同比及景气指数，数值分类数值化；(2)简单分类：将系统中采集的数据按照正常数据集和异常数据集分类导入算法模型，异常数据集样本数量较少，但足可以对模型进行半监督学习训练；将样本中的文字信息转化为数字信息，并将包含四类数据类型的数据形成正常数据集X、异常数据集x；上式中：M、N、m、n代表的是维度，L代表损失函数。所述步骤2中用电数据提取概率特征，包括：判别模型通过变分自动编码器模型得以实现，变分自动编码器由编码器、解码器及额外损失三部分构成；每一个样本数据经过编码器通过均值和方差分布降维生成隐藏变量z，通过解码器还原样本增维；通过KL散度衡量额外损失L；通过重建概率生成可有效判别电价执行异常客户；具体步骤如下：确定网络的结构，总共具有q+2层，输入层和输出层各占1层，q为隐藏层的层数；导入正常数据集X，确定到模型的超参数，训练有向图模型参数θ、φ；初始化编码器网络，网络的作用将数据集中样本映射到隐藏分布参数中z，接受输入通过非线性激活函数的密集Dense函数连接并发送；然后将输入数据转换成隐藏空间的两个变量，使用密集Dense函数连接隐藏变量z的均值μz(i)和z的logσ2使用σz(i)表示；然后使用异常数据集数据通过神经网络均值μz(i)和方差σz(i)计算模块反向传播训练编码器fθ(z|x(i))；表达式为：μz(i),σz(i)＝fθ(z|x(i))(1)；解码器是将z作为输入量，并将参数输出到数据概率分布中；使用μz(i)和σz(i)，通过定义采样函数从隐藏正态分布中随机采样类似点；每一个异常样本形成的正态分布进行采样得到z并引入额外损失变量L，并可通过正向训练形成解码器i、l为正反向迭代次数；表达式是为：上式中：X表示正常数据集，Z表示重构矢量；由生成样本的均值和方差构建重构概率表达式为：上述两个公式中：logpθ(x(i))为数据集点的边缘似然值；qφ(z|x(i))为潜变量z的近似后验值，pθ(z)为潜变量z的先验分布值；KL为散度计算独立分量X正态分布与标准正态分布KL散度作为L值；D表示方差，E表示均值，L(θ,φ；x(i))为损失函数表达式；公式(3)为该算法的核心公式，表示的是第i次的重构概率，重构概率是平均概率；为新生成的具有一定均值方差样本点与异常样本集的似然概率；L为损失函数；公式(3)是关键值重构概率的生成公式；公式(4)为变分自编码器的关键公式作用是通过后验分布qφ(z|x(i)和似然概率pθ(x|z)求出重构x；DKL为代表了近似后验和先验潜变量z之间的KL散度，该项类似于正则化，迫使后验分布与先验分布趋同；公式(3)中的重构概率正是项的蒙特卡洛估计值。所述步骤2中重构概率判别，包括：利用重构概率蒙特卡洛估计值，实现异常客户判别，实现电价执行稽查工作；具体包括：首先从电网营销系统和稽查监控系统中调取历史数据作为训练数据，该数据包含已核对过的正常用户和异常用户；为了加快训练速度，提高了数据集中故障数据的比例；然后用正常数据和异常数据对算法模型进行训练，训练自动编码器和解码器；训练后，从电网营销系统和稽查系统中导入近期某区域的未核对数据集作为测试数据，将测试数据加载模型，通过重构概率和门槛值找出可能的异常用户，再对异常用户进行现场核对，从而对算法性能进行分析；采用蒙特卡洛梯度下降法生成了重构概率通过该概率与不同异常种类门限阈值概率α进行比较，确定异常用户；采用的是变分自动编码器算法Variationalautoencoderbasedanomalydetectionalgorithm对异常电价执行客户进行判别；基于大数据深度学习的电价稽查执行方法,数据的获取出自Hadoop分布式架构硬件服务器系统，通过营销系统SQL语言提取数据库数据。所述变分自动编码器的流程如下：输入标准数据集X，异常数据集x(i)，及门槛值α；然后，通过使用正常数据集X训练变分编码器并确定有向图概率参数φ，θ；确定图概率参数后，通过异常数据集训练，并由编码器产生潜变量z的第i次均值和方差，循环次数从1到N，N为异常数据样本数；为了确定损失函数L，需要从分布条件为N(μz(i),σz(i))的z潜变量空间中进行采样；解码器通z进行训练，生成重构估计样本并循环训练；循环次数为l从1到L；如果l大于L说明训练已全覆盖，准备由公式(3)生成重构概率，如果重构概率小于α值，则第i的数据x(i)是异常数据，进行系统提示“x(i)异常”；否则是正常本文档来自技高网...

【技术保护点】
1.一种基于大数据深度学习的电价稽查执行方法，其特征是：包括以下步骤：步骤1.用电数据获取并进行简单分类；步骤2.用电数据提取概率特征，为每一个样本构造专属正态分布，然后采样重构，并训练编码器及解码器；步骤3.重构概率判别，利用重构概率蒙特卡洛估计值，实现异常客户判别，实现电价执行稽查工作。

【技术特征摘要】
1.一种基于大数据深度学习的电价稽查执行方法，其特征是：包括以下步骤：步骤1.用电数据获取并进行简单分类；步骤2.用电数据提取概率特征，为每一个样本构造专属正态分布，然后采样重构，并训练编码器及解码器；步骤3.重构概率判别，利用重构概率蒙特卡洛估计值，实现异常客户判别，实现电价执行稽查工作。2.根据权利要求1所述的一种基于大数据深度学习的电价稽查执行方法，其特征是：所述步骤1中用电数据获取并进行简单分类，包括：(1)获取数据：数据取自供电企业市场营销及营销稽查监控业务数据库，数据类型对应数值化包括：异常种类：包含客户基本用电信息，具体包含售电均价波动、特殊电价执行异常、超容量用电、居民大电量、农排大电量、化肥大电量、力率执行异常、变损电量异常、两部制电价执行异常及分时电价执行异常；对应数值从1到N种类；客户用电一般属性：包含客户基本用电信息；具体包含电压、电流、变压器容量、平均功率因数、平均负载率、超容率、总电费、基本电费、峰时电费、平时电费及谷时电费，数值按照归一化处理便于计算；客户用电高级属性：包含用电计算指标及衍生指标；具体包含用电同比、环比、偏差率、峰总比、平总比、谷总比、峰谷比及数值大部分为比值，直接代如矩阵；客户数据属性：包含客户数据是否完整及不完整情况；具体包含用户类别、所属行业、所属位置、抄表号段、售电均价、上月售电均价、上年同期售电均价、售电环比同比及景气指数，数值分类数值化；(2)简单分类：将系统中采集的数据按照正常数据集和异常数据集分类导入算法模型，异常数据集样本数量较少，但足可以对模型进行半监督学习训练；将样本中的文字信息转化为数字信息，并将包含四类数据类型的数据形成正常数据集X、异常数据集x；上式中：M、N、m、n代表的是维度，L代表损失函数。3.根据权利要求1所述的一种基于大数据深度学习的电价稽查执行方法，其特征是：所述步骤2中用电数据提取概率特征，包括：判别模型通过变分自动编码器模型得以实现，变分自动编码器由编码器、解码器及额外损失三部分构成；每一个样本数据经过编码器通过均值和方差分布降维生成隐藏变量z，通过解码器还原样本增维；通过KL散度衡量额外损失L；通过重建概率生成可有效判别电价执行异常客户；具体步骤如下：确定网络的结构，总共具有q+2层，输入层和输出层各占1层，q为隐藏层的层数；导入正常数据集X，确定到模型的超参数，训练有向图模型参数θ、φ；初始化编码器网络，网络的作用将数据集中样本映射到隐藏分布参数中z，接受输入通过非线性激活函数的密集Dense函数连接并发送；然后将输入数据转换成隐藏空间的两个变量，使用密集Dense函数连接隐藏变量z的均值μz(i)和z的logσ2使用σz(i)表示；然后使用异常数据集数据通过神经网络均值μz(i)和方差σz(i)计算模块反向传播训练编码器fθ(z|x(i))；表达式为：μz(i),σz(i)＝fθ(z|x(i))(1)；解码器是将z作为输入量，并将参数输出到数据概率分布中；使用μz(i)和σz(i)，通过定义采样函数从隐藏正态分布中随机采样类似点；每一个异常...

【专利技术属性】
技术研发人员：高曦莹，叶宁，张冶，关艳，蔡颖凯，回茜，宋晓文，杨飞龙，高胜宇，张雯舒，曹世龙，王一哲，姜辉，孙殿家，田浩杰，王浩淼，崔新廷，王英新，宋锦春，
申请(专利权)人：国网辽宁省电力有限公司电力科学研究院，国家电网有限公司，
类型：发明
国别省市：辽宁,21