适用于海量类别不平衡负荷数据的典型用电模式提取方法技术

本发明专利技术公开了适用于海量类别不平衡负荷数据的典型用电模式提取方法，该方法包括(S1)采用Borderline‑SMOTE训练样本类别不平衡处理方法处理负荷数据；(S2)利用MODWT对负荷数据进行分解，获得小波系数和尺度系数，并将其构成频域特征矩阵；(S3)基于深度LSTM网络的负荷分类模型对分解后得到的频域特征矩阵进行建模处理；(S4)基于Spark的负荷分类模型并行化结构。通过上述方案，本发明专利技术达到了通过频域分解、样本过采样处理以及分布式计算等手段提高形态相似曲线的分类精度，提高对存在类别不平衡问题负荷数据的分类精度，提高对海量负荷数据进行典型用电模式提取的计算效率的目的，具有很高的实用价值和推广价值。

【技术实现步骤摘要】
适用于海量类别不平衡负荷数据的典型用电模式提取方法
本专利技术属于用电
，具体地讲，是涉及适用于海量类别不平衡负荷数据的典型用电模式提取方法。
技术介绍
对用户负荷数据进行用电行为模式提取对于改善电力系统运行可靠性、提高电网资产利用效率、提高企业经济效益、节约能源具有重要意义。随着电力物联网技术的发展以及用电信息采集系统的完善，负荷数据呈现海量化、多元化、不平衡等特征。传统的负荷典型用电模式提取方法在面对海量不平衡负荷数据时往往存在学习效率低下和分类精度较低等问题。传统的典型用电模式提取方法按照负荷数据有无类别标签主要分为无监督聚类和有监督分类两种。其中，无监督聚类算法主要包括K-Means、K-Medoids、层次聚类、FCM等[1-2]，这类算法主要以欧氏距离作为曲线相似度的度量指标，通过聚类技术对不同类别的负荷曲线进行划分，但其浪费了部分有标记数据所提供的有用信息，无法学习曲线之间的深层特征。有监督分类算法主要包括支持向量机、人工神经网络等[3-4]，在有先验知识的情况下对数据进行分析，可以更加准确地把握负荷数据的本质特征及规律，其主要步骤包括负荷数据预处理、负荷分类以及典型用电模式提取三部分。负荷数据预处理部分包括删除包含空缺值的用户负荷曲线，并进行数据归一化处理，负荷分类部分是通过支持向量机、人工神经网络等机器学习模型以及循环神经网络等深度学习模型对带有类别标签的负荷数据进行有监督分类学习，典型用电模式提取部分主要通过负荷数据类别质心、形态质心提取等手段。但是，传统的典型用电模式提取方法在面对海量负荷数据时往往由于学习过程中训练样本过大导致效率低下，且由于用户用电行为的随机性和多样性，负荷数据存在严重的类别不平衡问题，某些类别的负荷数量远少于其他类别的负荷数量，模型对少数类样本的分辨能力会受到较大影响。另一方面，尽管深度学习中的深度LSTM网络等模型具有较好的时序数据学习能力，但其无法有效把握负荷数据潜藏的频域特征，从而无法准确地辨别出时域上欧氏距离较为接近而频域上波动特性差异较大的负荷数据信息。
技术介绍
中涉及到的参考文件如下：[1]彭显刚,赖家文,陈奕.基于聚类分析的客户用电模式智能识别方法[J].电力系统保护与控制,2014,42(19):68-73.[2]张丽艳,陈映月,韩正庆.基于改进聚类方式的牵引负荷分类方法研究[J/OL].西南交通大学学报:1-7[2018-12-27].[3]顾丹珍,艾芊,陈陈,沈善德.自适应神经网络在负荷动态建模中的应用[J].中国电机工程学报,2007(16):31-36[4]黎祚,周步祥,林楠.基于模糊聚类与改进BP算法的日负荷特性曲线分类与短期负荷预测[J].电力系统保护与控制,2012,40(03):56-60.
技术实现思路
为了克服现有技术中的上述不足，本专利技术提供适用于海量类别不平衡负荷数据的典型用电模式提取方法，通过频域分解、样本过采样处理以及分布式计算等手段提高形态相似曲线的分类精度，提高对存在类别不平衡问题负荷数据的分类精度，提高对海量负荷数据进行典型用电模式提取的计算效率。为了实现上述目的，本专利技术采用的技术方案如下：适用于海量类别不平衡负荷数据的典型用电模式提取方法，包括如下步骤：(S1)采用基于边界少数类样本合成的过采样技术(Borderline-SyntheticMinorityOversamplingTechnique,Borderline-SMOTE)训练样本类别不平衡处理方法处理负荷数据；(S2)利用极大重叠离散小波变换(Maximaloverlapdiscretewavelettransform,MODWT)对负荷数据进行分解，获得小波系数和尺度系数，并将其构成频域特征矩阵；(S3)基于深度长短期记忆神经网络(LongShort-TermMemory,LSTM)的负荷分类模型对分解后得到的频域特征矩阵进行建模处理；(S4)基于通用并行框架(Spark)的负荷分类模型并行化结构。进一步地，所述步骤(S1)中Borderline-SMOTE训练样本类别不平衡处理方法的具体步骤如下：(S11)在全体训练集T中计算少数类P中的每一个样本点pi(i＝1,...,pnum)的m近邻点集，其中属于多数类的样本点数为m′(0≤m′≤m)；(S12)如果m′＝m，即样本点pi的m近邻全部属于多数类，pi将被视作噪声点而忽略；如果0≤m′≤m/2，pi被视作少数类内点不做处理；如果m/2≤m′≤m，pi将被视作边界点而继续后续处理，得到边界点集E＝{p′1,p′2,...,p′dnum}，0≤dnum≤pnum；(S13)对边界点集E中的每个样本点p′i计算其在少数类P中的k近邻点集，从中随机选择s个k近邻点与p′i进行线性插值，合成新样本syntheticj＝p′i+rj×(p′i-p′j)，其中rj为[0-1]内的随机数，p′j为选取的样本点。进一步地，所述步骤(S3)中进行建模处理的具体步骤如下：(S31)序列输入层(SequenceinputLayer)将矩阵形式的输入数据转换为网络可以训练的时序数据，其参数输入维度(inputsize)是每个输入序列的特征维度；(S32)LSTM层学习时序数据中序列数据与时间步长之间的依赖关系，并提取出固有的抽象特征；全连接层(FullyConnectedLayer)接收从LSTM层提取的抽象特征，通过将输入数据与权重矩阵相乘并加入偏差向量来降低分类输出层的数据复杂度；(S33)归一化指数函数(SoftMax)层对经过FullyConnectedLayer的输入采用SoftMax激活函数，可以将多分类问题的输出数值转化为分类数据属于各个类别的概率；(S34)分类层(ClassificationLayer)从Softmax函数中获取输入，并通过计算交叉熵损失函数得到模型的预测结果和真实值之间的差异，交叉熵损失函数值也是判断网络是否收敛的依据。具体地，所述步骤(S4)中基于Spark的负荷分类模型并行化结构包括如下步骤：(S41)将经过类别不平衡处理的负荷数据训练样本通过Bootstrapping有放回采样获得M个采样训练块XB＝{xB1,xB2,…,xBM}，然后将其余负荷数据作为待分类样本添加到各训练块文件中，并将各文件保存至分布式文件系统HDFS中；(S42)Spark从HDFS读取文件，并启动与负荷数据块个数相同个数的工作节点(Mapper)，各Mapper分别初始化一个基于LSTM网络的训练模型并输入一个由MODWT处理后的采样训练块，然后通过对每个Mapper进行训练，得到多个具有不同性能的基分类器；(S43)将待分类负荷数据输入到训练完成的所有LSTM网络基分类器中，将所有基分类器对同一负荷数据的分类结果进行多数表决投票；(S44)在得到负荷分类结果后，对各个类别的负荷曲线通过质心提取的方式获得其典本文档来自技高网...

【技术保护点】
1.适用于海量类别不平衡负荷数据的典型用电模式提取方法，其特征在于，包括如下步骤：/n(S1)采用Borderline-SMOTE训练样本类别不平衡处理方法处理负荷数据；/n(S2)利用MODWT对负荷数据进行分解，获得小波系数和尺度系数，并将其构成频域特征矩阵；/n(S3)基于深度LSTM网络的负荷分类模型对分解后得到的频域特征矩阵进行建模处理；/n(S4)基于Spark的负荷分类模型并行化结构。/n

【技术特征摘要】
1.适用于海量类别不平衡负荷数据的典型用电模式提取方法，其特征在于，包括如下步骤：
(S1)采用Borderline-SMOTE训练样本类别不平衡处理方法处理负荷数据；
(S2)利用MODWT对负荷数据进行分解，获得小波系数和尺度系数，并将其构成频域特征矩阵；
(S3)基于深度LSTM网络的负荷分类模型对分解后得到的频域特征矩阵进行建模处理；
(S4)基于Spark的负荷分类模型并行化结构。


2.根据权利要求1所述的适用于海量类别不平衡负荷数据的典型用电模式提取方法，其特征在于，所述步骤(S1)中Borderline-SMOTE训练样本类别不平衡处理方法的具体步骤如下：
(S11)在全体训练集T中计算少数类P中的每一个样本点pi(i＝1,...,pnum)的m近邻点集，其中属于多数类的样本点数为m′(0≤m′≤m)；
(S12)如果m′＝m，即样本点pi的m近邻全部属于多数类，pi将被视作噪声点而忽略；如果0≤m′≤m/2，pi被视作少数类内点不做处理；如果m/2≤m′≤m，pi将被视作边界点而继续后续处理，得到边界点集E＝{p′1,p′2,...,p′dnum}，0≤dnum≤pnum；
(S13)对边界点集E中的每个样本点p′i计算其在少数类P中的k近邻点集，从中随机选择s个k近邻点与p′i进行线性插值，合成新样本syntheticj＝p′i+rj×(p′i-p′j)，其中rj为[0-1]内的随机数，p′j为选取的样本点。


3.根据权利要求2所述的适用于海量类别不平衡负荷数据的典型用电模式提取方法，其特征在于，所述步骤(S3)中进行建模处理的具体步骤如下：
(S31)SequenceinputLayer将矩阵形式的输入数据转换为网络可以训练的时序数据，其参数i...

【专利技术属性】
技术研发人员：刘洋，唐子卓，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51