一种面向不均衡电力数据的蒸馏集成模式感知算法及系统技术方案

本发明专利技术涉及一种面向不均衡电力数据的蒸馏集成模式感知算法，包括如下步骤：S1：采用基于DGS的过采样技术，对存在态势分布不均衡的电力数据进行态势空间重构处理；S2：采用模型压缩技术，并结合LN机制和Attention机制，构建基于CLSTM神经网络的电力数据深度学习模式感知模型；S3：提出蒸馏式集成学习策略并进行优化，解决基学习机集群的冗余问题。本发明专利技术具有算法效能稳定、效率高、规模小的特点，同时能够解决基学习机集群的冗余问题。解决基学习机集群的冗余问题。解决基学习机集群的冗余问题。

【技术实现步骤摘要】
一种面向不均衡电力数据的蒸馏集成模式感知算法及系统


[0001]本专利技术属于电力数据挖掘
，具体涉及一种面向不均衡电力数据的蒸馏集成模式感知算法及系统。

技术介绍

[0002]随着智能电网和能源互联网发展的飞速发展，人工智能等现代信息技术与传统电网技术的融合进程也日趋加快，成为辅助电网管理人员快速感知电力系统多源数据内在规律、实施精准控制和决策的高效手段。当前以集成学习、深度学习为代表的前沿人工智能技术在电力系统安全与控制，设备运维与故障诊断以及负荷管理等方面展现出良好的应用价值，对提高电网运行可靠性、优化用户用能服务及推动我国能源转型具有技术支撑作用。长期以来，集成学习因良好的算法稳定性、准确性和鲁棒性被广泛应用到计算机视觉、生物、医学及工程等多个领域。电力数据广泛分布于电力系统“发输变配用”每个环节，采集实时性强，价值密度高。近年来，利用集成学习挖掘电力数据内在规律已在电网暂态稳定评估、变压器故障诊断、负荷预测、非侵入式负荷检测等领域展现出极高的利用价值。
[0003]不断提升集成学习性能是应对复杂多元数据处理任务的根本要求，对深入挖掘电力数据价值、支持电力信息化建设具有重要意义。然而，受基学习机差异性和准确度的制约，使得集成学习的性能提升也会受到限制。集成学习通过训练生成多个基学习机并以多数投票方式融合各个基学习机学习结果来提高算法精度。研究表明，基学习机训练集群中通常会存在性能冗余的个体，其学习能力与其它基分类器重合，致使基学习机集群内部差异性特质不足。当前，构建优质的差异化基学习机的典型方法包括异质基学习机集成、随机子空间集成以及Bagging和Boosting集成等，其中异质基学习机集成由于算法复杂度较高因此应用场景受限，随机子空间集成存在特征子空间冗余的问题，而Bagging和Boosting集成对生成差异化基学习机理论的研究尚不成熟。
[0004]传统集成学习利用弱学习器构建基学习机集群，其突出特点是训练速度较快，但准确度方面表现较差。集成以深度学习为代表的强学习机在算法准确度方面性能突出，然而随着数据挖掘应用对算法学习容量的要求不断提升，深度学习的算法效率、算法复杂度成为制约其数据和算法效能协同的关键因素。
[0005]态势分布不均衡天然存在于电网暂态稳定、变压器故障及电力负荷等数据中，该问题映射到分类模型层面会严重削弱模型对小类样本的识别能力，因此在电力数据模式感知等研究中引起广泛的关注。以SMOTE过采样算法为代表的态势空间重构方法，能避免将态势空间重构过程与模式辨识过程耦合，应用更为广泛，然而，传统SMOTE方法忽略了样本集的分布特性，重构后的态势空间容易失真，在高比例不均衡场景中算法难以保持稳定的采样效果，甚至干扰多数类样本的分类过程。通过学习电力数据态势分布规律，以生成对抗网络为代表的智能式生成模型能获取拟真度高的人工样本，但算法复杂度较高，计算开销成本大，难以满足实际应用需求。

技术实现思路

[0006]本专利技术的目的是为了克服现有技术的不足，而提供一种面向不均衡电力数据的蒸馏集成模式感知算法及系统，能够解决基学习机集群的冗余问题，具有算法效能稳定、准确度以及效率高、规模小的特点。
[0007]本专利技术采用的技术方案为：一种面向不均衡电力数据的蒸馏集成模式感知算法，包括如下步骤：
[0008]S1：采用基于DGS的过采样技术，对存在态势分布不均衡的电力数据进行态势空间重构处理；
[0009]S2：采用模型压缩技术，并结合LN机制和Attention机制，构建基于CLSTM神经网络的电力数据深度学习模式感知模型；
[0010]S3：提出蒸馏式集成学习策略并进行优化，解决基学习机集群的冗余问题。
[0011]具体的，所述步骤S1具体包括如下步骤：
[0012]S11：判别少数类日负荷序列样本，设日负荷序列样本集为D，按负荷模式类别差异划分为M类样本子集{D
m
|m＝1,
…
,M}，若样本子集D
m
的样本数量小于最大样本子集数量的1/5，则判定该类负荷样本子集为少数类，对其进行样本合成，得到少数类样本集D
m
；
[0013]S12：对少数类样本集D
m
实施DBSCAN聚类，得到若干聚类簇{D
m,c
|c＝1,
…
,C}，并记录各聚类簇的聚类中心样本
[0014]S13：记录DBSCAN聚类后每个聚类簇D
m,c
的密度直接可达图G(D
m,c
,ρ,κ)；
[0015]S14：计算各聚类簇的样本数目分布比例，按比例在各聚类簇中合成新样本；
[0016]S15：搜索采样路径，每次合成新样本时在聚类簇D
m,c
随机选定一个真实样本x
r
，在G(D
m,c
,ρ,κ)中采用Dijkstra算法搜索x
r
到聚类中心的最短加权图路径，其中其中和表示x
r
到聚类中心最短加权图路径经过的样本点，表示直接密度可达，将作为本次的采样路径；
[0017]S16：进行新样本合成，在中随机选择一段直接密度可达边作为本次的采样区间，在采样区间内设定插值距离另其服从均匀分布：
[0018][0019]随机生成插值坐标θ：
[0020][0021]为增强合成样本的多样性，对θ添加一随机扰动向量o，o的每一维度均服从如下正态分布：
[0022][0023]式中σ表示相对标准差，
[0024]最后生成本次的新样本，表示如下：
[0025][0026]S17：重复步骤S15
‑
S16，直到少数类样本总数目达到最大样本子集数目的1/5。
[0027]具体的，所述步骤S2具体包括如下步骤：
[0028]S21：对LSTM单元进行改进，改进后的LSTM单元通过对网络参数降维投影来缩减模型参数规模；
[0029]S22：利用LN层对神经网络层参数进行归一化处理；
[0030]S23：Attention层的输入为LSTM网络层所有时间步的输出列向量根据对队列任务的贡献程度分配注意力权值参数。
[0031]具体的，在步骤S3中，所述蒸馏式集成学习策略，通过最小正则化经验风险函数来确定基学习机在分类决策中的权重系数ω，其基本目标函数由经验风险项和正则项构成，表示如下：
[0032]Γ(ω)＝λL(ω)+P(ω)
[0033]其中，L(ω)表示经验风险项，P(ω)表示正则项，λ为超参数。
[0034]具体的，所述经验风险项的构建过程如下：
[0035]令ω＝[ω1,
…
,ω
n
]T
，表示基学习机集群{h1,
…
h
n
}的权重系数，则集成基学习机决策模型对样本x
i
的分类结果表示如下：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向不均衡电力数据的蒸馏集成模式感知算法，其特征在于，包括如下步骤：S1：采用基于DGS的过采样技术，对存在态势分布不均衡的电力数据进行态势空间重构处理；S2：采用模型压缩技术，并结合LN机制和Attention机制，构建基于CLSTM神经网络的电力数据深度学习模式感知模型；S3：提出蒸馏式集成学习策略并进行优化，解决基学习机集群的冗余问题。2.根据权利要求1所述的一种面向不均衡电力数据的蒸馏集成模式感知算法，其特征在于，所述步骤S1具体包括如下步骤：S11：判别少数类日负荷序列样本，设日负荷序列样本集为D，按负荷模式类别差异划分为M类样本子集{D
m
|m＝1,
…
,M}，若样本子集D
m
的样本数量小于最大样本子集数量的1/5，则判定该类负荷样本子集为少数类，对其进行样本合成，得到少数类样本集D
m
；S12：对少数类样本集D
m
实施DBSCAN聚类，得到若干聚类簇{D
m,c
|c＝1,
…
,C}，并记录各聚类簇的聚类中心样本S13：记录DBSCAN聚类后每个聚类簇D
m,c
的密度直接可达图G(D
m,c
,ρ,κ)；S14：计算各聚类簇的样本数目分布比例，按比例在各聚类簇中合成新样本；S15：搜索采样路径，每次合成新样本时在聚类簇D
m,c
随机选定一个真实样本x
r
，在G(D
m,c
,ρ,κ)中采用Dijkstra算法搜索x
r
到聚类中心的最短加权图路径，其中其中和表示x
r
到聚类中心最短加权图路径经过的样本点，表示直接密度可达，将作为本次的采样路径；S16：进行新样本合成，在中随机选择一段直接密度可达边作为本次的采样区间，在采样区间内设定插值距离另其服从均匀分布：随机生成插值坐标θ：为增强合成样本的多样性，对θ添加一随机扰动向量o，o的每一维度均服从如下正态分布：式中σ表示相对标准差，最后生成本次的新样本，表示如下：S17：重复步骤S15
‑
S16，直到少数类样本总数目达到最大样本子集数目的1/5。3.根据权利要求1所述的一种面向不均衡电力数据的蒸馏集成模式感知算法，其特征
在于，所述步骤S2具体包括如下步骤：S21：对LSTM单元进行改进，改进后的LSTM单元通过对网络参数降维投影来缩减模型参数规模；S22：利用LN层对神经网络层参数进行归一化处理；S23：Attention层的输入为LSTM网络层所有时间步的输出列向量根据对队列任务的贡献程度分配注意力权值参数。4.根据权利要求1所述的一种面向不均衡电力数据的蒸馏集成模式感知算法，其特征在于：在步骤S3中，所述蒸馏式集成学习策略，通过最小正则化经验风险函数来确定基学习机在分类决策中的权重系数ω，其基本目标函数由经验风险项和正则项构成，表示如下：Γ(ω)＝λL(ω)+P(ω)其中，L(ω)表示经验风险项，P(ω)表示正则项，λ为超参数。5.根据权利要求4所述的一种面向不均衡电力数据的蒸馏集成模式感知算法，其特征在于，所述经验风险项的构建过程如下：令ω＝[ω1,
…
,ω
n
]
T
，表示基学习机集群{h1,
…
h<...

【专利技术属性】
技术研发人员：韩丁，白宏坤，王世谦，王圆圆，李秋燕，宋大为，卜飞飞，华远鹏，王涵，贾一博，刘洋，
申请(专利权)人：四川大学国家电网有限公司，
类型：发明
国别省市：