一种电网数据流未知异常自动化检测方法技术

本发明专利技术涉及通信网络技术领域，具体地说，是一种电网数据流未知异常自动化检测方法，无损采集模块通过tshark网络包截取工具获取电力调度数据网产生的原始报文并按报文类型分别存储，报文数据通过样本扩充模块，判断报文数量是否达到输入AI辨识模块的阈值，对报文数量未达到阈值的报文类型通过时间序列对抗生成网络进行样本扩充，AI辨识与结果输出模块采用无监督聚类算法DBSCAN对电网数据流进行特征模式学习，电力检测人员对输出异常报文的设备进行检修，确定是否需要更新DBSCAN算法参数，最后识别出的异常报文结果，有助于电力检修人员及时发现异常设备和快速发现并归类异常报文，扩充异常数据集。扩充异常数据集。扩充异常数据集。

【技术实现步骤摘要】
一种电网数据流未知异常自动化检测方法


[0001]本专利技术涉及通信网络
，具体地说，是一种电网数据流未知异常自动化检测方法，该方法基于Time
‑
GAN与无监督聚类融合。

技术介绍

[0002]随着电力调度网络智能化发展的规模不断扩大，各类电力调度网络中的设备将产生海量的数据流。不同地级市、县级市中各系统之间的交互也变得愈发频繁，电力调度数据网应运而生。为适应智能电网的需求，智能调度系统应该具备更为全面而准确的数据采集系统，并且能对出现的电力设备异常做到很好地收集与归类，同时要能快速地定位出现故障的电力设备。
[0003]无监督学习是一种在没有标签帮助下学习原始数据中的模式的学习方法，与监督学习在先验知识下人为指定标签规定数据类别不同，无监督学习能够发现数据中蕴含的内在规律或者结构。近些年，国内外学者在应用聚类算法识别电力系统中网络流量的异常方面取得了一些研究成果。有研究者使用Canopy
‑
K
‑
means算法对电力关键业务系统中的流量数据进行聚类，识别出攻击型流量和业务型流量。还有研究者应用了模糊聚类的方法实现对电力系统故障诊断过程中多个专家诊断结果的融合，达到了更快的故障诊断效果。同时还有使用层次聚类、k均值、DBSCAN等方法提高了无线网络入侵检测方法检测率、降低误检率、提高入侵检测系统整体性能的效果。
[0004]DBSCAN是一种有代表性的基于密度的无监督聚类算法。它根据样本空间的密度将样本进行类型聚合，并分离出不属于密度区域的样本点，被广泛地应用于网络流的异常检测中。它的工作原理是：对于每一个样本，该算法都会计算在距它一小段距离ε内有多少个相邻样本，将该区域称为样本的ε邻域。如果一个样本在其ε邻域中至少包含μ个样本，则该实例被视为核心实例，每一个核心实例都被视作属于密度区域。
[0005]近几年GAN作为实现人工智能的典型方法应用，在计算机视觉、图像识别和自然语言处理领域取得了广泛的成功，让人们领略到它在处理复杂问题方面的神奇能力。WGAN是由Arjovsky等人提出的，与经典GAN算法的区别在于其克服了JS度量不连续、梯度在某些地方不可用的缺陷。JinsungYoon等人提出的Time
‑
GAN生成方法，该方法是为生成真实的时间序列专门设计的。该生成方法不仅引入了真实数据以及生成数据的无监督对抗损失，而且引入了原始数据的逐步监督损失作为监督。其次，该方法引入一个嵌入网络来提供特征空间和潜在空间的可逆映射，通过这种方法来降低对抗学习空间的维度。最后，通过联合训练嵌入网络和生成器网络来最小化监督损失，这样，潜在空间不仅有助于提高参数效率，而且有助于生成器学习时间关系。

技术实现思路

[0006]为解决现有电网存在大量未知异常，无法使用需要带标记数据集的有监督学习方法进行检测的问题，同时解决电网故障快速发现及故障设备快速定位的问题。本专利技术提出
了一种基于Time
‑
GAN与无监督聚类融合的电网数据流未知异常自动化检测方法。帮助电力检修人员发现原先没有收集归档的未知异常，扩充了异常数据库(该数据库可用于有监督学习)，同时可快速定位故障设备，便于工作人员及时检修。本专利技术首先利用Time
‑
GAN生成模型对样本数量较少的数据集进行扩充，使其能够尽快地满足DBSCAN异常辨识的数量要求，不会因为过长时间无法收集到足够多的数据而导致异常检测的实时性下降；同时采用DBSCAN算法对电力调度数据流进行异常辨识，对无法聚类到任何一簇的数据进行标记，视为异常样本点，从而实现了电力调度网未知异常检测。
[0007]本专利技术采用的具体技术方案如下：
[0008]一种电网数据流未知异常自动化检测方法，该方法基于Time
‑
GAN与无监督聚类融合，具体包括以下阶段：
[0009](1)无损采集与分类阶段：首先将电力调度数据网产生的数据流通过tshark网络工具进行无损采集并初步处理为报文信息流，并采用无损压缩算法以减轻海量数据对设备的存储需求。同时将报文按类型分类为遥测、遥控、遥信三大类，以提升AI辨识阶段所采用的DBSCAN算法聚类的性能。
[0010](2)稀疏样本扩充阶段：周期性地检测每种类型的报文数量是否到达阈值，对达到阈值的报文数据送入下一阶段进行AI辨识。对于长时间未到达阈值的报文类型，进行归一化等处理，以得到适合Time
‑
GAN生成算法的数据格式，并根据测试得到的最佳生成比例对原始报文样本进行扩充，使其报文数量到达可以送入AI辨识阶段的要求。
[0011](3)AI辨识与结果输出阶段：针对电力调度系统经常出现未知故障的问题，设计了基于DBSCAN聚类算法的异常报文检测方法，以及时发现异常报文，达到快速定位故障设备的目的。首先通过肘点法确定DBSCAN算法的邻域半径参数，通过输入样本的特征个数确定DBSCAN算法的最小样本量参数，再将稀疏样本扩充阶段处理好的数据输入DBSCAN算法，对数据集进行聚类，将无法归为任何一簇的样本视为异常样本，进行标记并输出。
[0012](4)参数更新阶段：对AI辨识阶段标记出的异常报文进行检验，定位到发出该报文的电力设备，以检测其是否出现故障。若出现正确报警，检修人员可进行故障排查。若多次出现误报，将通过肘点法重新确定邻域半径参数，对DBSCAN算法进行调整。
[0013]具体步骤：
[0014]步骤S1、将电力调度数据网产生的数据流通过tshark网络工具进行无损采集并初步处理为报文信息流，并采用无损压缩算法进行压缩，再对处理好的报文根据报文类型进行分类后存储。
[0015]步骤S2、对步骤S1处理后的报文进行周期性地检测，判断每种类型的报文数量是否到达阈值，对达到阈值的报文数据送入下一阶段并进行AI辨识。针对某些类型报文数量较少，无法进行AI异常辨识的问题，对于长时间未到达阈值的报文类型，采用Time
‑
GAN生成对抗网络模型对样本进行扩充，使其报文数量到达可以送入AI辨识阶段的要求。
[0016]步骤S3、首先通过肘点法确定DBSCAN算法的邻域半径参数，通过输入样本的特征个数确定DBSCAN算法的最小样本量参数。再将步骤S2处理好的数据集输入DBSCAN算法，对数据集进行聚类，将无法归为任何一簇的样本视为异常样本，进行标记并输出。
[0017]步骤S4、对步骤S3标记出的异常报文进行检验，定位到发出该报文的电力设备，已检测其是否出现故障。若出现正确报警，检修人员可进行故障排查，对异常进行归档分类，
扩充异常报文数据库。若多次出现误报，将通过肘点法重新确定邻域半径参数，对DBSCAN算法进行调整。
[0018]作为进一步优选的，步骤S2通过Time
‑
GAN进行样本扩充，具体步骤如下：
[0019](1)报文分类阶段：同时将报文按类型分类为遥测、遥控、遥信三大类，经调研，电力调本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电网数据流未知异常自动化检测方法，其特征在于，包括以下步骤：步骤S1、将电力调度数据网产生的数据流通过tshark网络工具进行无损采集并初步处理为报文信息流，并采用无损压缩算法进行压缩，再对处理好的报文根据报文类型进行分类后存储；步骤S2、对步骤S1处理后的报文进行周期性地检测，判断每种类型的报文数量是否到达阈值，对达到阈值的报文数据送入下一阶段并进行AI辨识，针对某些类型报文数量较少，无法进行AI异常辨识的问题，对于长时间未到达阈值的报文类型，采用Time
‑
GAN生成对抗网络模型对样本进行扩充，使其报文数量到达可以送入AI辨识阶段的要求；步骤S3、首先通过肘点法确定DBSCAN算法的邻域半径参数，通过输入样本的特征个数确定DBSCAN算法的最小样本量参数，再将步骤S2处理好的数据集输入DBSCAN算法，对数据集进行聚类，将无法归为任何一簇的样本视为异常样本，进行标记并输出；步骤S4、对步骤S3标记出的异常报文进行检验，定位到发出该报文的电力设备，已检测其是否出现故障，若出现正确报警，检修人员可进行故障排查，对异常进行归档分类，扩充异常报文数据库，若多次出现误报，将通过肘点法重新确定邻域半径参数，对DBSCAN算法进行调整。2.根据权利要求1所述的电网数据流未知异常自动化检测方法，其特征在于，所述步骤S2的Time
‑
GAN样本生成过程包括：报文分类阶段、数据预处理阶段、生成算法选取阶段、调整生成算法参数阶段和算法部署阶段。3.根据权利要求2所述的电网数据流未知异常自动化检测方法，其特征在于，所述报文分类阶段中，将报文按类型分类为遥测、遥控、遥信三大类。4.根据权利要求2所述的电网数据流未知异常自动化检测方法，其特征在于，所述数据预处理阶段中，对捕获的电力异常数据进行预处理并进行特征提取，除去...

【专利技术属性】
技术研发人员：朱晓荣，刘文杰，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：