一种适用于源网荷互动工控系统的网络流量异常检测方法技术方案

本发明专利技术公开了一种适用于源网荷互动工控系统的网络流量异常检测方法，采用两层分类机制，即先通过OCSVM模型进行第一次分类，该分类器可以检测出绝大部分的正常流量，通过调整模型尽可能的检测出异常流量，然后将OCSVM判定为异常的数据(可能包括部分正常流量)通过GBDT算法进行第二次分类，第二次分类用于检测出第一次分类中误检的正常流量，并将这部分流量加入样本重新训练，提高检测的准确度。本发明专利技术在保证流量检测准确率的情况下，同时有着较快的检测效率，满足源网荷互动的工控系统的流量检测需求。

A Network Traffic Anomaly Detection Method for Source-Network-Load Interactive Industrial Control System

The invention discloses a network traffic anomaly detection method suitable for the source-network-load interactive industrial control system, which adopts two-layer classification mechanism, i.e. first classifying through the OCSVM model for the first time. The classifier can detect most of the normal traffic, detect the abnormal traffic as far as possible by adjusting the model, and then determine the OCSVM as abnormal data (possibly including part of the normal flow). Quantity) The second classification is carried out by GBDT algorithm. The second classification is used to detect the normal flow of false detection in the first classification, and the second classification is added to the sample to retrain, so as to improve the accuracy of detection. Under the condition of guaranteeing the accuracy of flow detection, the invention has a relatively fast detection efficiency and meets the flow detection requirements of the industrial control system with the interaction of source network and load.

【技术实现步骤摘要】
一种适用于源网荷互动工控系统的网络流量异常检测方法
本专利技术属于无线通信
，特别涉及一种适用于源网荷互动工控系统的网络流量异常检测方法。
技术介绍
随着全球能源互联网建设、特高压电网及分布式能源快速发展，电动汽车、可控用户等带“源”“荷”双重特征的新型负荷不断涌现，电网潮流时空分布特性日趋复杂，实现电网与电源、用户之间互动及协同控制的重要性和迫切性持续提升。在源网荷互动背景下，工控系统广泛分布在供电公司、电厂、变电站并持续向新能源发电侧、用户侧进行延伸，安全管控存在层级多、种类多、监视控制信息交互频繁等特点，各类运行信息和控制指令在采集、传输、执行过程中存在着被窃听、篡改、中断等风险，大量分散分布的新能源发电设备、用户设备接入增加了系统安全防范的难度。如何对源网荷系统的网络流量进行实时监测并及时发现网络的异常，对系统的稳定和安全具有重要的意义。目前，异常流量的检测方法主要是：通过训练带有标记的流量数据得到区分正常流量数据和异常流量数据的分类器，利用该分类器进行异常流量检测。上述方法使用特定的历史流量数据进行训练，一旦历史数据过期，对实时网络的判断会出现巨大的误差。在实际应用中，检测准确率较低。同时，检测的准确率和检测的效率难以兼顾，不能直接用于源网荷互动的工控系统的网络流量异常检测。
技术实现思路
专利技术目的：针对现有技术中存在的问题，本专利技术提供一种采用自学习的双层检测模型，通过自学习，使检测模型可以进行自我更新，适应环境的变化，提高检测准确率和检测效率的适用于源网荷互动工控系统的网络流量异常检测方法。技术方案：为解决上述技术问题，本专利技术提供适用于源网荷互动工控系统的网络流量异常检测方法，包括如下步骤：(1)通过数据采集模块实时采集源网荷互动工控系统中的流量数据，对其中的数据特征进行统计，并将流量的特征数据输入数据处理模块进行处理；(2)数据处理模块处理离线样本数据或在线测试数据，并将处理后的数据应用于第一分类模块；(3)将训练处理后的样本数据1和步骤(6)中得到的自学习模块中的流量数据组成新的样本数据，并进入数据预处理模块对数据进行预处理，最后将数据预处理模块处理后的数据应用于第一训练模块；(4)将步骤(2)中处理后的数据作为输入，并通过步骤(3)中得到的第一训练模块对数据进行训练，训练后的数据进入第一分类模块，通过第一分类模块检测流量是否正常，如果正常则输出流量正常，如果流量不正常则进入步骤(6)；(5)将训练处理后的样本数据2进入数据处理模块对数据进行处理，最后将数据处理模块处理后的数据应用于第二训练模块；(6)将第二训练模块中的数据进行训练，训练后的数据以及步骤(4)中得到的非正常的流量数据进入第二分类模块，通过第二分类模块检测流量是否正常，如果正常则将数据加入自学习模块并进入步骤(3)，如果流量不正常则输出流量异常并报警。进一步的，所述步骤(3)中数据预处理模块处理后的数据应用于第一训练模块需要进行降维处理，的具体步骤如下：(3.1)对原始d维样本数据集依据公式去中心化处理，其中样本数据为：{(X(1)，y(1))，(X(2)，y(2))，…，(X(n)，y(n))}；(3.2)构造样本的协方差矩阵；其中协方差公式为(3.3)计算协方差矩阵的特征值和相应的特征向量；协方差矩阵的特征向量代表主成分，对应特征值大小决定特征向量的重要性；(3.4)选取前k个特征值对应的k个特征向量；(3.5)通过上述k个特征向量构建映射矩阵W；(3.6)通过映射矩阵W将d维数据降维到k维向量Z：Z(i)＝UTX(i)。进一步的，所述步骤(4)中通过第一分类模块检测流量是否正常的具体步骤如下：(4.1)选取可调参数v和核函数(4.2)通过样本数据进行训练：求解选取任意满足的α*，计算其中满足的α*即为支持向量；(4.3)得到决策函数f(x)：整合决策函数如果f(x)＞0，则证明数据为正常数据，f(x)＜0，则证明数据为异常数据，其中Nsv为支持向量的个数。进一步的，所述步骤(6)中通过第二分类模块检测流量是否正常的具体步骤如下：(6.1)开始生成GBDT分类器(6.2)初始化损失函数损失函数L(y，F)＝log(1+e-2yF)，y∈{-1，1}(6.3)初始化分类模型，由上述损失函数，有(6.4)计算损失函数的负梯度在当前模型的值，将它作为残差的估计；(6.5)在残差上构建CART树，最终将每一个训练样本划分到对应的叶子节点，此时叶子节点的预测值为：更新Fm(x)＝Fm-1(x)+γjm，得到更强的分类模型；(6.6)判断是否满足结束条件；即梯度达到最小值或者迭代次数达到设定值；(6.7)生成GBDT分类模型F(x)；设定阈值θ，当F(x)＜θ时，流量为正常流量，当F(x)＞θ时，流量为异常流量。进一步的，所述步骤(6.5)中构建CART树的具体步骤如下：(6.5.1)开始生成CART树；(6.5.2)选择一个特征，按该特征值将所有样本分为左右两个子树；(6.5.3)分别计算左右两个子树的方差；设为左子树的中节点标签的均值，为右子树中节点标签的均值；则方差的计算方法为(6.5.4)选择满足左右子树方差之和最小的特征点进行一次划分；(6.5.5)根据以上办法依次往下划分；(6.5.6)判断是否满足结束条件；如果满足结束条件，则输出生成的CART树并结束，如果不满足结束条件则返回步骤(6.5.4)。进一步的，所述步骤(6.5.6)中的结束条件为：节点是纯结点，即所有的记录的目标变量值相同；树的深度达到了预先指定的最大值；混杂度的最大下降值小于一个预先指定的值；节点的记录量小于预先指定的最小节点记录量；一个节点中的所有记录其预测变量值相同。进一步的，所述步骤(3)中自学习模块自学习的具体步骤如下：(3.1)初始化自学习模块，设定样本的容量大小和训练触发的条件。触发条件可以设定为特定的时间或者特定的状态，如定时触发；(3.2)监测是否有误检流量；(3.3)如果有误检流量，和原始训练样本组成新的训练样本。如果训练样本没有达到设定的样本容量大小，则直接加入训练样本。否则，替换最早的训练样本；(3.4)判断是否满足触发条件。如果未满足训练触发条件，则返回步骤(3.2)；(3.5)满足触发条件，则重新训练分类模型。与现有技术相比，本专利技术的优点在于：本专利技术采用两层分类机制，即先通过OCSVM模型进行第一次分类，该分类器可以检测出绝大部分的正常流量，通过调整模型尽可能的检测出异常流量，然后将OCSVM判定为异常的数据(可能包括部分正常流量)通过GBDT算法进行第二次分类，第二次分类用于检测出第一次分类中误检的正常流量，并将这部分流量加入样本重新训练，提高检测的准确度。该方法在保证流量检测准确率的情况下，同时有着较快的检测效率，满足源网荷互动的工控系统的流量检测需求。本专利技术可用于源网荷互动的工控系统以及其他工控系统的网络流量的异常检测。附图说明图1为本专利技术的整体流程图；图2为图1中将数据预处理模块处理后的数据应用于第一训练模块的流程图；图3为图1中通过第一分类模块检测流量是否正常的流程图；图4为图1中通过第二分类模块检测流量是否正常的流程图；图5为图4中构建CART树的流程图；图6为图1中的自学习流程图。具体实施方式下面结本文档来自技高网...

【技术保护点】
1.一种适用于源网荷互动工控系统的网络流量异常检测方法，其特征在于，包括如下步骤：(1)通过数据采集模块实时采集源网荷互动工控系统中的流量数据，对其中的数据特征进行统计，并将流量的特征数据输入数据处理模块进行处理；(2)数据处理模块处理离线样本数据或在线测试数据，并将处理后的数据应用于第一分类模块；(3)将训练处理后的样本数据1和步骤(6)中得到的自学习模块中的流量数据组成新的样本数据，并进入数据预处理模块对数据进行预处理，最后将数据预处理模块处理后的数据应用于第一训练模块；(4)将步骤(2)中处理后的数据作为输入，并通过步骤(3)中得到的第一训练模块对数据进行训练，训练后的数据进入第一分类模块，通过第一分类模块检测流量是否正常，如果正常则输出流量正常，如果流量不正常则进入步骤(6)；(5)将训练处理后的样本数据2进入数据处理模块对数据进行处理，最后将数据处理模块处理后的数据应用于第二训练模块；(6)将第二训练模块中的数据进行训练，训练后的数据以及步骤(4)中得到的非正常的流量数据进入第二分类模块，通过第二分类模块检测流量是否正常，如果正常则将数据加入自学习模块并进入步骤(3)，如果流量不正常则输出流量异常并报警。...

【技术特征摘要】
1.一种适用于源网荷互动工控系统的网络流量异常检测方法，其特征在于，包括如下步骤：(1)通过数据采集模块实时采集源网荷互动工控系统中的流量数据，对其中的数据特征进行统计，并将流量的特征数据输入数据处理模块进行处理；(2)数据处理模块处理离线样本数据或在线测试数据，并将处理后的数据应用于第一分类模块；(3)将训练处理后的样本数据1和步骤(6)中得到的自学习模块中的流量数据组成新的样本数据，并进入数据预处理模块对数据进行预处理，最后将数据预处理模块处理后的数据应用于第一训练模块；(4)将步骤(2)中处理后的数据作为输入，并通过步骤(3)中得到的第一训练模块对数据进行训练，训练后的数据进入第一分类模块，通过第一分类模块检测流量是否正常，如果正常则输出流量正常，如果流量不正常则进入步骤(6)；(5)将训练处理后的样本数据2进入数据处理模块对数据进行处理，最后将数据处理模块处理后的数据应用于第二训练模块；(6)将第二训练模块中的数据进行训练，训练后的数据以及步骤(4)中得到的非正常的流量数据进入第二分类模块，通过第二分类模块检测流量是否正常，如果正常则将数据加入自学习模块并进入步骤(3)，如果流量不正常则输出流量异常并报警。2.根据权利要求1所述的一种适用于源网荷互动工控系统的网络流量异常检测方法，其特征在于，所述步骤(3)中数据预处理模块处理后的数据应用于第一训练模块需要进行降维处理，的具体步骤如下：(3.1)对原始d维样本数据集依据公式去中心化处理，其中样本数据为：{(X(1)，y(1)),(X(2)，y(2)),…,(X(n)，y(n))}；(3.2)构造样本的协方差矩阵；其中协方差公式为(3.3)计算协方差矩阵的特征值和相应的特征向量；协方差矩阵的特征向量代表主成分，对应特征值大小决定特征向量的重要性；(3.4)选取前k个特征值对应的k个特征向量；(3.5)通过上述k个特征向量构建映射矩阵W；(3.6)通过映射矩阵W将d维数据降维到k维向量Z：Z(i)＝UTX(i)。3.根据权利要求1所述的一种适用于源网荷互动工控系统的网络流量异常检测方法，其特征在于，所述步骤(4)中通过第一分类模块检测流量是否正常的具体步骤如下：(4.1)选取可调参数v和核函数(4.2)通过样本数据进行训练：求解选取任意满足的α*，计算其中满足的α*即为支持向量；(4.3)得到决策函数f(x)：整合决策函数如果f(x)>0，则证明数据为正常数据，f(x)<0，则证明数据为异常数据，其中Nsv为支持向量的个数。4.根据权利要求1所述的一种适用于源网荷...

【专利技术属性】
技术研发人员：吴克河，张晓良，何辉，张明，朱红勤，余刚刚，吴屹浩，杨东锴，
申请(专利权)人：华北电力大学，国网江苏省电力有限公司，国网江苏省电力有限公司南京供电分公司，
类型：发明
国别省市：北京,11