基于双向二维主成分分析的在线网络流量异常检测方法技术

本发明专利技术公开了一种基于双向的二维主成分分析进行在线的网络流量异常检测的方法，其涉及在线网络流量异常检测技术领域，该方法包括三种不同的BPCA方法，包括通过迭代进行计算的BPCA计算方法、近似的BPCA方法、通过增量型(incremental)方法加速的BPCA方法；该方法通过主成分分析方法对异常数据与正常数据的敏感性来进行异常检测，其主要应用于对实时的网络流量数据进行检测，判断采集到的实时数据是否存在异常数据。从而，确定采集到的数据不存在异常，同时也使得网络管理更加便捷，能够提高在线异常检测的准确率和减少计算时间。

Online network traffic anomaly detection method based on bidirectional two dimensional principal component analysis

The invention discloses a method of network traffic analysis online anomaly detection based on bidirectional two-dimensional principal component, which relates to the online network traffic anomaly detection technology, the method includes three different BPCA methods, including through the iterative calculation of the BPCA calculation method, the approximate BPCA method, through incremental (incremental) BPCA method accelerated; the method by principal component analysis method of sensitivity for abnormal data and normal data for anomaly detection, which is mainly applied to the detection of network traffic data in real time, whether the abnormal data exists to judge the collected real-time data. Thus, it can make sure that the collected data has no exception, and it also makes the network management more convenient. It can improve the accuracy of online anomaly detection and reduce the computing time.

【技术实现步骤摘要】
基于双向二维主成分分析的在线网络流量异常检测方法
本专利技术涉及机器学习以及计算机网络领域，特别是涉及处理现代网络产生的大量流量数据、需要进行实时在线检测是否存在异常数据的应用，具体为一种基于双向的二维主成分分析进行在线的网络流量异常检测的方法。
技术介绍
随着计算机和英特网的高速发展，各大运营商或者IT公司需要采集正常的网络流量数据进行数据分析或者网络状况分析。但是网络的数据流量不断加大、网络部署的不断增加，以及日趋多样化和复杂化的计算机环境，造成越来越多的异常的网络流量数据出现。因此，对采集的网络数据进行预处理来剔除异常数据成十分必要。然而，由于网络节点数的增加以及网络数据的增加，使得各种算法的计算代价和存储空间代价同样增长迅速。因此，对网络数据进行又快又准的判断与预处理成为一个迫切解决的问题。主成分分析方法(PCA)是机器学习中对数据进行降维处理的一种算法，它通过向主成分方向投影的方法，利用数据之间的相似性，大数据的冗余性等等特点。对原有数据进行简化，从而将复杂数据降维，揭示隐藏在复杂数据背后的简单结构。由于主成分分析(PCA)算法充分利用了数据本身的空间相关性。因此通过它降维得到的数据往往都具有很高的特性表征作用，也正是因为该方法利用主成分方向来投影，使得一旦新加入的数据一旦存在异常就会影响其主成分方向从而与历史数据的主成分方向形成夹角。这就使得，通过主成分分析方法进行在线异常检测成为可能。然而，主成分分析方法(PCA)自1933年提出以来,被广泛应用到图像处理，信号处理，机器学习等各种学科当中，通过，几十年的发展，人们发现了主成分分析方法的各种不足。比如，传统的主成分分析方法不管数据模型如何，都需要将数据转化为向量类型数据，才能进行降维处理，这种做法无疑破坏了各个数据之间的本身存在的很多特性。另外，传统的主成分分析方法仅仅分析了数据行空间的数据特征，而忽略了数据的列空间的特征，另外主成分分析方法(PCA)将数据向量化，使得数据内部性质与特性遭到破坏，同时将数据向量化后会使得计算代价与内存代价都增加。因此，主成分分析方法(PCA)进行在线异常检测不仅准确率不够高，同时，计算时间代价也无法满足在线检测的代价。针对现在网络的部署状况和采样方法的情况，当网络中存在N个节点时，我们将网络流量数据模型建立为N×N×T的数据模型，如图1.1所示，每个时刻采集的N个节点之间相互的流量数据构成一个N×N的矩阵，前t个时刻的数据为历史数据当第t+1个时刻(新时刻)Xt+1的数据到来的时候,本专利技术通过提出的双向的二维主成分分析方法来进行异常检测。如果存在异常我们将该数据丢弃或者进一步处理，当不存在异常时，我们将该数据存入历史数据集中。
技术实现思路
本专利技术的目的在于提出一种能够提高在线异常检测的准确率和减少计算时间的基于双向的二维主成分分析进行在线的网络流量异常检测的方法。为实现上述目的，本专利技术采取的技术方案具体包括如下步骤：一种基于双向的二维主成分分析进行在线的网络流量异常检测的方法，其包括以下步骤：第一步：先利用BPCA方法对前t个时刻的历史数据进行计算行、列空间的主成分方向Ut、Vt，令Mt＝[Ut,Vt]，并将其存储；第二步：在线采样一个t+1时刻下的数据Xt+1；第三步：通过BPCA方法进行计算t+1时刻到来后的行、列空间向量Ut+1、Vt+1，令Mt+1＝[Ut+1,Vt+1]；第四步：计算第五步：判断CosineValue＞Score？如果为真，则判定t+1时刻采样的数据为正常数据，并将t+1数据存入数据库作为历史数据同时更新Ut＝Ut+1，Vt＝Vt+1；否则判定t+1时刻采样数据存在异常数据，并将其舍弃，其中Score参数为网络数据中心自定义的异常判别评分。作为本专利技术方法技术方案的进一步改进，所述BPCA方法为通过迭代进行计算的BPCA计算方法，其包括以下步骤：第一步：初始化U0＝I其中I为单位向量，i＝0；第二步：判断是否收敛，或者i≥MaxIter,其中MaxIter为自行设置的算法最大迭代次数；第三步：计算并通过CV的奇异值分解，求得Vi，其中第四步：计算并通过CU的奇异值分解，求得Ui；第五步：i＝i+1；第六步：并返回至第二步；第七步：结束。作为本专利技术方法技术方案的进一步改进，所述BPCA方法为近似的BPCA方法，其包括以下步骤：第一步：计算其中并通过Ci的奇异值分解，求得Vi；第二步，计算其中并通过CU的奇异值分解，求得Ui；第三步：结束。作为本专利技术方法技术方案的进一步改进，所述BPCA方法为通过增量型(incremental)方法加速的BPCA方法，其包括以下步骤：第一步：输入新采样数据矩阵Xt+1，历史采样数据均值矩阵以及历史数据在列空间与行空间上的特征向量以及奇异值矩阵第二步：计算第三步：计算QR分解：其中Qu、Ru,Qv、Rv为分别针对矩阵进行QR分解得到的两个矩阵；第四步：计算SVD分解(SingularValueDecomposition)：其中为分别针对矩阵进行奇异值分解所得到的三个矩阵。第五步：更新双向主成分方向：与现有技术相比，本专利技术具有以下有益效果：本专利技术提出了一种基于双向的二维主成分分析进行在线的网络流量异常检测的方法，该方法包括通过迭代进行计算的BPCA计算方法、近似的BPCA方法、通过增量型(incremental)方法加速的BPCA方法等三种不同的BPCA方法，通过主成分分析方法对异常数据与正常数据的敏感性来进行异常检测，其主要应用于对实时的网络流量数据进行检测，判断采集到的实时数据是否存在异常数据，从而，确定采集到的数据不存在异常，同时也使得网络管理更加便捷。附图说明图1.1现有技术网络流量在线采集模型说明图；图1.2主成分分析方法(PCA)示意图；图1.3双向主成分分析方法(BPCA)示意图；图1.4双向主成分分析方法(BPCA)处理采样数据的空间示意图；图1.5双向主成分分析方法(BPCA)处理正常采样数据与异常采样数据的空间的差别示意图；图2为本专利技术给定一个历史网络流量数据集χ＝{X1,…Xt}具体模型图；图2.1为本专利技术七种不同算法针对Abliene数据集在不同均值的高斯分布结构化异常攻击下的检测的查准率与误判率的对比图；图2.2为本专利技术七种不同算法针对Geant数据集在不同均值的结构化异常攻击下的检测的查准率与误判率的对比图；图2.3为本专利技术七种不同算法针对Abliene数据集在不同标准差的结构化异常攻击下的检测的查准率与误判率的对比图；图2.4为本专利技术七种不同算法针对Geant数据集在不同标准差的结构化异常攻击下的检测的查准率与误判率的对比图；图2.5为本专利技术七种不同算法针对Abliene数据集在不同均值的在随机异常攻击下的检测的查准率与误判率的对比图；图2.6为本专利技术七种不同算法对Geant数据集在不同均值的在随机异常攻击下的检测的查准率与误判率的对比图；图2.7为本专利技术七种不同算法对Abliene数据集在不同标准差的在随机异常攻击下的检测的查准率与误判率的对比图；图2.8为本专利技术七种不同算法对Geant数据集在不同标准差的在随机异常攻击下的检测的查准率与误判率的对比图；图3.1为本专利技术不同加倍数r对两种不同数据集的查准率的影响的对比本文档来自技高网...

【技术保护点】
一种基于双向的二维主成分分析进行在线的网络流量异常检测的方法，其特征在于，其包括以下步骤：第一步：先利用BPCA方法对前t个时刻的历史数据

【技术特征摘要】
1.一种基于双向的二维主成分分析进行在线的网络流量异常检测的方法，其特征在于，其包括以下步骤：第一步：先利用BPCA方法对前t个时刻的历史数据进行计算行、列空间的主成分方向Ut、Vt，令Mt＝[Ut,Vt]，并将其存储；第二步：在线采样一个t+1时刻下的数据Xt+1；第三步：通过BPCA方法进行计算t+1时刻到来后的行、列空间向量Ut+1、Vt+1，令Mt+1＝[Ut+1,Vt+1]；第四步：计算第五步：判断CosineValue＞Score？如果为真，则判定t+1时刻采样的数据为正常数据，并将t+1数据存入数据库作为历史数据同时更新Ut＝Ut+1，Vt＝Vt+1；否则判定t+1时刻采样数据存在异常数据，并将其舍弃，其中Score参数为网络数据中心自定义的异常判别评分。2.根据权利要求1所述的一种基于双向的二维主成分分析进行在线的网络流量异常检测的方法，其特征在于，所述BPCA方法为通过迭代进行计算的BPCA计算方法，其包括以下步骤：第一步：初始化U0＝I其中I为单位向量，i＝0；第二步：判断是否收敛，或者i≥MaxIter,其中MaxIter为自行设置的算法最大迭代次数；第三步：计算并通过CV的奇异值分解，求得Vi，其中第四步：计算并通过CU的奇异值分解，求得Ui；第五步：i＝i+1；第六步：并返回至第二步；第七步：结束。3.根据权利要求1所述的一种基...

【专利技术属性】
技术研发人员：李晓灿，文吉刚，曾彬，
申请(专利权)人：湖南友道信息技术有限公司，
类型：发明
国别省市：湖南,43