一种基于灰色LOF流量异常检测系统及其检测方法技术方案

本发明专利技术涉及流量异常检测的技术领域，更具体地，涉及一种基于灰色LOF流量异常检测系统及其检测方法。本发明专利技术的基于灰色LOF流量异常检测系统通过信息采集模块采集原始的数据流量包，使用数据清理技术对数据进行预处理，提取并归纳每个流量数据包的高关联字段作为检测数据源；通过灰色区分模块利用灰度理论对信息采集模块提供的数据进行分析和预判，大规模降低数据计算规模，降低LOF算法的时间复杂度，有效提高时效性；通过LOF分析模块计算数据流量包的异常程度，基于密度进行检测，计算每个流量包与附近流量包的分隔程度，无需预先设置流量的具体异常状态，相对传统方法具有很高的灵活性。

A traffic anomaly detection system based on gray LOF and its detection method

The invention relates to the technical field of traffic anomaly detection, and more specifically, relates to a traffic flow anomaly detection system based on Grey LOF and its detection method. Grey LOF traffic anomaly detection system through the information acquisition module collects data flow of original package based on the invention, the data pretreatment using data cleaning technology, extraction and induction high correlation field in each packet as test data source; analyze and predict the grey classification module of information acquisition module based on grey theory the data of mass data to reduce the calculation scale and reduce the time complexity of the LOF algorithm, effectively improve the timeliness; calculate the abnormal degree of packet data traffic through LOF analysis module for density detection based on the calculation of each packet and the packet traffic flow near the separation degree, the specific abnormal state without preset flow, relative to traditional the method has high flexibility.

【技术实现步骤摘要】
一种基于灰色LOF流量异常检测系统及其检测方法
本专利技术涉及流量异常检测的
，更具体地，涉及一种基于灰色LOF流量异常检测系统及其检测方法。
技术介绍
随着智能电网的建设，数据网及其承载的业务系统得到迅猛发展，每天都会有大量的网络流量产生。而混杂在正常流量中的异常流量，对网络造成极大的损害，使网络服务质量急剧下降，严重时甚至造成网络瘫痪。因此，检测异常流量是数据网运行维护工作的重要方面。目前，异常流量检测常利用主成分分析对网络流量矩阵进行了降维，此思路简洁易理解且准确率高，但这种方法一方面网络流量矩阵难以构建、高维协方差矩阵难以求解，另一方面算法的时间复杂度为o(n3)，时间成本太大；另外基于ODSP的网络流量时序分析流程模型被提出，设计多视图协作的可视分析原型系统，可以全面探测网络状况，但对异常的检测大多依赖人工完成；基于熵理论的网络流量分析方法也被提出，利用流量空间上信息单元存在的长相关特性，对熵理论进行改进，但难以解决不同时间段流量分布差异较大的问题，很难同时保证检出率高和误判率低，缺乏自适应性；基于信号分析的方法也有些研究者提出，通过对信号的频谱、能量谱密度等多种特征进行分析从而检测异常，但由于异常流量特征的复杂性和多变性，该方法有较高的漏检率和误检率。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种无需标签、自适应性强、时效性好、且能满足数据网业务流量类型的多样化和异常检测的实时性要求的基于灰色LOF流量异常检测系统及其检测方法。为解决上述技术问题，本专利技术采用的技术方案是：提出一种基于灰色LOF流量异常检测系统，包括信息采集模块、灰色区分模块、LOF分析模块和输出模块：所述信息采集模块用于原始数据的采集和预处理，并将数据传输至灰色区分模块；所述灰色区分模块用于对数据进行分析和预判得到需要计算的灰色区域，并将灰色区域传输至LOF分析模块；所述LOF分析模块用于分析灰色区域中的对象，并将分析结果传输至输出模块；所述输出模块用于将分析结果输出至终端。本专利技术的基于灰色LOF流量异常检测系统，通过信息采集模块采集原始的数据流量包，一般采集到的原始流量数据包共有25个字段，使用数据清理技术对数据进行预处理，提取并归纳每个流量数据包的高关联字段作为检测数据源；通过灰色区分模块利用灰度理论对信息采集模块提供的数据进行分析和预测，把预测的结果和实际数据作对比，将结果偏差在一定范围内的归为正常流量，将结果偏差超出范围的判定为灰色流量，所有的灰色流量构成灰色区域，灰色区域成为LOF分析模块的区域，减小LOF模块的时间复杂度，有效提高时效性；通过LOF分析模块计算数据流量包的异常程度，将异常因子接近1的点归为正常点，将异常因子偏离1的点归为异常点，并将检测到的异常点传输至输出模块；输出模块将检测到的异常流量输出给所需目标终端。本专利技术还提供了一种基于灰色LOF流量异常检测系统的检测方法，包括以下步骤：S1.通过旁路部署在数据网网络节点上的流量采集设备采集原始的数据流量包，使用数据清理技术对数据进行预处理，提取并归纳每个流量数据包的高关联字段，并确定选取PacketsIn、PacketsOut、BytesIn和BytesOut四个字段作为检测数据源；S2.在步骤S1之后，采用维度标准化方式进行预测结果评判，设定原始数据列x(0)＝{x(0)(1),x(0)(2),…,x(0)(n)}，n灰色预测数，根据x(0)数据列建立GM(1,1)模型实现预测功能；将预测出的结果与实际数据对比，将结果的偏差超出对比阈值的流量评判为灰色流量；S3.在步骤S2之后，将一个数据流量包抽象为对象p，LOF分析模块依据KTLAD算法计算对象p的局部可达密度与局部异常因子LOF(p)，并将异常因子LOF(p)接近1的点判定为正常点，对比阈值得出异常点；S4.在步骤S3之后，将异常点输出至终端。优选地，步骤S2中的根据x(0)数据列建立GM(1,1)模型按如下步骤实现预测：a.按公式(1)累加原始数据，弱化随机序列的波动性和随机性，得到新的数据序列x(1)：x(1)＝{x(1)(1),x(1)(2),...,x(1)(n)}(1)其中，x(1)(k)中各数据表示对应前几项数据的累加b.按公式(2)对x(1)(k)建立一阶线性微分方程,即GM(1,1)模型:其中，a、b为待定系数，分别称为发展系数和灰色作用量；a的有效区间是(-2,2)，并记a、b构成的矩阵为灰参数只要求出参数a和b，就能求出x(1)(k)，进而求出x(0)的未来预测值。c.按公式(3)、公式(4)对累加生成数据做均值生成B与常数项向量Yn:Yn＝[x(0)(2),x(0)(3),...x(0)(n)]Τ(4)d.按公式(5)用最小二乘法求解灰参数e.将灰参数代入公式(2)，并按公式(6)对x(1)(k)进行求解，得：f.按公式(7)计算数据数列x(1)的预测值g.按公式(8)计算得到x(0)的预测值h.按公式(9)计算灰色对比值gc：其中Xi为第i个字段的预测值，Yi为第i个字段的实际值，ki为第i个维度的权值，为与下一模块中的距离计算相结合，Xiβ为维度i上从大到小排序位于0.9处的值，Xiα为维度i上从大到小排序位于0.1处的值。由于流量具有自相似性，根据已知数据对数据的趋势进行预测，将之前已有流量数据作为原始数列，把预测出的结果和实际数据作对比，如果结果的偏差在一定范围内我们认为此流量正常，超出范围的判定为灰色流量；所有的灰色流量构成灰色区域，为下一模块分析的区域。灰色流量不一定是异常流量，由绝大多数的异常流量和部分正常流量所构成；可能会存在部分异常流量未被判为灰色流量而使得检测过程的检出率降低；本专利技术通过调整灰色对比值，使得异常流量的检出率接近100％。优选地，步骤S3中KTLAD算法具体包括以下步骤：a.计算各维度方差，找出方差最大的维度d；将各点按在d维度上从小到大排列，中间值点设为分裂点，比中间值小的点设为左儿子，比中间值大的点设为右儿子；建立包含若干以数据流量包为节点的k-d树；b.在步骤a之后，将一个数据流量包抽象为一个对象p,采用标准化处理，针对维度重要性不同采用加权处理，得到距离d(p,q),距离d(p,q)按公式(10)计算：其中ki为第i个维度的权值，Xiα为维度i上从大到小排序位于α处的值，Xiβ为维度i上从大到小排序位于β处的值,α、β满足0.6826≤|α-β|≤0.9544c.在步骤b之后，根据已建的k-d树，查询最近邻居，查询得到第k个最近邻居，即得到k-距离；d.在步骤c之后，按公式(11)计算k-距离邻域：Nk-dis(p)＝{q|d(p,q)≤k-dis(p)}(11)e.在步骤d之后，给定自然数k，按公式(12)计算对象p相对于对象o的可达距离r-disk：r-disk(p,o)＝max{k-dis(o),d(p,o)}(12)f.在步骤e之后，按照公式(13)计算对象p的局部可达密度Irdk-dis；按照公式(14)计算对象p的局部异常因子LOF(p)：根据已建的k-d树，可以容易地查询到最近邻居，而查询第k个最近邻居时可用一个数组来记录一个点是否可以用来更新最近距离，查询得到第k个最近邻居后即可得到k-距离本文档来自技高网...

【技术保护点】
一种基于灰色LOF流量异常检测系统，其特征在于，包括信息采集模块、灰色区分模块、LOF分析模块和输出模块：所述信息采集模块用于原始数据的采集和预处理，并将数据传输至灰色区分模块；所述灰色区分模块用于对数据进行分析和预判得到需要计算的灰色区域，并将灰色区域传输至LOF分析模块；所述LOF分析模块用于分析灰色区域中的对象，并将分析结果传输至输出模块；所述输出模块用于将分析结果输出至终端。

【技术特征摘要】
1.一种基于灰色LOF流量异常检测系统，其特征在于，包括信息采集模块、灰色区分模块、LOF分析模块和输出模块：所述信息采集模块用于原始数据的采集和预处理，并将数据传输至灰色区分模块；所述灰色区分模块用于对数据进行分析和预判得到需要计算的灰色区域，并将灰色区域传输至LOF分析模块；所述LOF分析模块用于分析灰色区域中的对象，并将分析结果传输至输出模块；所述输出模块用于将分析结果输出至终端。2.根据权利要求1所述的基于灰色LOF流量异常检测系统的检测方法，其特征在于，包括以下步骤：S1.通过旁路部署在数据网网络节点上的流量采集设备采集原始的数据流量包，以灰度理论为基础对数据进行预处理，提取并归纳每个流量数据包的高关联字段，并确定选取PacketsIn、PacketsOut、BytesIn和BytesOut四个字段作为检测数据源；S2.在步骤S1之后，采用维度标准化方式进行预测结果评判，设定原始数据列x(0)＝{x(0)(1),x(0)(2),…,x(0)(n)}，n灰色预测数，根据x(0)数据列建立GM(1,1)模型实现预测功能；将预测出的结果与实际数据对比，将结果的偏差超出对比阈值的流量评判为灰色流量；S3.在步骤S2之后，将一个数据流量包抽象为对象p，LOF分析模块依据KTLAD算法计算对象p的局部可达密度与局部异常因子LOF(p)，并将异常因子LOF(p)接近1的点判定为正常点，对比阈值得出异常点；S4.在步骤S3之后，将异常点输出至终端。3.根据权利要求2所述的基于灰色LOF流量异常检测方法，其特征在于，所述步骤S2中的根据x(0)数据列建立GM(1,1)模型按如下步骤实现预测：a.按公式(1)累加原始数据，弱化随机序列的波动性和随机性，得到新的数据序列x(1)：x(1)＝{x(1)(1),x(1)(2),...,x(1)(n)}(1)其中，x(1)(k)中各数据表示对应前几项数据的累加：b.按公式(2)对x(1)(k)建立一阶线性微分方程,即GM(1,1)模型:其中，a、b为待定系数，分别称为发展系数和灰色作用量；a的...

【专利技术属性】
技术研发人员：张众发，陈炽光，王冬生，杨福国，刘东东，赖群，焦力，王广，黄祖迪，
申请(专利权)人：广东电网有限责任公司云浮供电局，
类型：发明
国别省市：广东,44