一种自适应的网络流量异常检测方法技术

本发明专利技术公开了一种自适应的网络流量异常检测方法，属于网络安全领域，解决现有检测方法，自适性差、开销大和时效性差等问题。本发明专利技术包括第一阶段和第二阶段；若为初始学习则执行第一阶段，否则执行第二阶段；第一阶段为初始学习阶段，将最大值学习值作为该网络流量指标的预警阈值触发告警、突跳比例学习值和突跳值学习值作为共同预警阈值触发告警、突跳比例学习值和陡降比例学习值作为共同预警阈值触发告警；第二阶段将更新后的最大值学习值作为该网络流量指标的预警阈值触发告警、突跳比例学习值和突跳值学习值作为共同预警阈值触发告警、突跳比例学习值和陡降比例学习值作为共同预警阈值触发告警。本发明专利技术用于自适应学习对网络流量异常检测。

An Adaptive Network Traffic Anomaly Detection Method

The invention discloses an adaptive network traffic anomaly detection method, which belongs to the field of network security, and solves the problems of poor self-adaptability, high overhead and poor timeliness of existing detection methods. The invention includes the first stage and the second stage; if it is the initial learning, the first stage is the first stage, otherwise the second stage is carried out; the first stage is the initial learning stage, in which the maximum learning value is used as the warning threshold of the network traffic index to trigger the warning, the jump proportional learning value and the jump learning value are used as the common warning threshold to trigger the warning, the jump proportional learning value and the steep drop proportional learning value. In the second stage, the updated maximum learning value is used as the warning threshold of the network traffic index to trigger the warning, the jump proportion learning value and the jump value learning value are used as the common warning threshold to trigger the warning, and the jump proportion learning value and the jump proportion learning value are used as the common warning threshold to trigger the warning. The invention is used for adaptive learning to detect abnormal network traffic.

【技术实现步骤摘要】
一种自适应的网络流量异常检测方法
一种自适应的网络流量异常检测方法，用于自适应学习对网络流量异常检测，属于网络安全领域。
技术介绍
随着Internet的不断发展，网络规模日益扩大，其承载的网络业务逐渐增多。网络安全已成为人们越来越关心的问题。网络流量异常是指对网络正常使用造成不良影响的网络流量模式，网络扫描、DDOS攻击、网络蠕虫病毒、恶意下载、物理链路损坏等都会导致网络流量异常。网络流量异常往往伴随严重后果，如占用网络资源，网络拥塞，造成丢包、延时增加；占用设备系统资源(CPU，内存等)，网络设施面临瘫痪。因此网络异常流量的实时检测及合理响应对于维护网络安全、抑制恶意攻击和合理分配网络带宽具有重要意义。目前常见的网络异常流量的检测方法有以下几种。(1)基于数据挖掘的异常检测。数据挖掘可以有效的从海量网络流量数据中挖掘到潜在有用的信息。数据挖掘需要采集大量、真实有效的网络流量数据，通过抽样选取确定目标数据，对目标数据进行预处理及变换，然后应用数据挖掘中的算法如聚类分析、序列分析等，通过一定的判断规则，对流量数据进行检测。(2)基于小波变换的异常检测。对于非稳定的信号，小波变换通过有限长的会衰减的小波基进行时频域变化，从而得到它的时频谱。小波变换检测流量的步骤通常为：对一个指标的全部采样值进行分析，将其拆分为不同的分量，通过计算不同分量的方差，来按照一定的概率发现指标异常。小波变换对于信号的分解和重构是有效的，分解后的信号在频域上具有专一性，并对信号进行了平滑处理，从而将处理方法从平稳时间序列扩展到了非平稳时间序列。通过分析不同的尺度下逼近信号和细节信号，可以方便的从中检测到异常流量。(3)基于神经网络的异常检测。通过对输入信息的学习，构造输入和输出的关系模型，通过自动学习与更新，可以准确的表达非线性关系。因此当有新的输入进入时，可以良好的预测输出的情况。因此对于下一时间节点预测的错误概率一定程度上可以反过来代表该时间节点的行为异常程度。上述的方法各有优点，都可以满足异常网络流量检测的要求，但是存在如下不足之处：(1)自适性差。以上方法需要对海量的指标样本进行一次性处理，不适用于在线、实时的流量异常检测场景，无法根据动态数据及时调整阈值；上述方法得到的阈值是针对所有的指标样本而言的，针对性较差，无法适用于实时增长且不断变化的数据。(2)开销大。为了保证结果的合理性，以上算法需要对大量数据进行学习，处理算法时间复杂度和空间复杂度均很高，且有较多的冗余数据参与到处理过程中；随着数据的增加，计算的复杂度可能呈指数型增长，极大的制约了流量异常检测的发展。(3)时效性差。上述方法不能迅速对异常流量做出反应，往往需要在批量处理所有数据之后才能发现异常。因此，目前尚未有一种网络流量异常检测方法方案，能够自适应地对实时网络数据进行在线、分阶段处理，以快速发现异常。
技术实现思路
针对上述研究的问题，本专利技术的目的在于提供一种自适应的网络流量异常检测方法，解决现有技术中的检测方法，自适性差、开销大和时效性差等问题。为了达到上述目的，本专利技术采用如下技术方案：一种自适应的网络流量异常检测方法，其特征在于，包括第一阶段和第二阶段；若为初始学习则执行第一阶段，否则执行第二阶段；第一阶段为初始学习阶段，包括如下步骤：S1、基于n个时间周期，获取每个时间周期内一个或多个网络流量指标的采样值，采样值表示该网络流量指标在该时间周期内的数值，某一个网络流量指标在n个时间周期得到n个采样值；S2、基于每个网络流量指标得到的n个采样值，得到最终最大学习值X_MAX_learn，并将X_MAX_learn*3作为该网络流量指标的预警阈值触发告警；S3、基于小于等于最终最大学习值X_MAX_learn的该网络流量指标的所有采样值，得到突跳比例学习值X_INC_RATIO_learn和突跳值学习值X_CHANGE_learn作为共同预警阈值触发告警；S4、针对每个网络流量指标的所有采样值，获得陡降比例学习值X_DEC_RATIO_learn，将突跳值学习值X_CHANGE_learn和陡降比例学习值X_DEC_RATIO_learn作为该网络流量指标的共同预警阈值触发告警；S5、将步骤S2-S4得到的某网络流量指标的结果，对步骤S1获取的对应网络流量指标的n个采样值进行检测，若满足任意一结果，则触发告警，否则不触发告警。第二阶段为持续学习与告警阶段，包括如下步骤：步骤1、基于m个时间周期，再次获取每个时间周期内某网络流量指标的采样值；步骤2、基于新获取的某网络流量指标的m个采样值对上一次得到的最终的最大值学习值X_MAX_learn、突跳值学习值X_CHANGE_learn、突跳比例学习值X_INC_RATIO_learn和陡降比例学习值X_DEC_RATIO_learn进行更新；步骤3、基于更新后的某网络流量指标的结果，再对步骤1中新获取的对应的网络流量指标的n个采样值进行检测，若满足任意一结果，则触发告警，否则不触发告警。进一步，所述步骤S2的具体步骤为：S2.1、基于每个网络流量指标的n个采样值，n个采样值记录序列为(X1，X2，......Xn)；S2.2、对n个采样值从小到大排序，重新记录该网络流量指标的采样值序列为(S1，S2，......Sn)；S2.3、取n的中值，即k＝n/2，若有小数位，去掉小数位取整，在排序后的采样值序列中取采样值Sk作为该网络流量指标的最大学习值X_MAX_learn；S2.4、基于排序后的采样值序列，选择采样值Si判断其是否小于X_MAX_learn*3，其中i＝k+1，k+2，......n，若满足，则令X_MAX_learn＝Si作为最大学习值X_MAX_learn，若该网络流量指标的采样值已检测完，得到最终最大学习值X_MAX_learn，X_MAX_learn*3则作为该网络流量指标的预警阈值，用于采样值超过预警预值触发该网络流量指标告警，否则，再次执行步骤S2.4对该网络流量指标的下一个采样值进行检测。进一步，所述步骤S3的具体步骤为：S3.1、基于小于等于最终最大学习值X_MAX_learn的该网络流量指标的所有采样值，计算每个网络流量指标的采样值的突跳比例和突跳值；突跳比例是指每个网络流量指标的某一采样值与前一时间周期的采样值的升幅比例，计算公式为：((Xi+1)-Xi)/Xi；突跳值指每个网络流量指标的某一采样值与前一时间周期的采样值的差值，计算公式为：(Xi+1)-Xi；S3.2、取每个网络流量指标计算的所有突跳比例中的最大值为突跳比例学习值X_INC_RATIO_learn、所有突跳值中的最大值为突跳值学习值X_CHANGE_learn；S3.3、每个网络流量指标计算的采样值的突跳比例和突跳值分别大于突跳比例学习值X_INC_RATIO_learn和突跳值学习值X_CHANGE_learn，则触发该网络流量指标告警。进一步，所述步骤S4的具体步骤为：S4.1、基于每个网络流量的n个采样值，计算每个网络流量指标的某一采样值与前一时间周期的采样值的陡降比例，计算公式为：(Xi-(Xi+1))/Xi，取所有陡降比例中的最大值为陡降比例学习值X_DEC_RATIO_learn；S4.2本文档来自技高网...

【技术保护点】
1.一种自适应的网络流量异常检测方法，其特征在于，包括第一阶段和第二阶段；若为初始学习则执行第一阶段，否则执行第二阶段；第一阶段为初始学习阶段，包括如下步骤：S1、基于n个时间周期，获取每个时间周期内一个或多个网络流量指标的采样值，采样值表示该网络流量指标在该时间周期内的数值，某一个网络流量指标在n个时间周期得到n个采样值；S2、基于每个网络流量指标得到的n个采样值，得到最终最大学习值X_MAX_learn，并将X_MAX_learn*3作为该网络流量指标的预警阈值触发告警；S3、基于小于等于最终最大学习值X_MAX_1earn的该网络流量指标的所有采样值，得到突跳比例学习值X_INC_RATIO_learn和突跳值学习值X_CHANGE_learn作为共同预警阈值触发告警；S4、针对每个网络流量指标的所有采样值，获得陡降比例学习值X_DEC_RATIO_learn，将突跳值学习值X_CHANGE_learn和陡降比例学习值X_DEC_RATIO_learn作为该网络流量指标的共同预警阈值触发告警；S5、将步骤S2‑S4得到的某网络流量指标的结果，对步骤S1获取的对应网络流量指标的n个采样值进行检测，若满足任意一结果，则触发告警，否则不触发告警。第二阶段为持续学习与告警阶段，包括如下步骤：步骤1、基于m个时间周期，再次获取每个时间周期内某网络流量指标的采样值；步骤2、基于新获取的某网络流量指标的m个采样值对上一次得到的最终的最大值学习值X_MAX_learn、突跳值学习值X_CHANGE_learn、突跳比例学习值X_INC_RATIO_learn和陡降比例学习值X_DEC_RATIO_learn进行更新；步骤3、基于更新后的某网络流量指标的结果，再对步骤1中新获取的对应的网络流量指标的n个采样值进行检测，若满足任意一结果，则触发告警，否则不触发告警。...

【技术特征摘要】
1.一种自适应的网络流量异常检测方法，其特征在于，包括第一阶段和第二阶段；若为初始学习则执行第一阶段，否则执行第二阶段；第一阶段为初始学习阶段，包括如下步骤：S1、基于n个时间周期，获取每个时间周期内一个或多个网络流量指标的采样值，采样值表示该网络流量指标在该时间周期内的数值，某一个网络流量指标在n个时间周期得到n个采样值；S2、基于每个网络流量指标得到的n个采样值，得到最终最大学习值X_MAX_learn，并将X_MAX_learn*3作为该网络流量指标的预警阈值触发告警；S3、基于小于等于最终最大学习值X_MAX_1earn的该网络流量指标的所有采样值，得到突跳比例学习值X_INC_RATIO_learn和突跳值学习值X_CHANGE_learn作为共同预警阈值触发告警；S4、针对每个网络流量指标的所有采样值，获得陡降比例学习值X_DEC_RATIO_learn，将突跳值学习值X_CHANGE_learn和陡降比例学习值X_DEC_RATIO_learn作为该网络流量指标的共同预警阈值触发告警；S5、将步骤S2-S4得到的某网络流量指标的结果，对步骤S1获取的对应网络流量指标的n个采样值进行检测，若满足任意一结果，则触发告警，否则不触发告警。第二阶段为持续学习与告警阶段，包括如下步骤：步骤1、基于m个时间周期，再次获取每个时间周期内某网络流量指标的采样值；步骤2、基于新获取的某网络流量指标的m个采样值对上一次得到的最终的最大值学习值X_MAX_learn、突跳值学习值X_CHANGE_learn、突跳比例学习值X_INC_RATIO_learn和陡降比例学习值X_DEC_RATIO_learn进行更新；步骤3、基于更新后的某网络流量指标的结果，再对步骤1中新获取的对应的网络流量指标的n个采样值进行检测，若满足任意一结果，则触发告警，否则不触发告警。2.根据权利要求1所述的一种自适应的网络流量异常检测方法，其特征在于，所述步骤S2的具体步骤为：S2.1、基于每个网络流量指标的n个采样值，n个采样值记录序列为(X1，X2，......Xn)；S2.2、对n个采样值从小到大排序，重新记录该网络流量指标的采样值序列为(S1，S2，......Sn)；S2.3、取n的中值，即k＝n/2，若有小数位，去掉小数位取整，在排序后的采样值序列中取采样值Sk作为该网络流量指标的最大学习值X_MAX_learn；S2.4、基于排序后的采样值序列，选择采样值Si判断其是否小于X_MAX_learn*3，其中i＝k+1，k+2，......n，若满足，则令X_MAX_learn＝Si作为最大学习值X_MAX_learn，若该网络流量指标的采样值已检测完，得到最终最大学习值X_MAX_learn，X_MAX_learn*3则作为该网络流量指标的预警阈值，用于采样值超过预警预值触发该网络流量指标告警，否则，再次执行步骤S2.4对该网络流量指标的下一个采样值进行检测。3.根据权利要求1或2所述的一种自适应的网络流量异常检测方法，其特征在于，所述步骤S3的具体步骤为：S3.1、基于小于等于最终最大学习值X_MAX_learn的该网络...

【专利技术属性】
技术研发人员：段军红，闫晓斌，张小敏，张华峰，张驯，袁晖，赵博，张小东，赵金雄，杨波，李方军，宋曦，李志茹，党倩，卫祥，尚闻博，魏峰，杨凡，高丽娜，
申请(专利权)人：国网甘肃省电力公司电力科学研究院，国网甘肃省电力公司，国网甘肃省电力公司信息通信公司，
类型：发明
国别省市：甘肃,62