一种基于循环预测和学习的网络流量异常检测方法技术

本发明专利技术公开了一种基于循环预测和学习的网络流量异常检测方法，属于网络安全领域，解决现有技术中会提高算法的复杂度和预测误报率的问题。本发明专利技术基于第一个连续时间段，采集各时间周期内特征指标的采样值，对时间序列进行平滑修正；根据第一个连续时间段和平滑修正后的采样值，通过预测算法，获得第二个连续时间段内特征指标的预测值；基于预测值和采集的第二个连续时间段内特征指标的采样值计算每个时间周期内指标的预测偏差率，根据所有预测偏差率得到的预测偏差率正负极值；根据待判断的连续时间周期内特征指标的预测偏差率和预测偏差率正负极值进行异常判断。本发明专利技术用于对网络流量异常的检测。

A Network Traffic Anomaly Detection Method Based on Cycle Prediction and Learning

【技术实现步骤摘要】
一种基于循环预测和学习的网络流量异常检测方法
一种基于循环预测和学习的网络流量异常检测方法，用于对网络流量异常的检测，属于网络安全领域。
技术介绍
随着Internet的不断发展，网络规模日益扩大，其承载的网络业务逐渐增多。网络安全已成为人们越来越关心的问题。网络流量异常是指对网络正常使用造成不良影响的网络流量模式，网络扫描、DDOS攻击、网络蠕虫病毒、恶意下载、物理链路损坏等都会导致网络流量异常。网络流量异常往往伴随严重后果，如占用网络资源，网络拥塞，造成丢包、延时增加；占用设备系统资源(CPU，内存等)，网络设施面临瘫痪。因此网络异常流量的实时检测及合理响应对于维护网络安全、抑制恶意攻击和合理分配网络带宽具有重要意义。目前常见的网络异常流量的检测方法有以下几种。(1)基于数据挖掘的异常检测。数据挖掘可以有效的从海量网络流量数据中挖掘到潜在有用的信息。数据挖掘需要采集大量、真实有效的网络流量数据，通过抽样选取确定目标数据，对目标数据进行预处理及变换，然后应用数据挖掘中的算法，如分类、聚类分析、序列分析等，通过一定的判断规则，对流量数据进行检测。(2)基于小波变换的异常检测。对于非稳定的信号，小波变换通过有限长的会衰减的小波基进行时频域变化，从而得到它的时频谱。小波变换检测流量的步骤通常为：对一个指标的全部采样值进行分析，将其拆分为不同的分量，通过计算不同分量的方差，来按照一定的概率发现指标异常。小波变换对于信号的分解和重构是有效的，分解后的信号在频域上具有专一性，并对信号进行了平滑处理，从而将处理方法从平稳时间序列扩展到了非平稳时间序列。通过分析不同的尺度下逼近信号和细节信号，可以方便的从中检测到异常流量。(3)基于神经网络的异常检测。通过对输入信息的学习，构造输入和输出的关系模型，通过自动学习与更新，可以准确的表达非线性关系。因此当有新的输入进入时，可以良好的预测输出的情况。因此对于下一时间节点预测的错误概率一定程度上可以反过来代表该时间节点的行为异常程度。上述中基于分类和神经网络检测模型对网络流量异常检测效果较好。其中，基于分类的方法主要包括有监督方法和无监督方法；而基于神经网络的异常检测方法分为多个变种，LSTM则是近年研究热点。随着新的网络特征被不断挖掘，网络流量状态已经成为了一个多维时间序列，大量的特征指标(专用网络设备，如防火墙或流量分析系统对网络流量进行统计获得的某类流量统计特征指标，例如：“TCP报文数量”可以作为一个特征指标)和长时间周期(即为时间窗口，是指将一段连续时间划分为固定长度的多个时间周期，每个时间周期称为一个时间窗口)的跨度给分类和预测模型带来难度，提高了算法复杂度，且造成预测误报率偏高。原因是：现有基于神经网络的异常检测方法，基本上都基于一个基本假设，即：预测的结果一定是准确的，在网络未发生异常的情况下，预测值和实际值相当接近。事实上，在实际网络环境中，很难保证预测结果的准确性，因大规模网络往往存在大量突发流量，导致预测值和实际值存在不同程度的偏差。而在何种程度偏差的情况下输出异常告警，现有基于神经网络的异常检测方法普遍缺乏研究。如果单纯以预测值与实际值的差异作为异常判定条件，则会导致大量的误报和虚警。特别是在预测结果准确率不高的情况下，异常检测结果几乎不可用。
技术实现思路
针对上述研究的问题，本专利技术的目的在于提供一种基于循环预测和学习的网络流量异常检测方法，解决现有技术中基于大量的特征指标和长时间周期，采用分类和预测模型对网络流量异常检测，会提高算法的复杂度和预测误报率的问题。为了达到上述目的，本专利技术采用如下技术方案：一种基于循环预测和学习的网络流量异常检测方法，其特征在于，如下步骤：S1、基于第一个连续时间段，采集各时间周期内特征指标的采样值，对时间序列进行平滑修正，其中，采样值为一个时间周期内获得网络流量中一个特征指标的值，代表该特征指标在该时间周期内的数值，连续时间段为连续的L个时间周期；S2、根据第一个连续时间段和平滑修正后的采样值，通过预测算法，获得第二个连续时间段内特征指标的预测值，其中，第二个连续时间段是指第L+1至第L+L；S3、基于预测值和采集的第二个连续时间段内特征指标的采样值计算每个时间周期内指标的预测偏差率，根据所有预测偏差率得到预测偏差率正负极值；S4、根据待判断的连续时间周期内特征指标的预测偏差率和步骤S3得到的预测偏差率正负极值进行异常判断。进一步，所述步骤S1中各个时间周期内能采集一个特征指标或多个特征指标的采样值。进一步，所述步骤S1的具体步骤为：S1.1、基于连续的L个时间周期，采集各时间周期内同一特征指标的采样值构成时间序列X＝{X1，X2，...，XL}；S1.2、对时间序列X＝{X1，X2，...，XL}进行平滑修正，具体过程为：S1.21、对时间序列X中的所有采样值取中位数，即中值，记为M/D；S1.22、定义“正常最大值”为VAR，取初始值为MID，即VAR＝MID；S1.23、取出时间序列X中的所有采样值，按照从小到达进行重新排序，获得排序后的时间序列S＝{S1，S2，...，SL}；S1.24、按照从小到大的顺序，依次对时间序列S中的每个成员Sk进行分析，计算其与MID的差值，如果Sk-MID＞0，而且Sk-MID＜VAR×3，则取VAR＝Sk；S1.25、对时间序列X中的所有采样值进行检查和平滑，针对时间序列X中的采样值Xk，计算其与VAR的差值，如果Xk-VAR＞0，则修改Xk的值，取Xk＝max(Xk-1，VAR)。进一步，所述步骤S2中根据第一个连续时间段和平滑修正后的采样值，通过LSTM算法，获得第二个连续时间段内、同一特征指标的预测值构成的时间序列Y′＝YL+1，YL+2，...，YL+L°进一步，所述步骤S3的具体步骤为：S3.1、采集第二个连续时间段内、同一特征指标的采样值构成的时间序列X’，特征指标与第一个连续时间段内采集的特征指标相同；S3.2、基于对应编号，将时间序列γ′中的每个预测值Ym与时间序列X′中的Xm进行相减操作后，计算预测偏差率，构成预测偏差率时间序列B＝{BL+1，BL+2，...，BL+L}，其中，计算公式为Bm＝(Ym-Xm)/Ym，m＝L+1，L+2，..·，L+L；S3.3、初始化Bmax和Bmin的值为0，根据预测偏差率时间序列B＝{BL+1，BL+2，…，BL+L}，统计其是否有大于零的值，若有，将最大值作为预测偏差率正极值Bmax，若无，Bmax为0，统计其是否有小于零的值，若有，将最小值作为预测偏差率负极值Bmin，若无，Bmin为0。进一步，所述步骤S4中待判断的连续时间周期为第二个连续时间段后开始的多个连续时间周期，其中多个为L个时间周期或小于L个时间周期或大于L个时间周期中的一种。进一步，的具体步骤为：S4.1、基于待判断的连续时间周期，采集各时间周期内特征指标的采样值；同时针对第二个连续时间段的采样值构成的时间序列X’＝XL+1，XL+2，...，XL+L，采用LSTM算法，获得待判断的连续时间周期内，特征指标的预测值构成的时间序列Y″＝Y2L+1，Y2L+2，...，Y2L+L′；S4.2、根据步骤S4.1获得的待判断的连续时间周期的采样值和预本文档来自技高网...

【技术保护点】
1.一种基于循环预测和学习的网络流量异常检测方法，其特征在于，如下步骤：S1、基于第一个连续时间段，采集各时间周期内特征指标的采样值，对时间序列进行平滑修正，其中，采样值为一个时间周期内获得网络流量中一个特征指标的值，代表该特征指标在该时间周期内的数值，连续时间段为连续的L个时间周期；S2、根据第一个连续时间段和平滑修正后的采样值，通过预测算法，获得第二个连续时间段内特征指标的预测值，其中，第二个连续时间段是指第L+1至第L+L；S3、基于预测值和采集的第二个连续时间段内特征指标的采样值计算每个时间周期内指标的预测偏差率，根据所有预测偏差率得到预测偏差率正负极值；S4、根据待判断的连续时间周期内特征指标的预测偏差率和步骤S3得到的预测偏差率正负极值进行异常判断。

【技术特征摘要】
1.一种基于循环预测和学习的网络流量异常检测方法，其特征在于，如下步骤：S1、基于第一个连续时间段，采集各时间周期内特征指标的采样值，对时间序列进行平滑修正，其中，采样值为一个时间周期内获得网络流量中一个特征指标的值，代表该特征指标在该时间周期内的数值，连续时间段为连续的L个时间周期；S2、根据第一个连续时间段和平滑修正后的采样值，通过预测算法，获得第二个连续时间段内特征指标的预测值，其中，第二个连续时间段是指第L+1至第L+L；S3、基于预测值和采集的第二个连续时间段内特征指标的采样值计算每个时间周期内指标的预测偏差率，根据所有预测偏差率得到预测偏差率正负极值；S4、根据待判断的连续时间周期内特征指标的预测偏差率和步骤S3得到的预测偏差率正负极值进行异常判断。2.根据权利要求1所述的一种基于循环预测和学习的网络流量异常检测方法，其特征在于，所述步骤S1中各个时间周期内能采集一个特征指标或多个特征指标的采样值。3.根据权利要求1所述的一种基于循环预测和学习的网络流量异常检测方法，其特征在于，所述步骤S1的具体步骤为：S1.1、基于连续的L个时间周期，采集各时间周期内同一特征指标的采样值构成时间序列X＝{X1，X2，...，XL}；S1.2、对时间序列X＝{X1，X2，...，XL}进行平滑修正，具体过程为：S1.21、对时间序列X中的所有采样值取中位数，即中值，记为MID；S1.22、定义“正常最大值”为VAR，取初始值为MID，即VAR＝MID；S1.23、取出时间序列X中的所有采样值，按照从小到达进行重新排序，获得排序后的时间序列S＝{S1，S2，...，SL}；S1.24、按照从小到大的顺序，依次对时间序列S中的每个成员Sk进行分析，计算其与MID的差值，如果Sk-MID＞0，而且Sk-MID＜VAR×3，则取VAR＝Sk；S1.25、对时间序列X中的所有采样值进行检查和平滑，针对时间序列X中的采样值Xk，计算其与VAR的差值，如果Xk-VAR＞0，则修改Xk的值，取Xk＝max(Xk-1，VAR)。4.根据权利要求1或3所述的一种基于循环预测和学习的网络流量异常检测方法，其特征在于，所述步骤S2中根据第一个连续时间段和平滑修正后的采样值，通过LSTM算法...

【专利技术属性】
技术研发人员：赵博，张小敏，段军红，张华峰，闫晓斌，张驯，张小东，袁晖，赵金雄，李志茹，魏峰，党倩，李方军，宋曦，尚闻博，孙碧颖，张文轩，杨凡，高丽娜，
申请(专利权)人：国网甘肃省电力公司电力科学研究院，国网甘肃省电力公司，国网甘肃省电力公司信息通信公司，
类型：发明
国别省市：甘肃,62