当前位置: 首页 > 专利查询>清华大学专利>正文

基于有效频繁流特征的网络流量异常检测和分类方法技术

技术编号:16190633 阅读:24 留言:0更新日期:2017-09-12 12:30
本发明专利技术公开一种基于有效频繁流特征的网络流量异常检测和分类方法,预先设定EFF模式和筛选阈值并得到正式EFF实例对;利用前一个或者几个时间片内正常的正式EFF实例对的值计算下一时间片此EFF实例对对应的预测值,进而得到当前时间片内所有EFF实例对在下一时间片的预测值;根据预测值计算出EFF实例对对应的检测阈值;将EFF实例对的实际值与检测阈值进行比较并分类;本发明专利技术的方法可以对网络流量异常进行快速、有效的检测和分类。

Network traffic anomaly detection and classification method based on effective frequent stream feature

The invention discloses a network traffic anomaly detection and classification method based on frequent flow characteristics, EFF mode and preset threshold of screening and get a formal EFF instance to use; before one or several time slice normal formal EFF examples of calculation of the next time this EFF instance of the corresponding predictive value. Then get the current time slice in all instances of EFF in predicting the next time slice; according to the predicted value calculated the detection threshold corresponding to the instance of EFF EFF; examples of actual value comparison and classification and detection threshold; the method can detect and classify quickly and effectively to network traffic abnormal.

【技术实现步骤摘要】
基于有效频繁流特征的网络流量异常检测和分类方法
本专利技术涉及一种基于有效频繁流特征的网络流量异常检测和分类方法。
技术介绍
目前,网络流量数据规模的不断增加,对网络流量异常检测的检测效率和运行效率提出了更高的要求。基于时间片进行网络流量异常检测是目前通用的检测方法,此类方法通常采用将每个时间片内的网络流量变换成固定个数的度量值,进一步根据这些度量值进行网络流量异常检测和初步分类。但这种方法由于度量值较少,加上度量值本身对网络流量异常的敏感性不同,造成其对网络流量异常检测和分类比较粗糙、检测和分类的误差大、效率不高。利用频繁项挖掘进行网络流量异常检测是另一种有效的方法,其也可用于基于时间片的网络流量异常检测中,但此方法通常需要经过多轮计算而使计算开销较大,进而会影响检测系统的运行效率。
技术实现思路
针对上述问题,本专利技术提供一种对网络流量异常进行快速、有效的检测和分类的基于有效频繁流特征的网络流量异常检测和分类方法CEFF。CEFF方法是一种基于有效频繁流特征(EfficientFrequentflowFeature,EFF)实例的变化进行检测的方法。为达到上述目的,本专利技术一种基于有效频繁流特征的网络流量异常检测和分类方法,所述的方法至少包括以下步骤:1)预先设定EFF模式和筛选阈值;2)选取流数据并提取每条流对应组成EFF的实际流特征内容,根据流特征确定这条流所属的时间片;3)根据提取的流特征内容对所有预先设定的EFF进行实例化,生成初始EFF实例,并将生成的初始EFF实例和其对应的流数或者流量组成初始EFF实例对;4)对每个时间片内的相同的初始EFF实例对进行累加,得出每个时间片对应的备选EFF实例对;5)将备选EFF实例对的值与所述筛选阈值进行比较得到正式EFF实例对;6)利用前一个或者几个时间片内正常的正式EFF实例对的值计算下一时间片此EFF实例对对应的预测值,进而得到当前时间片内所有EFF实例对在下一时间片的预测值;7)根据预测值计算出EFF实例对对应的检测阈值;8)将EFF实例对的实际值与检测阈值进行比较并分类。较佳的,所述步骤1)中EFF模式至少包括括源IP&目的IP&目的端口、目的IP&目的端口以及源IP&目的端口基于流数的EFF模式;所述步骤4)中的备选实施例为<VEFF,Value>,其中VEFF为一个EFF实例的实例值,Value的值为EFF实例对的累加值,Value采用EFF实例对应的总的流数、数据包数、字节数等流数或者流量信息表示;所述EFF实例对的累加规则:<VEFF,V1>+<VEFF,V2>=<VEFF,V1+V2>;所述步骤5)的具体步骤为:将备选EFF实例对中Value的值与筛选阈值进行比较;若Value的值大于筛选阈值,则备选EFF实例对<VEFF,Value>为一个正式的EFF实例对;若Value的值小于筛选阈值,则备选EFF实例对<VEFF,Value>被过滤掉,不能成为一个正式的EFF实例对。较佳的,所述步骤8)的具体步骤为:将EFF实例对的实际值与检测阈值进行比较大小;若EFF实例对的实际值大于对应的检测阈值,则EFF实例对判定为异常EFF实例对,则具有异常EFF实例对的时间片为异常时间片,与异常EFF实例对相关的流量为异常流量,一个时间片内有多个不同类型的异常EFF实例对,则EFF实例对的异常类型为混合异常,EFF实例对的异常类型为EFF对应的异常类型;若EFF实例对的实际值小于或者等于检测阈值,则EFF实例对判定为正常EFF实例对。较佳的,所述步骤1)的具体步骤为:预先选用源IP&目的IP&目的端口、目的IP&目的端口以及源IP&目的端口基于流数的EFF,并设定时间间隔和筛选阈值。较佳的,所述步骤2)的具体步骤为:选取流数据,提取每条流对应组成EFF的实际流特征对应的开始时间、结束时间、源IP、目的IP、源端口、目的端口以及流数组成对应的EFF流特征内容VbeginTime、VendTime、VSIP、VDIP、VSPT、VDPT和VFN,并根据流结束时间划分每条流所属的时间片timeBin,timeBin=VbeginTime~VendTime/I,其中I为时间间隔。较佳的,所述步骤3)中的初始EFF实例包括timeBin/I&VSIP&VDIP&VDPT、timeBin/I&VSIP&VDIP以及timeBin/I&VSIP&VDPT,所述的初始EFF实例对包括<timeBin/I&VSIP&VDIP&VDPT,VFN>、<timeBin/I&VSIP&VDIP,VFN>、<timeBin/I&VSIP&VDPT,VFN>。较佳的,所述步骤6)的具体步骤为:设定固定的检测系数;对具有相同EFF实例值的前面i个时间片的EFF实例对EFFIPn-i+1、……、EFFIPn利用预测算法求得此EFF实例对在下一时间片的预测值Vi,其中i≥1;若时间片内无此EFF实例对,即EFF实例对的值小于筛选阈值,则计算预测值时使用此EFF实例和筛选阈值组成的EFF实例对代替;若时间片内EFF实例对异常,则可以用其预测值或前一个时间片内的EFF实例对值代替;将得到的每个EFF实例对应的预测值乘以设定的检测系数得到每个EFF实例对对应的检测阈值;所述预测算法包括平均值算法和加权平均算法。平均值算法公式为:加权平均算法公式为:其中,a1、a2……an均大于0,且a1+a2+......+an=1。本专利技术利用EFF实例对的突变来判断EFF实例对的异常,然后根据异常EFF实例对的类型来判断网络流量异常类型,实现了对网络流量异常进行快速、有效的检测和分类。附图说明图1是本专利技术一个时间片内基于流数的EFF实例对的生成过程。具体实施方式下面结合说明书附图对本专利技术做进一步的描述。实施例1如图1所示,一种基于有效频繁流特征的网络流量异常检测和分类方法,所述的方法至少包括以下步骤:预先设定EFF模式和筛选阈值;所述EFF模式至少包括括源IP&目的IP&目的端口、目的IP&目的端口以及源IP&目的端口基于流数的EFF模式;选取流数据,提取每条流对应组成EFF的实际流特征内容,并根据流特征确定这条流所属的时间片;根据提取的流特征内容对所有预先设定的EFF进行实例化,生成初始EFF实例,并将生成的初始EFF实例和其对应的流数或者流量组成初始EFF实例对;;根据EFF实例对的累加规则:<VEFF,V1>+<VEFF,V2>=<VEFF,V1+V2>,对每个时间片内的所有符合累加规则的初始EFF实例对进行累加,得出每个时间片对应的备选EFF实例对集;将所有初始EFF实例对的值和筛选阈值进行比较;若初始EFF实例对的值大于筛选阈值,则此EFF实例对被保留并成为正式的EFF实例对,若初始EFF实例对的值小于筛选阈值,则此EFF实例对不保留;将每个时间本文档来自技高网...
基于有效频繁流特征的网络流量异常检测和分类方法

【技术保护点】
一种基于有效频繁流特征的网络流量异常检测和分类方法,其特征在于::所述的方法至少包括以下步骤:1)预先设定EFF模式和筛选阈值;2)选取流数据并提取每条流对应组成EFF的实际流特征内容,根据流特征确定这条流所属的时间片;3)根据提取的流特征内容对所有预先设定的EFF进行实例化,生成初始EFF实例,并将生成的初始EFF实例和其对应的流数或者流量组成初始EFF实例对;4)对每个时间片内的相同的初始EFF实例对进行累加,得出每个时间片对应的备选EFF实例对;5)将备选EFF实例对的值与所述筛选阈值进行比较得到正式EFF实例对;6)利用前一个或者几个时间片内正常的正式EFF实例对的值计算下一时间片此EFF实例对对应的预测值,进而得到当前时间片内所有EFF实例对在下一时间片的预测值;7)根据预测值计算出EFF实例对对应的检测阈值;8)将EFF实例对的实际值与检测阈值进行比较并分类。

【技术特征摘要】
1.一种基于有效频繁流特征的网络流量异常检测和分类方法,其特征在于::所述的方法至少包括以下步骤:1)预先设定EFF模式和筛选阈值;2)选取流数据并提取每条流对应组成EFF的实际流特征内容,根据流特征确定这条流所属的时间片;3)根据提取的流特征内容对所有预先设定的EFF进行实例化,生成初始EFF实例,并将生成的初始EFF实例和其对应的流数或者流量组成初始EFF实例对;4)对每个时间片内的相同的初始EFF实例对进行累加,得出每个时间片对应的备选EFF实例对;5)将备选EFF实例对的值与所述筛选阈值进行比较得到正式EFF实例对;6)利用前一个或者几个时间片内正常的正式EFF实例对的值计算下一时间片此EFF实例对对应的预测值,进而得到当前时间片内所有EFF实例对在下一时间片的预测值;7)根据预测值计算出EFF实例对对应的检测阈值;8)将EFF实例对的实际值与检测阈值进行比较并分类。2.如权利要求1所述的方法,其特征在于:所述步骤1)中EFF模式至少包括括源IP&目的IP&目的端口、目的IP&目的端口以及源IP&目的端口基于流数的EFF模式;所述步骤4)中的备选实施例为<VEFF,Value>,其中VEFF为一个EFF实例的实例值,Value的值为EFF实例对的累加值,Value采用EFF实例对应的总的流数、数据包数、字节数等流数或者流量信息表示;所述EFF实例对的累加规则:<VEFF,V1>+<VEFF,V2>=<VEFF,V1+V2>所述步骤5)的具体步骤为:将备选EFF实例对中Value的值与筛选阈值进行比较;若Value的值大于筛选阈值,则备选EFF实例对<VEFF,Value>为一个正式的EFF实例对;若Value的值小于筛选阈值,则备选EFF实例对<VEFF,Value>被过滤掉,不能成为一个正式的EFF实例对。3.如权利要求1所述的方法,其特征在于:所述步骤8)的具体步骤为:将EFF实例对的实际值与检测阈值进行比较大小;若EFF实例对的实际值大于对应的检测阈值,则EFF实例对判定为异常EFF实例对,则具有异常EFF实例对的时间片为异常时间片,与异常EFF实例对相关的流量为异常流量,一个时间片内有多个不同类型的异常EFF实例对,则EFF实例对的异常类型为混合异常,EF...

【专利技术属性】
技术研发人员:王之梁田庚尹霞施新刚
申请(专利权)人:清华大学
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1