基于在线特征选择的网络流异常检测方法技术

本发明专利技术公开了一种基于在线特征选择的网络流异常检测方法，包括网络流特征选择：采用在线特征选择算法从网络数据流特征中提取影响分类的关键特征；根据在线特征选择算法提取的关键特征子集，对原始数据流进行特征提取，并将其作为网络流异常检测在线学习算法的输入；建立一个在线学习分类模型，再使用数据集对模型进行训练，模型稳定后，用于在线网络流异常实时检测，将原始数据流按照特征子集进行特征提取，然后输入在线异常检测模型，最后将检测结果存于数据库，用于预警。本发明专利技术能很好地将网络流的时序性特点和在线学习的优点结合起来，并且能够满足网络流异常检测的实时性要求，系统最终能够又快又准的对网络流进行实时检测。

Anomaly detection method for network flow based on online feature selection

The invention discloses a network flow anomaly detection method based on online feature selection, which includes network flow feature selection: extracting key features affecting classification from network data flow features by online feature selection algorithm; extracting features of original data flow according to key feature subset extracted by online feature selection algorithm, and online learning of network flow anomaly detection. Input of learning algorithm; Establish an online learning classification model, then train the model with data sets. After the model is stable, it can be used for online network flow anomaly real-time detection. The original data stream is extracted according to the feature subset, and then input the online anomaly detection model. Finally, the detection results are stored in the database for early warning. The invention can well combine the temporal characteristics of network flow with the advantages of online learning, and can meet the real-time requirements of anomaly detection of network flow. The system can finally detect network flow in real-time quickly and accurately.

【技术实现步骤摘要】
基于在线特征选择的网络流异常检测方法
本专利技术涉及一种模式识别技术，特别是一种基于在线特征选择的网络流异常检测方法。
技术介绍
基于在线特征选择的网络流异常检测方法是指将网络流分为正常流量和异常流量的技术，该技术通过对网络流进行特征提取，形成数据流样本，然后建立在线特征选择模型，对模型进行训练，模型稳定后，用于在线网络流异常实时检测。近年来，随着信息技术和因特网的持续发展，大批新兴网络应用不断涌现，这些网络应用在极大丰富了互联网内容的同时，不可避免地造成了网络流量的激增，从而造成网络拥塞，甚至对网络安全造成潜在的威胁。如何快速而准确地将网络流量进行分类对于因特网服务提供商(ISP)和网络管理人员至关重要。通过判断骨干网中网络流量的成分对于提升网络服务质量(QoS)具有实际的指导意义，同时，对异常网络流量的监控也有助于确保网络安全。机器学习算法已经广泛应用于网络流分类和异常检测中，并取得了很好的效果。为了提高计算效率和避免维数灾难，人们提出了特征选择算法，但大部分算法都是对样本进行批处理，当面对大规模骨干网数据流时，该类方法存在时间和空间的限制。考虑到网络流的时序性以及网络流异常检测本文档来自技高网...

【技术保护点】
1.基于在线特征选择的网络流异常检测方法，其特征在于包括两个部分：1)网络流特征选择：采用在线特征选择算法从网络数据流特征中提取影响分类的关键特征；2)根据在线特征选择算法提取的关键特征子集，对原始数据流进行特征提取，并将其作为网络流异常检测在线学习算法的输入；建立一个在线学习分类模型，再使用数据集对模型进行训练，模型稳定后，用于在线网络流异常实时检测，将原始数据流按照特征子集进行特征提取，然后输入在线异常检测模型，最后将检测结果存于数据库，用于预警。

【技术特征摘要】
1.基于在线特征选择的网络流异常检测方法，其特征在于包括两个部分：1)网络流特征选择：采用在线特征选择算法从网络数据流特征中提取影响分类的关键特征；2)根据在线特征选择算法提取的关键特征子集，对原始数据流进行特征提取，并将其作为网络流异常检测在线学习算法的输入；建立一个在线学习分类模型，再使用数据集对模型进行训练，模型稳定后，用于在线网络流异常实时检测，将原始数据流按照特征子集进行特征提取，然后输入在线异常检测模型，最后将检测结果存于数据库，用于预警。2.根据权利要求1所述的基于在线特征选择的网络流异常检测方法，其特征在于：所述的步骤1)首先对原始网络数据流进行特征提取，提取方法使用Moore特征提取方法。3.根据权利要求2所述的基于在线特征选择的网络流异常检测方法，其特征在于在网络流特征选择阶段，主要包括以下步骤：采用Moore数据流特征提取算法对数据流进行特征提取，得到数据流特征序列{xi∈R248|i＝1,2,...,N}，处理后的每一个数据流样本xi包含248维特征。4.根据权利要求3所述的基于在线特征选择的网络流异常检测方法，其特征在于所述的248维特征包括简单特征、协议计数特征、分组头部提取特征、双向简单统计量特征和连接统计特征。5.根据权利要求1所述的基于在线特征选择的网络流异常检测方法，其特征在于：在所述的训练阶段，首先采用nDPI等深度包检测工具对数据流进行分类，得到数据流标签{yi∈{0,1}|i＝1,2,...,N}；标签yi＝0表示正常数据流，yi＝1表示异常数据流；进行特征选择时可表示为在训练集{(xi,y...

【专利技术属性】
技术研发人员：潘志松，莫小勇，刘鑫，李东，张艳艳，魏浩，许艾，尤峻，
申请(专利权)人：中国人民解放军陆军工程大学，
类型：发明
国别省市：江苏,32