基于大规模网络流的多路学习入侵检测方法技术

本发明专利技术公开一种基于大规模网络流的多路学习入侵检测方法，训练阶段，先通过将大流量网络中的数据根据网络协议类型划分成TCP，UDP和Other三种协议类型的小数据流，再通过K

【技术实现步骤摘要】
基于大规模网络流的多路学习入侵检测方法


[0001]本专利技术涉及网络入侵检测
，具体涉及一种基于大规模网络流的多路学习入侵检测方法。

技术介绍

[0002]随着网络范围和规模的不断扩大，网络中的数据量正在以指数形式增长，分析和检测网络数据的攻击类型难度也在加大。由于网络流中的数据量大难以处理，现有的入侵检测系统处理海量数据的效率过低，无法高效的检测大网络流中的恶意攻击，严重制约了入侵检测系统的实际应用和未来发展。
[0003]近年来，机器学习由于其良好的分类性能，逐渐被应用于入侵检测领域。该技术先通过学习网络数据的特征建立模型，再利用分类算法对建模后的数据进行分类。入侵检测领域最常用的机器学习算法有朴素贝叶斯、随机森林、SVM和K
‑
近邻等。Saleh等人提出了一种能够实时有效应对多分类问题的入侵检测系统。首先使用NB对数据进行降维，然后使用优化后的SVM完成对异常值的剔除，最后使用K
‑
近邻算法对剔除异常值后的数据进行分类。任家东等人提出基于K
‑
近邻算法和随机森林相结合的入侵检测方法，首先采用K
‑
近邻算法对数据集进行预处理，然后基于新获得的数据集使用随机森林算法训练分类器。但是这些方法在入侵检测过程中往往会出现过度拟合、冗余特征导致的高偏置问题，而且这些方法对于大流量数据中的攻击类型不能进行有效的学习和检测。

技术实现思路

[0004]本专利技术所要解决的是现有入侵检测系统无法对大流量网络中的攻击类型进行高效检测的问题，提供一种基于大规模网络流的多路学习入侵检测方法。
[0005]为解决上述问题，本专利技术是通过以下技术方案实现的：
[0006]基于大规模网络流的多路学习入侵检测方法，包括步骤如下：
[0007]步骤1、收集网络攻击数据集，并根据网络协议类型将收集到的网络攻击数据集划分为3个协议子数据集，即TCP协议子数据集、UDP协议子数据集和Other协议子数据集；
[0008]步骤2、分别对3个协议子数据集进行数据预处理，得到3个预处理后的协议子数据集；
[0009]步骤3、对于每个预处理后的协议子数据集：先使用K
‑
means聚类算法进行聚类，将每个预处理后的协议子数据集聚类；再使用同质性度量计算每个特征的特征得分；后将特征得分与预设的得分阈值进行比较，保留特征得分大于得分阈值的特征，由此得到特征选择后的协议子数据集；
[0010]步骤4、利用3个特征选择后的协议子数据集对3个深度神经网络进行训练，得到3个深度神经网络模型，即TCP深度神经网络模型、UDP深度神经网络模型和Other深度神经网络模型；
[0011]步骤5、根据网络协议类型对实时采集到的网络流量数据进行分类，确定该网络流
量数据的协议类型；
[0012]步骤6、对网络流量数据进行数据预处理，得到预处理后的网络流量数据；
[0013]步骤7、先将预处理后的网络流量数据送入到sigmoid分类器进行二分类，将其划分为正常流量和异常流量两种；再将属于异常流量的预处理后的网络流量送入到对应协议类型的深度神经网络模型中，由此确定该网络流量数据所属的攻击类型。
[0014]上述步骤2和6中，对协议子数据集和网络流量数据进行数据预处理包括数值化和归一化。
[0015]上述步骤3中，特征得分h为：
[0016][0017]其中，|k|为特征k的数量，|C|为聚类C的数量，n
C,k
为聚类C条件下特征k的网络攻击数据的数量，n
C
为属于聚类C的网络攻击数据的数量，n
k
为属于特征k的网络攻击数据的数量，n为总的网络攻击数据的数量。
[0018]与现有技术相比，本专利技术具有如下特点：
[0019]1、通过将大流量网络中的数据根据网络协议类型划分成TCP，UDP和Other三种协议类型的小数据流，并基于网络协议类型将网络中的大流量数据划分成几种小的数据流，然后对划分之后的数据流进行检测；分离后的数据集的大小都小于原始的训练数据集，对它们进行处理和执行深度学习算法所需要的时间更短，计算成本更低。
[0020]2、通过K
‑
means算法和同质性度量对入侵的网络数据进行特征选择，用于选择最有效的特征用于检测，去除冗余数据及降低输入数据的维数，通过选择最优特征，减少特征的数量来减少数据处理量，提高检测精度和分类准确率。
[0021]3、通过两阶段检测方法对传入的网络流量进行检测，第一阶段旨在减少过拟合问题并减轻对正常流量的偏差，目的是使模型更多的关注异常的网络流量。第二阶段根据攻击类型标签对第一阶段获得的异常流量进行细化，识别攻击类型。通过两阶段的流量检测，可以更好的识别网络中的攻击类型，有效的提升网络入侵检测系统对大流量数据的检测性能。
附图说明
[0022]图1为基于大规模网络流的多路学习入侵检测方法的流程图。
[0023]图2为训练阶段的流程图。
具体实施方式
[0024]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本专利技术进一步详细说明。
[0025]为了解决网络入侵检测过程中，入侵检测系统对大流量网络中的恶意行为检测效率低，无法对网络中的攻击类型进行高效检测的问题，本专利技术所采用的关键技术如下：
[0026](1)提出了基于网络协议类型的流量分类方法。
[0027]为了提高入侵检测系统对大流量数据攻击的检测问题。本专利技术提出了一种新的检
测方法，将大流量网络中的数据根据网络协议类型划分成TCP，UDP和Other三种协议类型的小数据流。通过网络协议类型将网络中的大流量数据划分成几种小的数据流，然后对划分后的数据流同时进行学习和检测。与处理所有网络流数据的其他方法不同，分离后的数据集的大小都小于原始的训练数据集，对它们进行处理和执行深度学习算法所需要的时间更短，计算成本更低。这种协议分流的思想，有效的缓解了海量数据量对系统造成的危害，大大提高了模型对流量数据的检测速度。
[0028](2)提出了基于深度学习的两阶段入侵检测方法。
[0029]第一阶段，将进入的网络流量根据协议分为TCP、UDP和Other三种数据流，然后将得到的每种网络协议流量中的数据通过第一个检测模型分类为正常流量和异常流量。第二阶段，一个预训练好的多分类DNN模型对第一阶段检测到的异常流量进行更细致的检测，以识别攻击类型。第一阶段旨在减少过拟合问题并减轻对正常流量的偏差，目的是使模型更多的关注异常的网络流量，以便下一阶段对异常的网络流量进行分类。第二阶段根据攻击类型标签对第一阶段获得的异常流量进行细化，识别攻击类型。通过两阶段的流量检测，可以更好的识别网络中的攻击类型，有效的提升网络入侵检测系统对大流量数据的检测性能。
[0030]基于以上关键技术，本专利技术所提出的一种基于大规模网络流的多路学习入侵检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于大规模网络流的多路学习入侵检测方法，其特征是，包括步骤如下：步骤1、收集网络攻击数据集，并根据网络协议类型将收集到的网络攻击数据集划分为3个协议子数据集，即TCP协议子数据集、UDP协议子数据集和Other协议子数据集；步骤2、分别对3个协议子数据集进行数据预处理，得到3个预处理后的协议子数据集；步骤3、对于每个预处理后的协议子数据集：先使用K
‑
means聚类算法进行聚类，将每个预处理后的协议子数据集聚类；再使用同质性度量计算每个特征的特征得分；后将特征得分与预设的得分阈值进行比较，保留特征得分大于得分阈值的特征，由此得到特征选择后的协议子数据集；步骤4、利用3个特征选择后的协议子数据集对3个深度神经网络进行训练，得到3个深度神经网络模型，即TCP深度神经网络模型、UDP深度神经网络模型和Other深度神经网络模型；步骤5、根据网络协议类型对实时采集到的网络流量数据进行分类，确定该网络流量数据的协...

【专利技术属性】
技术研发人员：钱俊彦，李杰，翟仲毅，赵岭忠，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：