网络流量实时检测方法及检测终端、计算机可读存储介质技术

本发明专利技术提供了一种网络流量实时检测方法及检测终端、计算机可读存储介质，该检测方法包括：S10、对到达的网络流量数据进行预处理，得到新流量数据；S20、对所述新流量数据进行特征选择，生成所述新流量数据的数据特征，根据所述数据特征生成网络流量数据集；S30、将对冲学习算法和深度神经网络结合生成预测函数，将所述网络流量数据集导入所述预测函数并对所述预测函数进行实时更新。本发明专利技术让异常检测具有更好的扩展性和内存效用，能有效地适应数据流从而降低成本，提高网络流量异常的检测率。

Real-time network traffic detection methods and detection terminals, computer readable storage media

The invention provides a real-time detection method of network traffic, a detection terminal and a computer readable storage medium. The detection method includes: S10, preprocessing the arrival network traffic data to obtain new traffic data; S20, feature selection of the new traffic data, generating the data characteristics of the new traffic data, and generating network traffic data according to the data characteristics. The prediction function is generated by combining hedging learning algorithm and depth neural network, and the network traffic data set is imported into the prediction function, and the prediction function is updated in real time. The invention enables anomaly detection to have better expansibility and memory utility, can effectively adapt to data streams and reduce costs, and improves the detection rate of network traffic anomalies.

【技术实现步骤摘要】
网络流量实时检测方法及检测终端、计算机可读存储介质
本专利技术属于网络流量异常检测
，尤其涉及一种基于深度学习的网络流量实时检测方法及检测终端、计算机可读存储介质。
技术介绍
现如今，网络流量异常检测以及后续分析已经是网路及安全管理的重要内容。网络流量异常检测已经作为一种有效的网络防护手段，能检测未知的网络攻击行为，为网络态势感知提供重要支持，近年来受到研究者越来越多的关注。针对网络流量异常检测方法大致有基于表征行为匹配的检测方法，基于统计的异常检测方法，基于机器学习异常检测方法，基于数据挖掘的异常检测方法，基于传统神经网络的异常检测方法基于表征行为匹配的检测方法是利用规则特征库进行选择，在网络流量数据中查找与异常特征匹配的的模式来检测异常。基于统计的异常检测方法是通过采集一段时间内的网络流量数据，使用时间序列的统计分析方法进行行为异常的检测，该检测方法不需要事先知道异常的特征。基于机器学习的方法是强调基于以前数据集的信息训练的模型来提高识别系统的性能，异常检测方法使用常见的机器学习方法如贝叶斯网络，主成分分析，隐马尔可夫等。基于数据挖掘的异常检测方法是从大量网络流量审计数据中挖掘出异常，鉴别出网络异常情况。基于传统神经网络的异常检测方法分为模型训练和异常检测两个阶段，第一阶段是根据有标签训练数据集进行分类模型的训练，第二阶段是从第一阶段训练的到的神经网络模型作为分类模型对网络流量数据进行分类，完成异常检测。网络流量是一种高速的动态数据流，对于持续快速到达的原始数据需要进行在线实时检测。上述的异常检测方法存在一定的局限性和不足。基于表征行为匹配的异常检测方法缺点是检测结果是根据特征数据库来进行分类匹配的，不能检测出未知的异常类型，而且需要不断对特征数据库进行更新。基于统计的异常检测方法，基于机器学习的异常检测方法和基于数据挖掘的异常检测方法都是建立在对历史数据集学习的基础上，检测结果受历史数据影响比较大难以反映出当前网络流量的行为特征，而且检测算法的时间空间复杂度高，容易受到内存等系统资源的限制影响。基于传统神经网络的异常检测方法存在模型容量复杂度设置不灵活，难以对动态的网络数据流进行适应的缺点。
技术实现思路
有鉴于此，本专利技术提供了一种基于深度学习的网络流量实时检测方法及检测终端，以解决现有技术中异常检测方法存在一定的局限性和不足；基于表征行为匹配的异常检测方法缺点是检测结果是根据特征数据库来进行分类匹配的，不能检测出未知的异常类型，而且需要不断对特征数据库进行更新；基于统计的异常检测方法，基于机器学习的异常检测方法和基于数据挖掘的异常检测方法都是建立在对历史数据集学习的基础上，检测结果受历史数据影响比较大难以反映出当前网络流量的行为特征，而且检测算法的时间空间复杂度高，容易受到内存等系统资源的限制影响；基于传统神经网络的异常检测方法存在模型容量复杂度设置不灵活，难以对动态的网络数据流进行适应的缺点。本专利技术提供了一种基于深度学习的网络流量实时检测方法，包括以下步骤：步骤S10、对到达的网络流量数据进行预处理，得到新流量数据；步骤S20、对所述新流量数据进行特征选择，生成所述新流量数据的数据特征，根据所述数据特征生成网络流量数据集；步骤S30、将对冲学习算法和深度神经网络结合生成预测函数，将所述网络流量数据集导入所述预测函数并对所述预测函数进行实时更新，所述预测函数输出所述新网络流量的流量序列，根据所述流量序列返回对应的网络事件类型，并根据所述网络事件类型判断接收到的所述网络流量数据是否异常。在本专利技术的一实施例中，所述步骤S10包括：步骤S11、分别读取所述网络流量数据中的训练数据集和测试数据集；步骤S12、对所述网络流量数据进行规范化处理，清理流失或错误的数据并删除无关的数据后生成所述新流量数据。在本专利技术的一实施例中，所述步骤S20包括：步骤S21、将所述新流量数据中的训练数据集和测试数据集使用主成成分分析法进行降维处理，去掉冗余数据形成数据特征集；步骤S22、依据所述网络流量数据的原始数据集创建所述新流量数据的所述数据特征；步骤S23、根据所述数据特征生产所述网络流量数据集。在本专利技术的一实施例中，所述网络流量数据集为：D＝{(x1，y1)，(x2，y2)，(x3，y3)，...，(xn，yn)}；其中，xn是所述新流量数据的特征向量，且xn＝[x1，x2，x3，...，xn]T，x1，x2，x3，...，xn表示流量数据特征；yn∈{0，1，2，...，n}是xn的类别标签，分别表示网络流量的所属的类别。在本专利技术的一实施例中，所述步骤S30中，所述深度神经网络包括L层隐藏层；所述深度神经网络的所述预测函数包括分类器f(L)。在本专利技术的一实施例中，所述步骤S3包括步骤：将由分类器参数θ(L)和对应的分类器特征h(L)进行参数化得出每个分类器f(L)；每个分类器f(L)加权后得出判定结果的预测函数F(x)。在本专利技术的一实施例中，所述预测函数F(x)为：F(x)＝∑La(L)f(L)；h(0)＝x；其中，a(L)为分类器的权重参数；h(L)为分类器特征；θ(L)和w(L)为分类器参数。在本专利技术的一实施例中，所述预测函数的损失函数为：L为隐藏层的层数。在本专利技术的一实施例中，所述步骤S3中将对冲学习算法和深度神经网络结合生成预测函数，将所述网络流量数据集导入所述预测函数并对所述预测函数进行实时更新的步骤包括：步骤S31、初始化各个所述隐藏层的分类器f(L)和分类器的权重参数a(L)，并设置平滑率参数，所述平滑率参数β∈(0，1)；步骤S32、依次接收所述网络流量数据集D＝{(x1，y1)，(x2，y2)，(x3，y3)，...，(xn，yn)}中的xt作为输入实例并导入所述预测函数yt＝Ft(xt)＝∑Lat(L)ft(L)；此时，预测函数的损失为xt是x1，x2，……，xn中的一个数据；步骤S33、根据所述预测函数的计算结果更新所述分类器的参数θ(L)和w(L)，并更新权重参数a(L)；其中，其中，η为平滑参数，为梯度计算符号；步骤S34、重复步骤S32和步骤S33，得出所述预测函数的持续输出的流量序列，根据所述流量序列返回对应的网络事件类型，并根据所述网络事件类型判断接收到的所述网络流量数据是否异常。本专利技术还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。本专利技术实施例与现有技术相比存在的有益效果是：能够在大规模的高速的网络流量数据下，对于顺序到达的网络流量数据通过对冲学习算法和深度神经网络型，让异常检测具有更好的扩展性和内存效用，能有效地适应数据流从而降低成本并进一步提高网络流量异常的检测率。能够对神经网络判别在高速的网络流量数据流下进行实时更新和补充，能够让网络结构随着数据进而逐渐扩展和复杂化；能结合网络流量的特点，让神经网络结构在顺序到达的数据流中学习分类模型，更具有更高的可扩展性和内存资源利用，从而提高异常检测的正确率和检测模型的灵活性。附图说明为了更清楚地说明本文档来自技高网...

【技术保护点】
1.一种基于深度学习的网络流量实时检测方法，其特征在于，包括以下步骤：步骤S10、对到达的网络流量数据进行预处理，得到新流量数据；步骤S20、对所述新流量数据进行特征选择，生成所述新流量数据的数据特征，根据所述数据特征生成网络流量数据集；步骤S30、将对冲学习算法和深度神经网络结合生成预测函数，将所述网络流量数据集导入所述预测函数并对所述预测函数进行实时更新，所述预测函数输出所述新网络流量的流量序列，根据所述流量序列返回对应的网络事件类型，并根据所述网络事件类型判断接收到的所述网络流量数据是否异常。

【技术特征摘要】
1.一种基于深度学习的网络流量实时检测方法，其特征在于，包括以下步骤：步骤S10、对到达的网络流量数据进行预处理，得到新流量数据；步骤S20、对所述新流量数据进行特征选择，生成所述新流量数据的数据特征，根据所述数据特征生成网络流量数据集；步骤S30、将对冲学习算法和深度神经网络结合生成预测函数，将所述网络流量数据集导入所述预测函数并对所述预测函数进行实时更新，所述预测函数输出所述新网络流量的流量序列，根据所述流量序列返回对应的网络事件类型，并根据所述网络事件类型判断接收到的所述网络流量数据是否异常。2.根据权利要求1所述的基于深度学习的网络流量实时检测方法，其特征在于，所述步骤S10包括：步骤S11、分别读取所述网络流量数据中的训练数据集和测试数据集；步骤S12、对所述网络流量数据进行规范化处理，清理流失或错误的数据并删除无关的数据后生成所述新流量数据。3.根据权利要求2所述的基于深度学习的网络流量实时检测方法，其特征在于，所述步骤S20包括：步骤S21、将所述新流量数据中的训练数据集和测试数据集使用主成成分分析法进行降维处理，去掉冗余数据形成数据特征集；步骤S22、依据所述网络流量数据的原始数据集创建所述新流量数据的所述数据特征；步骤S23、根据所述数据特征生产所述网络流量数据集。4.根据权利要求3所述的基于深度学习的网络流量实时检测方法，其特征在于，所述网络流量数据集为：D＝{(x1,y1),(x2,y2),(x3,y3),…,(xn,yn)}；其中，xn是所述新流量数据的特征向量，且xn＝[x1,x2,x3,…,xn]T，x1,x2,x3,…,xn表示流量数据特征；yn∈{0,1,2,…,n}是xn的类别标签，分别表示网络流量的所属的类别。5.根据权利要求4所述的基于深度学习的网络流量实时检测方法，其特征在于，所述步骤S30中，所述深度神经网络包括L层隐藏层；所述深度神经网络的所述预测函数包括分类器f(L)。6.根据权利要求5所述的基于深度学习的网络流量实时检测方法...

【专利技术属性】
技术研发人员：叶可江，纪书鉴，须成忠，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东,44