一种基于网络态势感知的实时流量检测方法技术

本发明专利技术公开了一种基于网络态势感知的实时流量检测方法，包括：对网络流量数据进行字符类型数字化和归一化处理；根据实际网络态势，算力调度模块判别网络负载情况，并据此分配算力；预处理的流量数据进入，在已分配算力的约束下进行二分类检测，判断出正常流量和异常流量；二分类检测出的异常流量进入，在已分配算力的约束下进行多分类检测，判断出异常流量的攻击类型；收集已正确判别的正常流量和异常流量，并使用GAN对异常流量进行数据增广，再使用混合的增广训练数据重新训练，获得更新的参数；重复步骤，持续地进行网络态势感知的实时入侵检测；本方案具有快速、高精度辨识出网络流量中的异常数据，对异常流量具有泛化识别能力的特点。能力的特点。能力的特点。

【技术实现步骤摘要】
一种基于网络态势感知的实时流量检测方法


[0001]本专利技术涉及网络安全领域，特别涉及一种基于网络态势感知的实时流量检测方法。

技术介绍

[0002]近年来，随着云计算、分布式系统、大数据、5G通信、物联网、工控网络等新兴计算机技术的不断发展和广泛应用，接入互联网的用户设备数量急剧增加，计算机网络安全事件频频发生，网络信息安全面临着巨大的挑战，保护了个人和组织机构免受黑客的网络攻击，及时发现入侵者是保证网络安全的重要一步。深度学习赋能的入侵检测技术在处理高维数据、挖掘数据中隐藏信息等方面具有优势，受到学术界和工业界的广泛关注。然而，对网络流量进行准确分类并不是一项简单的任务。
[0003]基于深度学习的入侵检测系统在处理大规模数据时，往往采用降低数据维度的方法来降低计算复杂度。但是，对网络流量进行数据降维时，很可能会去除其中的重要信息，导致模型的检测精度大幅下降。此外，现有入侵检测系统直接或间接地假设计算资源是富裕的，忽略了检测耗时对系统实用性的影响。随着网络数据规模的激增，现有入侵检测系统已经逐渐无法满足网络流量的低时延要求。目前，入侵检测系统使用的深度学习模型通常使用公开数据集进行训练和测试。这种使用静态数据进行学习的方式导致入侵检测系统对数据集依赖强，模型的泛化性低。随着网络攻击的不断变化，现有入侵检测系统对异常网络攻击流量的识别能力不断下降。
[0004]近年来，深度学习的普及使得它被广泛用于识别各种类型的网络攻击。由于深度学习克服了浅层学习的缺点，能够自动提取高层次特征，它在网络入侵检测中的应用研究引起了国内外学者的广泛关注。公开文献提出了一种新的混合方法SCDNN用于网络入侵检测，SCDNN由光谱聚类(SC)和深度神经网络(DNN)组成。首先，SC将原始训练数据集划分为k个训练子集，并利用训练子集训练k个子DNN分类器。接着，用SC将测试数据集划分为子集，用测试数据子集对对应的子DNN进行测试。实验结果表明，在6个KDD
‑
Cup99和NSL
‑
KDD数据集上评估SCDNN，其检测精度优于SVM、BP神经网络、RF和贝叶斯方法。公开文献提出了一种基于条件变分自编码器的无监督网络入侵检测方法ID
‑
CVAE，该方法设计了一个特定架构，只在解码器层内部集成入侵标记。ID
‑
CVAE分类器可从不完整的训练数据集中恢复缺失的特征，其在NSL
‑
KDD数据集上的准确率达到80.10%，比其他常用分类器具有更好的分类效果。
[0005]随着研究的深入，网络安全人员设计和验证了更多深度学习赋能的网络入侵检测方法。如：公开文献提出了一种利用循环神经网络(RNN)进行网络入侵检测的深度学习方法，称为RNN
‑
IDS，其研究了具有不同学习率和隐藏层神经元个数的RNN在二分类和多分类实验中的准确率和训练时间，实验结果表明，RNN在KDDTest+和KDDTest
‑
21测试集上的多分类准确率分别为73.28%、68.55%，略低于二分类的88.32%、86.71%。公开文献还提出了一种通过已有的图形转换技术将NSL
‑
KDD数据转换为图片特征，再使用残差卷积神经网络
ResNet和GoogLeNet进行二分类的网络入侵检测，同时评价入侵检测转换为图像分类的可行性及检测性能，相比于CNN模型对攻击数据的图像变换非常敏感，理论分析和实验结果都显示ResNet和GoogLeNet更适用于图像转换的入侵检测。公开文献还提出了一种新的两阶段深度学习(TSDL)模型，该模型第一阶段利用堆栈式自编码器对网络流量进行正常和异常的分类并输出概率值；第二阶段将概率值作为附加特征添加至原始特征，再使用softmax分类器检测出正常攻击和其他类型攻击，TSDL在KDD99和UNSW
‑
NB15数据集上的检测准确率分别达到99.996%和89.134%，显著优于其他基准检测方法。
[0006]综上可见，上述深度学习方法在网络入侵检测系统中取得了令人满意的效果，但随着网络数据的不断扩大，大量的非线性网络数据给基于深度学习的入侵检测方法带来了新的挑战，使得它们面临着未知攻击和低频率攻击的检测率低以及高效性、泛化性、可靠性难以平衡的问题。因此，急需提供一种基于网络态势感知的实时流量检测方法以解决上述问题。

技术实现思路

[0007]为此，需要提供可以快速、高精度辨识出网络流量中的异常数据，并且可以在运行时不断学习新的流量特征，对异常流量具有极强的泛化识别能力的一种基于网络态势感知的实时流量检测方法。
[0008]为实现上述目的，专利技术人提供了一种基于网络态势感知的实时流量检测方法，包括：S1：对网络流量数据进行字符类型数字化和归一化处理；S2：根据实际网络态势，算力调度模块判别网络负载情况，并据此给Multi
‑
Class detection Net、Multi
‑
Label detection Net与Data augmentation Net分配算力；S3：预处理的流量数据进入Multi
‑
Label detection Net，在已分配算力的约束下进行二分类检测，判断出正常流量和异常流量；S4：二分类检测出的异常流量进入Multi
‑
Label detection Net，在已分配算力的约束下进行多分类检测，判断出异常流量的攻击类型；S5：Data augmentation Net收集已正确判别的正常流量和异常流量，并使用GAN对异常流量进行数据增广，再使用混合的增广训练数据重新训练Multi
‑
Class detection Net、Multi
‑
Label detection Net，获得更新的参数；S6：重复步骤S1至S5，持续地进行网络态势感知的实时入侵检测。
[0009]作为本专利技术的一种优选方式，算力调度模块在分配算力时先将全部算力优先分配给Multi
‑
Class detection Net，再将剩余算力分配给Multi
‑
Label detection Net和Data augmentation Net。
[0010]作为本专利技术的一种优选方式，对于Multi
‑
Class detection Net在网络的最后一层使用Sigmoid层，将输出概率值规范到[0,1]，并设置正确标注的阈值为0.5，在训练网络时，使用二分类交叉熵损失函数计算每一个标签上的误差，神经网络的误差函数等于所有标签损失函数和。
[0011]作为本专利技术的一种优选方式，所述Data augmentation Net使用泛化学习模型对网络流量进行增广，泛化学习模型在运行过程中持续收集正常流量和异常流量，并使用GAN
对异常数据进行数据增广，形成异常数据与正常流量混合的增广训练数据，入侵检测过程中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于网络态势感知的实时流量检测方法，其特征在于，包括：S1：对网络流量数据进行字符类型数字化和归一化处理；S2：根据实际网络态势，算力调度模块判别网络负载情况，并据此给Multi
‑
Class detection Net、Multi
‑
Label detection Net与Data augmentation Net分配算力；S3：预处理的流量数据进入Multi
‑
Label detection Net，在已分配算力的约束下进行二分类检测，判断出正常流量和异常流量；S4：二分类检测出的异常流量进入Multi
‑
Label detection Net，在已分配算力的约束下进行多分类检测，判断出异常流量的攻击类型；S5：Data augmentation Net收集已正确判别的正常流量和异常流量，并使用GAN对异常流量进行数据增广，再使用混合的增广训练数据重新训练Multi
‑
Class detection Net、Multi
‑
Label detection Net，获得更新的参数；S6：重复步骤S1至S5，持续地进行网络态势感知的实时入侵检测。2.根据权利要求1所述的基于网络态势感知的实时流量检测方法，其特征在于：算力调度模块在分配算力时先将全部算力优先分配给Multi
‑
Class detection Net，再将剩余算力分配给Multi
‑
Label detection Net和Data augmentation Net。3.根据权利要求1所述的基于网络态势感知的实时流量检测方法，其特征在于：对于Multi
‑
Class detection Net在网络的最后一层使用Sigmoid层，将输出概率值规范到[0,1]，并设置正确标注的阈值为0.5，在训练网络时，使用二分类交叉熵损失函数计算每一个标签上的误差，神经网络的误差函数等于所有标签损失函数和。4.根据权利要求1所述的基于网络态势感知的实时流量检测方法，其特征在于：所述Data augmentation Net使用泛化学习模型对网络流量进行增广，泛化学习模型在运行过程中持续收集正常流量和异常流量，并使用GAN对异常数据进行数据增广，形成异常数据与正常流量混合的增广训练数据，入侵检测过程中，通过态势感知模块先对网络权重参数进行冗余存储，当生成一定规模的增广训练数据后，对冗余存储的网络进行训练，用于更新参数。5.根据权利要求1所述的基于网络态势感知的实时流量检测方法，其特征在于，步骤S3中，Multi
‑
Label detection Net在已分配算力的约束下进行二分类检测包括以下两个步骤：S301：提取流量数据特征，以最大限度地从网络流量中捕获时空特征；S302：关键特征学习，使得模型关注有益于分类的重要特征。6.根据权利要求5所述...

【专利技术属性】
技术研发人员：车洵，孙捷，金奎，卫英俊，
申请(专利权)人：南京众智维信息科技有限公司，
类型：发明
国别省市：