【技术实现步骤摘要】
本专利技术涉及网络入侵检测，更具体的，涉及一种基于大数据分析和自主学习的网络入侵检测方法及系统。
技术介绍
1、在入侵检测领域中，数据通常具有较高的维度和复杂性。在现有方案中，有监督或无监督的传统机器学习算法在处理数据量较小、维度较低的数据集时取得较为优秀的分类效果，但随着网络容量的扩大，无标签、非线性、高维度的网络拟真数据集纷纷出现，现有检测算法的优势不复存在，算法冗余度高，运算时间长，检测准确率也在不断下降。因此，针对当前网络入侵检测研究中存在的特征维度高、模型适应性不强导致的漏检和误报率高等问题，如何提供一种高效的网络入侵检测方法是亟需解决的问题。
技术实现思路
1、为了解决上述技术问题，本专利技术提出了一种基于大数据分析和自主学习的网络入侵检测方法及系统。
2、本专利技术第一方面提供了一种基于大数据分析和自主学习的网络入侵检测方法，包括：
3、获取目标网络流量数据作为入侵检测数据并进行预处理，将预处理后的目标网络流量数据进行特征重构生成重构数据；
4、对所述重构数据进行特征提取，获取空间特征及时间特征，将所述空间特征及时间特征进行聚合获取目标网络流量数据对应的流特征；
5、构建网络入侵检测模型，根据所述流特征利用大数据手段获取具有完备标签信息的相似数据集，根据所述相似数据集进行所述网络入侵检测模型的迁移对抗训练；
6、训练至损失函数收敛输出训练后的网络入侵检测模型，进行目标网络流量数据的入侵检测分类，获取目标设备对
7、本方案中，获取目标网络流量数据作为入侵检测数据并进行预处理，将预处理后的目标网络流量数据进行特征重构生成重构数据，具体为：
8、通过在网络边界设置检测设备监控网络流量数据，获取目标网络流量数据作为入侵检测数据，将所述目标网络流量数据进行特征编码及归一化处理，获取预处理后的目标网络流量数据；
9、利用降噪自编码器构建堆叠自编码器网络，将多个降噪自编码器进行串联组合，上一个降噪自编码器的隐藏层作为下一降噪自编码器的输入层，将预处理后的目标网络流量数据作为堆叠自编码器网络的输入；
10、通过编码器模块对目标网络流量数据进行特征提取及逐层降维，根据提取的特征计算特征之间的相关性，根据特征之间的相关性构建特征矩阵，基于所述特征矩阵获取特征空间的约束信息；
11、根据所述约束信息优化堆叠自编码器网络的学习，将提取的特征输入解码器模块进行解码，通过特征维度转换输出目标网络流量数据的重构数据。
12、本方案中，将所述空间特征及时间特征进行聚合获取目标网络流量数据对应的流特征，具体为：
13、将目标网络流量的重构数据进行划分，获取相同时间步长的重构数据序列，导入两个特征提取分支进行空间特征及时间特征的提取；
14、通过daseq2seq模型构建时间特征提取分支，将重构数据序列导入时间特征提取分支进行特征编码，在daseq2seq模型中融合wavenet循环结构，将划分的若干重构数据序列作为局部特征提取序列；
15、使用单个的编码器-解码器结构根据前次编码器的隐藏状态及当前特征输入获取当前编码器的隐藏状态，通过循环调用获取全体局部特征提取序列对应的隐藏状态，获取时间特征；
16、通过dnn网络构建空间特征提取分支，将划分后的若干重构数据序列导入空间特征提取分支，在所述dnn网络中引入注意力机制，对不同重构数据序列对应的特征进行概率加权；
17、将加权后的特征导入全连接层，输出获取重构数据空间特征，并利用双头自注意力机制获取时间特征及空间特征的自注意力权重，通过所述自注意力权重聚合后获取目标网络流量数据对应的流特征。
18、本方案中，根据所述流特征利用大数据手段获取具有完备标签信息的相似数据集，根据所述相似数据集进行所述网络入侵检测模型的迁移对抗训练，具体为：
19、基于优化后的生成对抗网络构建网络入侵检测模型，根据所述流特征生成检索标签，利用大数据手段获取具有完备标签信息的相似数据集，选取相似度最高的数据集作为源域；
20、将所述网络入侵检测模型的对应的目标网络流量作为目标域，初始化源域及目标域的权重信息，利用编码器网络替换原始生成对抗网络的生成器网络，将目标域及源域的网络流量样本映射到同一特征空间进行特征编码；
21、获取特征分布后导入判别器网络进行训练，判断对应的特征分布所属的样本数据域，根据源域及目标域对应的错误率更新所述权重信息，通过最小化分类误差进行判别器网络的训练；
22、根据生成对抗网络的对抗机制，在完成所述判别器网络的训练后根据判断结果进行编码器网络的训练，根据二元交叉熵设置修改后生成对抗网络的损失函数，迭代训练至损失值平稳。
23、本方案中，在所述网络入侵检测模型中通过残差连接在修改后生成对抗网络后添加分类模块，在所述分类模块中通过全连接层和softmax激活函数进行源域的标签预测；
24、将源域的标签预测损失与修改后生成对抗网络的损失函数联合，通过反向传播优化网络入侵检测模型的参数，最小化联合损失函数，获取训练后的网络入侵检测模型；
25、将目标网络流量数据导入所述训练后的网络入侵检测模型，判断目标网络流量数据中是否存在恶意数据，并输出入侵检测分类标签。
26、本方案中，获取目标设备对应网络流量数据的历史入侵检测数据，提取入侵流量的隐式特征，进行所述网络入侵检测模型的自主学习更新，具体为：
27、根据网络入侵检测模型获取目标设备对应网络流量数据的历史入侵检测数据，筛选历史入侵检测数据中的历史入侵流量，将所述历史入侵流量根据标签信息划分为多个子集；
28、获取各个子集对应标签信息的示例入侵流量，并根据所述历史入侵流量获取对应网络流量数据中的邻域流量，在所述邻域流量中进行采样获取邻域样本，计算不同标签信息下邻域样本与示例入侵流量的相似度；
29、根据所述相似度生成邻域样本属于标签信息的置信度，当所述置信度大于预设阈值时，为邻域样本设置对应标签信息，获取邻域样本与示例入侵流量的重叠度；
30、当所述重叠度大预设标准时，则将邻域样本归于标签信息对应子集，利用更新后子集对网络入侵检测模型进行自主学习训练，逐渐优化模型。
31、本专利技术第二方面还提供了一种基于大数据分析和自主学习的网络入侵检测系统，该系统包括：存储器、处理器，所述存储器中包括基于大数据分析和自主学习的网络入侵检测方法程序，所述基于大数据分析和自主学习的网络入侵检测方法程序被所述处理器执行时实现如下步骤：
32、获取目标网络流量数据作为入侵检测数据并进行预处理，将预处理后的目标网络流量数据进行特征重构生成重构数据；
33、对所述重构数据进行特征提取，获取空间特征及时间特征，本文档来自技高网...
【技术保护点】
1.一种基于大数据分析和自主学习的网络入侵检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于大数据分析和自主学习的网络入侵检测方法，其特征在于，获取目标网络流量数据作为入侵检测数据并进行预处理，将预处理后的目标网络流量数据进行特征重构生成重构数据，具体为：
3.根据权利要求1所述的一种基于大数据分析和自主学习的网络入侵检测方法，其特征在于，将所述空间特征及时间特征进行聚合获取目标网络流量数据对应的流特征，具体为：
4.根据权利要求1所述的一种基于大数据分析和自主学习的网络入侵检测方法，其特征在于，根据所述流特征利用大数据手段获取具有完备标签信息的相似数据集，根据所述相似数据集进行所述网络入侵检测模型的迁移对抗训练，具体为：
5.根据权利要求4所述的一种基于大数据分析和自主学习的网络入侵检测方法，其特征在于，在所述网络入侵检测模型中通过残差连接在修改后生成对抗网络后添加分类模块，在所述分类模块中通过全连接层和softmax激活函数进行源域的标签预测；
6.根据权利要求1所述的一种基于大数据分析和自主学习
7.一种基于大数据分析和自主学习的网络入侵检测系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括基于大数据分析和自主学习的网络入侵检测方法程序，所述基于大数据分析和自主学习的网络入侵检测方法程序被所述处理器执行时实现如下步骤：
8.根据权利要求7所述的一种基于大数据分析和自主学习的网络入侵检测系统，其特征在于，根据所述流特征利用大数据手段获取具有完备标签信息的相似数据集，根据所述相似数据集进行所述网络入侵检测模型的迁移对抗训练，具体为：
9.根据权利要求8所述的一种基于大数据分析和自主学习的网络入侵检测系统，其特征在于，在所述网络入侵检测模型中通过残差连接在修改后生成对抗网络后添加分类模块，在所述分类模块中通过全连接层和softmax激活函数进行源域的标签预测；
10.根据权利要求7所述的一种基于大数据分析和自主学习的网络入侵检测系统，其特征在于，获取目标设备对应网络流量数据的历史入侵检测数据，提取入侵流量的隐式特征，进行所述网络入侵检测模型的自主学习更新，具体为：
...【技术特征摘要】
1.一种基于大数据分析和自主学习的网络入侵检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于大数据分析和自主学习的网络入侵检测方法，其特征在于，获取目标网络流量数据作为入侵检测数据并进行预处理，将预处理后的目标网络流量数据进行特征重构生成重构数据，具体为：
3.根据权利要求1所述的一种基于大数据分析和自主学习的网络入侵检测方法，其特征在于，将所述空间特征及时间特征进行聚合获取目标网络流量数据对应的流特征，具体为：
4.根据权利要求1所述的一种基于大数据分析和自主学习的网络入侵检测方法，其特征在于，根据所述流特征利用大数据手段获取具有完备标签信息的相似数据集，根据所述相似数据集进行所述网络入侵检测模型的迁移对抗训练，具体为：
5.根据权利要求4所述的一种基于大数据分析和自主学习的网络入侵检测方法，其特征在于，在所述网络入侵检测模型中通过残差连接在修改后生成对抗网络后添加分类模块，在所述分类模块中通过全连接层和softmax激活函数进行源域的标签预测；
6.根据权利要求1所述的一种基于大数据分析和自主学习的网络入侵检测方法，其特征在于，获取目标设备对应网...
【专利技术属性】
技术研发人员：冉丽，何毅舟，韩旭明，谢侨，李哲夫，
申请(专利权)人：暨南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。