基于LightGBM算法和卷积神经网络的两阶段细粒度网络入侵检测模型制造技术

针对数据类不平衡问题，从模型构建的层面，本发明专利技术提供了一种基于LightGBM算法和卷积神经网络的两阶段细粒度网络入侵检测模型。本发明专利技术技术方案主要分两个阶段执行，第一阶段首先获取待识别的网络流量数据，对数据流进行预处理，然后使用机器学习中的LightGBM算法对网络流量数据进行正异常识别。第二阶段使用二维卷积神经网络对第一阶段预测为异常类的样本进行细粒度攻击类型检测。本发明专利技术的第二阶段中还设置了可选的基于数据集不平衡比率的IR

A two-stage fine-grained network intrusion detection model based on lightgbm algorithm and convolutional neural network

【技术实现步骤摘要】
基于LightGBM算法和卷积神经网络的两阶段细粒度网络入侵检测模型


[0001]本专利技术属于网络安全中的入侵检测领域，具体涉及一种基于LightGBM算法 和卷积神经网络的两阶段细粒度网络入侵检测模型。

技术介绍

[0002]根据国家互联网应急中心(CNCERT)在2020年8月11日公布的《2019年 中国互联网网络安全报告》显示，2019年度识别到的计算机恶意程序样本数超 过了6200万个，网络安全威胁呈现出许多新特点，带来新风险与新挑战。入侵 检测系统(Intrusion Detection System，IDS)可以监管网络安全状态，通过监视 网络或系统资源，识别与安全策略规定不符的异常行为或攻击迹象，并及时发出 告警信号。
[0003]近年来，基于机器学习和深度学习技术的网络入侵检测系统得到了广泛的研 究，取得了一些不错的成果，但也存在如下诸多挑战和难题。第一，在网络流量 数据中，正常流量占绝大部分，异常流量仅占很小的一部分，这种严重的类不平 衡问题大大降低了尤其是少数类的检测率，对入侵检测系统来说是一个很大的挑 战。第二本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于LightGBM算法和卷积神经网络的两阶段细粒度网络入侵检测模型，其特征在于，该方法包括：获取网络数据流样本，对数据流样本进行数据预处理；将预处理后的数据流样本输入到第一阶段中的LightGBM机器学习算法中进行初步的正异常识别，即二分类；第二阶段首先随机删除训练集中s％的正常类数据，删除后的数据子集作为第二阶段的新的训练集；使用IR
‑
SMOTE方法重采样训练集；使用重采样后数据训练一个卷积神经网络模型对第一阶段预测为异常类的样本进行细粒度分类，即多分类。建立的卷积神经网络模型结构如下：两个二维卷积层，紧跟一个最大池化层，之后是一个Dropout层和一个BatchNormalization层，最后是三个全连接层；除最后一个全连接层使用Softmax激活函数外，其余各层均使用Relu激活函数。2.根据权利要求1所述的基于LightGBM算法和卷积神经网络的两阶段细粒度网络入侵检测模型，其特征在于，所述获取待识别的网络数据流的步骤，包括：使用抓包工具(如Wireshark，BurpSuite，Tcpump等)捕获网络数据流；提取原始数据流的流特征、基本特征、内容特征、时间特征、通用特征、连接特征等特征，得到特征提取后的网络数据流样本。3.根据权利要求1所述的基于LightGBM算法和卷积神经网络的两阶段细粒度网络入侵检测模型，其特征在于，所述对数据流样本进行数据预处理的步骤，包括：首先删除一些对模型分类冗余和无意义的特征，如IP地址、端口号和时间戳(Timestamp)；然后对样本中的缺失值(NaN)进行补零，对无穷大值(infinity)使用所在列最大值+1进行替换；之后根据x
′
＝(x
‑
μ)/δ对样本数据x进行StandardScaler标准化，将每个特征均标准化为均值为0、方差为1的高斯分布，其中x
′
为标准化后的数据，μ和δ分别为样本数据的平均值和标准差；最后将名词型类别标签分别替换为从0开始递增的整数值。4.根据权利要求1所述的基于LightGBM算法和卷积神经网络的两阶段细粒度网络入侵检测模型，其特征在于，所述第二阶段随机删除训练集中s％的正常类数据，s的取值要满足一个条件，即，...

【专利技术属性】
技术研发人员：张宏坡，黄璐璐，张洋，张博，
申请(专利权)人：郑州大学，
类型：发明
国别省市：