基于显式和隐含特征学习的智能入侵检测方法和系统技术方案

本发明专利技术公开了一种基于显式和隐含特征学习的智能入侵检测方法和系统，其训练入侵检测神经网络的步骤包括：将包含显式和隐含特征的嵌入式表征e输入初始的入侵检测神经网络得到数据表征r；随机生成随机三元组T

【技术实现步骤摘要】
基于显式和隐含特征学习的智能入侵检测方法和系统
本专利技术属于计算机网络安全领域，具体涉及一种基于显式和隐含特征学习的智能入侵检测方法和系统。
技术介绍
随着网络的广泛使用，网络安全的重要性不断提升。在众多网络安全防御技术中，网络入侵检测系统(NIDS)是可以主动保护系统免受非法外部攻击的最重要工具之一。传统的网络入侵检测方法基于模式匹配，将网络模式与现有恶意模式进行比较得出检测结果。如今，随着机器学习技术的发展，将机器学习技术引入入侵检测，将使入侵检测系统更加智能。对网络入侵数据进行分析，可以发现，网络入侵的数据特征比较复杂，表现在不同类别的恶意入侵分布不平衡，并且单个特征不能表现入侵类型的分布，即不同特征从不同角度反映了网络行为。智能入侵检测系统的关键是描述特征之间的复杂关系，并克服数据的不平衡分布。根据特征学习的方式，目前针对入侵检测问题的方法，可以分为两类：基于特征选择的方法和基于深度学习的方法。基于特征选择的方法将数据降维和启发式算法进行结合，先将特征通过一定的方法进行降维，再将降维后的数据作为机器学习的输入，通过启发式算法得出检测结果。其中数据降维的方法包括：(1)过滤法，对各个数据特征进行评分，设定阈值或者待选择阈值的个数，来选择特征，例如计算每个特征与入侵类型的相关性，选择相关性大的特征；(2)包裹式选择，随机产生特征子集，直接将要采用的学习器的性能作为特征子集的评价标准，选择表现更好的特征子集；(3)嵌入法：使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据系数从大到小选择特征。特征选择方法中的启发式算法一般为常用的算法，如支持向量机，贝叶斯，决策树等算法。基于深度学习的方法是通过神经网络学习特征的表示，在入侵检测中常用的神经网络有以下几种：(1)深度神经网络，由输入层、隐藏层、输出层组成，层与层之间是全连接的。将入侵数据的特征作为神经网络的输入，输出入侵类型；(2)循环神经网络，循环神经网络的隐藏层之间的节点是有连接的，会记忆之前的信息，并利用之前的信息影响后面节点的输出。考虑到入侵数据具有时序性，采用循环神经网络可以更好地利用入侵数据的时序信息；(3)自动编码器网络，自动编码器是一种能够通过无监督学习，学到输入数据高效表示的人工神经网络。通过自动编码器网络的编码过程学习入侵数据的特征，并将结果作为分类器的输入，得到入侵数据的类型。基于特征选择的方法可以减小特征的维度，但这种方法很大程度上取决于特征选择算法的质量，不能保证在每种数据场景下均具有最佳性能，特别是对于入侵数据这种不平衡的数据集。并且这种特征选择方法还需要人工进行特征提取和筛选再进行分类，不能自主进行参数调整，完成学习和分类的目标。尽管基于深度学习的方法不需要人工辅助进行特征提取就可以自动提取数据的特征，但它无法计算入侵数据中属性特征的梯度，无法学习到属性特征之间的复杂关系。
技术实现思路
本专利技术要解决的技术问题：针对现有入侵检测方法学习到的特征关系较少，检测准确率不高的技术问题，提供一种基于显式和隐含特征学习的智能入侵检测方法和系统，本专利技术能够学习到较多的特征关系，从而可有效提高智能入侵检测的检测准确率。为了解决上述技术问题，本专利技术采用的技术方案为：一种基于显式和隐含特征学习的智能入侵检测方法，包括训练入侵检测神经网络的步骤：1)输入网络行为数据包含显式和隐含特征的嵌入式表征e；2)将嵌入式表征e输入初始的入侵检测神经网络得到数据表征r；3)随机生成随机三元组Tr；4)根据损失函数和随机三元组Tr小批量梯度下降更新入侵检测神经网络的参数集合Θ；5)判断迭代次数i小于预设阈值epoch是否成立，若成立则结束入侵检测神经网络的训练；否则，跳转执行下一步；6)利用更新后的侵检测分类器的参数集合Θ更新数据表征r；7)从随机三元组Tr中生成严格三元组Th；8)根据损失函数和严格三元组Th小批量梯度下降更新入侵检测神经网络的参数集合Θ；9)将迭代次数i加1，跳转执行步骤5)。可选地，步骤1)中的网络行为数据的嵌入式表征e为由网络行为数据中离散数据的连续型表征ec、网络行为数据中连续数据的连续特征en拼接得到。可选地，步骤2)中的入侵检测神经网络为编码器多层神经网络，所述编码器多层神经网络由四层全连接的神经网络构成，初始的入侵检测神经网络是指初始的参数集合Θ设置为：Θ＝{W1,W2,W3,W4,b1,b2,b3,b4}上式中，W1～W4分别为四层神经网络的权重，b1～b4分别为四层神经网络的偏置；且所述入侵检测神经网络通过第二层神经网络得到数据表征r，其函数表达式为：r＝relu(W2relu(W1e+b1)+b2)上式中，relu为线性整流激活函数，e表示网络行为数据的嵌入式表征。可选地，步骤3)中随机生成随机三元组Tr时，随机生成单个随机三元组Tr的步骤包括：从数据表征r的正常样本类数据中选择一个原点样本ra，同样在正常样本类数据中随机选取一个正样本rp，在异常样本类数据中随机选取一个负样本rn，得到由原点样本ra、正样本rp、负样本rn三者构成的随机三元组Tr＝{<ra,rp,rn>}。可选地，步骤4)包括：4.1)在所有的随机三元组Tr中采样一组小批量三元组B；4.2)针对小批量三元组B中的每一个随机三元组Tr，根据下式计算损失函数L，根据下式将每一个随机三元组Tr的损失函数L相加，得到小批量三元组B的总损失函数LB：上式中，Lcls为分类损失函数，且分类损失函数Lcls采用分类交叉熵损失函数，为超参数，超参数用于控制分类损失函数Lcls和三元组损失函数Ltri对于总损失函数LB的贡献比例，Ltri为三元组损失函数，<ra,rp,rn>表示某一个随机三元组Tr；4.3)对小批量三元组B的总损失函数LB中包含的入侵检测神经网络的参数集合Θ，计算其梯度并根据在梯度下降方向更新入侵检测神经网络的参数集合Θ中的{W1,W2,b1,b2}，其中W为神经网络参数，表示参数集合Θ中的任一参数，β为神经网络学习速率。可选地，步骤6)包括：将嵌入式表征e输入更新参数Θ中的{W1,W2,b1,b2}后的入侵检测神经网络更新数据表征r。可选地，步骤7)包括：7.1)通过L＝max(d(a,p)-d(a,n)+ε,0)计算每一个随机三元组Tr的筛选函数值L，其中L为筛选函数值，d(a,p)表示原点样本ra、正样本rp之间的距离，d(a,n)表示原点样本ra、负样本rn之间的距离，max为最大值函数，ε为超参数；7.2)选择筛选函数值L最小的指定数量组随机三元组Tr的构成严格三元组Th。可选地，步骤7)包括：7.1)在所有的严格三元组Th中采样一组小批量三元组B；7.2)针对小批量三元组B中的每一个严格三元组Th，根据下式计算损失函数L，根据下式将每一个随机三元组Tr的损失函数L相加本文档来自技高网...

【技术保护点】
1.一种基于显式和隐含特征学习的智能入侵检测方法，其特征在于，包括训练入侵检测神经网络的步骤：/n1)输入网络行为数据包含显式和隐含特征的嵌入式表征e；/n2)将嵌入式表征e输入初始的入侵检测神经网络得到数据表征r；/n3)随机生成随机三元组T

【技术特征摘要】
1.一种基于显式和隐含特征学习的智能入侵检测方法，其特征在于，包括训练入侵检测神经网络的步骤：
1)输入网络行为数据包含显式和隐含特征的嵌入式表征e；
2)将嵌入式表征e输入初始的入侵检测神经网络得到数据表征r；
3)随机生成随机三元组Tr；
4)根据损失函数和随机三元组Tr小批量梯度下降更新入侵检测神经网络的参数集合Θ；
5)判断迭代次数i小于预设阈值epoch是否成立，若成立则结束入侵检测神经网络的训练；否则，跳转执行下一步；
6)利用更新后的侵检测分类器的参数集合Θ更新数据表征r；
7)从随机三元组Tr中生成严格三元组Th；
8)根据损失函数和严格三元组Th小批量梯度下降更新入侵检测神经网络的参数集合Θ；
9)将迭代次数i加1，跳转执行步骤5)。


2.根据权利要求1所述的基于显式和隐含特征学习的智能入侵检测方法，其特征在于，步骤1)中的网络行为数据的嵌入式表征e为由网络行为数据中离散数据的连续型表征ec、网络行为数据中连续数据的连续特征en拼接得到。


3.根据权利要求1所述的基于显式和隐含特征学习的智能入侵检测方法，其特征在于，步骤2)中的入侵检测神经网络为编码器多层神经网络，所述编码器多层神经网络由四层全连接的神经网络构成，初始的入侵检测神经网络是指初始的参数集合Θ设置为：
Θ＝{W1，W2，W3，W4，b1，b2，b3，b4}
上式中，W1～W4分别为四层神经网络的权重，b1～b4分别为四层神经网络的偏置；且所述入侵检测神经网络通过第二层神经网络得到数据表征r，其函数表达式为：
r＝relu(W2relu(W1e+b1)+b2)
上式中，relu为线性整流激活函数，e表示网络行为数据的嵌入式表征。


4.根据权利要求1所述的基于显式和隐含特征学习的智能入侵检测方法，其特征在于，步骤3)中随机生成随机三元组Tr时，随机生成单个随机三元组Tr的步骤包括：从数据表征r的正常样本类数据中选择一个原点样本ra，同样在正常样本类数据中随机选取一个正样本rp，在异常样本类数据中随机选取一个负样本rn，得到由原点样本ra、正样本rp、负样本rn三者构成的随机三元组Tr＝{＜ra，rp，rn＞}。


5.根据权利要求3所述的基于显式和隐含特征学习的智能入侵检测方法，其特征在于，步骤4)包括：
4.1)在所有的随机三元组Tr中采样一组小批量三元组B；
4.2)针对小批量三元组B中的每一个随机三元组Tr，根据下式计算损失函数L，根据下式将每一个随机三元组Tr的损失函数L相加，得到小批量三元组B的总损失函数LB：






上式中，Lcls为分类损失函数，且分类损失函数Lcl...

【专利技术属性】
技术研发人员：蹇松雷，王伟，谭郁松，黄辰林，丁滟，任怡，李宝，董攀，王晓川，张建锋，谭霜，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43