【技术实现步骤摘要】
本专利技术属于网络安全，具体地说是基于伪标签半监督多层极限学习机的网络入侵检测方法。
技术介绍
1、多层极限学习机是极限学习机的深度网络，旨在将elm的单隐含层结构拓展为多隐含层结构。作为elm与深度学习的结合，ml-elm通过极限学习机-自编码器逐层提取样本的高级抽象特征，而后通过elm将抽象特征映射到类别标签或期望预测。与elm相比，ml-elm的深度网络结构拥有更强的特征提取与分类能力，更易逼近任意复杂函数。与其他深度学习算法相比ml-elm的网络参数无需迭代微调，极大降低了训练时间。凭借优异的泛化性能与高效的训练效率，ml-elm已逐步应用于机械故障诊断、遥感图像分类、无源目标定位等领域；
2、近年来，研究者对ml-elm进行了深入研究，提出了一系列的改进方法。通过将核风险敏感损失准则融入到ml-elm中，提出了基于最小核风险敏感损失的堆叠极限学习机，旨在提升ml-elm对离群值与噪声的鲁棒性；或是将迁移学习引入到ml-elm中，提出了基于迁移学习的多层极限学习机，采用粒子群算法优化ml-elm网络输出权值，并采用联合分布自适应更新ml-elm的隐含层连接权值；或是通过将网络的全连接结构替换为密集连接结构，提出了密集层次化极限学习机。与原有ml-elm算法相比，d-helm的隐含层输入是所有先前隐含层输出的集合，这有效减少了网络所需的隐含层节点数，加快了算法的训练速度。
3、然而，由于认知与效率的局限，现有样本标签标注技术难以处理大规模的训练样本，导致在网络入侵检测中，采集的网络样本中含有相当多的
技术实现思路
1、为了解决上述技术问题，本专利技术提供基于伪标签半监督多层极限学习机的网络入侵检测方法，以解决
技术介绍
中提出的问题。
2、基于伪标签半监督多层极限学习机的网络入侵检测方法，包括以下步骤：
3、s1、将伪标签与ml-elm相结合，提出基于伪标签的半监督多层极限学习机—pl-ml-elm；
4、s2、pl-ml-elm利用极限学习机-自编码器elm-ae对所有训练样本进行无监督特征提取，逐层初始化网络参数，学习所有样本中的特征信息，赋予隐含层初始参数；
5、s3、通过有标签样本计算分类器的输出权值，并对无标签样本进行类别预测，生成伪标签；
6、s4、将伪标签样本带入网络，构造正则化项，通过有标签样本进行计算分类器输出权值，并对无标签进行类别预测，赋予其伪标签，最后构造伪标签分类损失，平衡有标签样本与伪标签样本损失，更新分类器输出权值，完成网络的训练。
7、优选的，所述极限学习机作为无需迭代微调的特殊单隐含层前馈神经网络，elm随机赋值隐含层输入权值与偏置，并通过最小二乘法求解输出权值，完成网络的训练；
8、假设网络各层节点数分别为d、l、m，由于具有一致逼近性，elm以零误差拟合给定的训练样本其网络输出表示为：
9、
10、其中，wi，bi，βi分别为隐含层节点i的输入权值、偏置与输出权值，wi与bi均为随机生成，g(·)为隐含层节点的激活函数。
11、将式(1)简化为：
12、hβ＝t (2)
13、其中，h，β分别为隐含层输出与输出权值矩阵，其计算方法为：
14、
15、
16、elm计算最优隐含层输出权值，以最小化网络损失，其训练过程描述为以下损失函数：
17、
18、其中，c为正则化参数，用于控制经验误差与结构误差的平衡，对(5)式两侧关于输出权值β求导，并取零，得到输出权值β的计算公式为：
19、
20、其中，i为单位矩阵。
21、优选的，所述elm-ae将自编码器与elm相结合，通过无监督模式快速学习样本的特征表示，elm-ae包括编码器与解码器；编码器对样本进行编码，学习样本内在特征的抽象表示；解码器对编码进行解码，确定特征到样本的重构映射；假设各层节点数分别为d，l，d，对于输入样本elm-ae的隐含层输出的计算方法及其与网络输出之间的关系为：
22、h＝g(wx+b) (7)
23、hβ＝x (8)
24、与elm不同，elm-ae随机生成的隐含层输入权值与偏置进行正交化，即wwt＝i,bbt＝i，elm-ae的隐含层输出权值β的计算方法为：
25、
26、求得β，elm-ae通过式(12)提取样本的抽象特征表示：
27、hnew＝xβt (10)
28、优选的，所述pl-ml-elm引入伪标签技术，通过在有标签样本上训练的网络赋予无标签样本以伪标签，并构造伪标签正则化损失，利用伪标签指导所有样本的半监督特征学习与分类过程。
29、优选的，所述pl-ml-elm可分为无监督预训练、有监督训练、伪标签生成与伪标签训练；设定有标签样本{xl,yl}与无标签样本xu，隐含层节点数d,l1,l2,...,lk,l,m，激活函数g(·)；
30、无监督预训练中，pl-ml-elm将通过elm-ae的逐层贪婪训练，计算隐含层连接权值，提取层次化抽象特征，完成隐含层参数的赋值；pl-ml-elm将所有训练样本作为预训练的输入，同时学习有标签样本与无标签样本，在elm-ae的逐层训练中，各隐含层输出之间的关系表示为：
31、
32、其中βi为第i个elm-ae返回的隐含层连接权值，x＝{xl,xu}为有标签样本与无标签样本的集合，hi为第i个隐含层的输出，通过堆叠elm-ae的层次化训练，pl-ml-elm得到所有隐含层的连接权值与输出，实现隐含层参数的赋值；
33、有监督训练中，pl-ml-elm将有标签样本集输入网络中，根据样本标签计算elm分类器隐含层输出权值，完成有标签样本到其类别标签的映射；对于有标签样本xl，pl-ml-elm本文档来自技高网...
【技术保护点】
1.基于伪标签半监督多层极限学习机的网络入侵检测方法，其特征在于，包括以下步骤：
2.如权利要求1所述基于伪标签半监督多层极限学习机的网络入侵检测方法，其特征在于：所述极限学习机作为无需迭代微调的特殊单隐含层前馈神经网络，ELM随机赋值隐含层输入权值与偏置，并通过最小二乘法求解输出权值，完成网络的训练；
3.如权利要求2所述基于伪标签半监督多层极限学习机的网络入侵检测方法，其特征在于：所述ELM-AE将自编码器与ELM相结合，通过无监督模式快速学习样本的特征表示，ELM-AE包括编码器与解码器；编码器对样本进行编码，学习样本内在特征的抽象表示；解码器对编码进行解码，确定特征到样本的重构映射；假设各层节点数分别为d，L，d，对于输入样本ELM-AE的隐含层输出的计算方法及其与网络输出之间的关系为：
4.如权利要求3所述基于伪标签半监督多层极限学习机的网络入侵检测方法，其特征在于：所述PL-ML-ELM引入伪标签技术，通过在有标签样本上训练的网络赋予无标签样本以伪标签，并构造伪标签正则化损失，利用伪标签指导所有样本的半监督特征学习与分类过程。>
5.如权利要求4所述基于伪标签半监督多层极限学习机的网络入侵检测方法，其特征在于：所述PL-ML-ELM可分为无监督预训练、有监督训练、伪标签生成与伪标签训练；设定有标签样本{Xl,Yl}与无标签样本Xu，隐含层节点数d,L1,L2,...,Lk,L,m，激活函数g(·)；
6.如权利要求5所述基于伪标签半监督多层极限学习机的网络入侵检测方法，其特征在于：所述PL-ML-ELM的训练流程中，输入有标签样本{Xl,Yl}，无标签样本Xu，隐含层节点数正则化系数C，正则化系数λ，激活函数g(·)；输出映射函数f:Rd→Rm；
...【技术特征摘要】
1.基于伪标签半监督多层极限学习机的网络入侵检测方法，其特征在于，包括以下步骤：
2.如权利要求1所述基于伪标签半监督多层极限学习机的网络入侵检测方法，其特征在于：所述极限学习机作为无需迭代微调的特殊单隐含层前馈神经网络，elm随机赋值隐含层输入权值与偏置，并通过最小二乘法求解输出权值，完成网络的训练；
3.如权利要求2所述基于伪标签半监督多层极限学习机的网络入侵检测方法，其特征在于：所述elm-ae将自编码器与elm相结合，通过无监督模式快速学习样本的特征表示，elm-ae包括编码器与解码器；编码器对样本进行编码，学习样本内在特征的抽象表示；解码器对编码进行解码，确定特征到样本的重构映射；假设各层节点数分别为d，l，d，对于输入样本elm-ae的隐含层输出的计算方法及其与网络输出之间的关系为：
4.如权利要求3所述基于伪标...
【专利技术属性】
技术研发人员：来杰，李松，王晓丹，向前，王鹏，宋亚飞，
申请(专利权)人：中国人民解放军空军工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。