当前位置: 首页 > 专利查询>浙江大学专利>正文

一种基于知识蒸馏的工控网络入侵检测方法及装置制造方法及图纸

技术编号:41808310 阅读:21 留言:0更新日期:2024-06-24 20:27
本发明专利技术公开了一种基于知识蒸馏的工控网络入侵检测方法,该方法利用预训练大模型作为主要教师模型,利用神经网络模型作为辅助教师模型,将网络流量数据转化为灰度图像以训练主要教师模型,利用网络流量数据训练辅助教师模型,设置损失函数以使得学生模型从主要教师模型的特征提取、标签预测与真实标签中都能学习到知识,辅助教师模型只参与蒸馏损失计算,由辅助教师模型来纠正主要教师模型的预测错误,相当于对蒸馏过程进行剪枝,在保留大部分效果的情况下有效降低了训练消耗,使用类似单教师蒸馏的成本达到了多教师蒸馏的效果。

【技术实现步骤摘要】

本专利技术属于入侵检测,尤其涉及一种基于知识蒸馏的工控网络入侵检测方法及装置


技术介绍

1、一旦工控网络遭受攻击,可能会导致生产中断、设备损坏,甚至引发安全事故。因此,及时有效地检测和防御网络攻击是网络安全领域的重要课题。网络入侵检测作为一种有效的攻击防护手段,能够检测网络流量数据异常,进而防护网络攻击行为,正在受到越来越多的关注。

2、深度学习是一种模拟人脑神经网络的机器学习算法,近年来在图像识别、语音识别、自然语言处理等领域取得了显著的成果,其在网络入侵检测中的应用也引起了广泛的关注。由于深度学习能够从大量的数据中自动学习和提取特征,因此,它被视为一种有效的工控网络入侵检测技术。然而,深度学习技术也存在一些问题,如需要大量的标注数据、模型的计算复杂度高、对硬件设备的要求高等,这在一定程度上限制了其在工控网络入侵检测中的应用。

3、目前的工控网络入侵检测方法还不能充分挖掘流量数据的特征,如:

4、《一种基于1d cnn-bisru的工控网络入侵检测方法》(申请号cn202211667151.3)提出一种基于cnn-s本文档来自技高网...

【技术保护点】

1.一种基于知识蒸馏的工控网络入侵检测方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,获取网络流量数据,并将其编码为灰度图像,从而得到训练集,包括:

3.根据权利要求1所述的方法,其特征在于,在学生模型的训练之前,在主要教师模型和学生模型中各添加一层投影层,通过学生模型得到关于所述灰度图像的所述第三标签向量,计算教师模型和学生模型的投影层输出的特征之间的损失,作为所述特征损失。

4.根据权利要求3所述的方法,其特征在于,采用ViT模型作为主要教师模型,采用CNN-BiLSTM模型作为辅助教师模型,采用MobileViT模型作为学生模...

【技术特征摘要】

1.一种基于知识蒸馏的工控网络入侵检测方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,获取网络流量数据,并将其编码为灰度图像,从而得到训练集,包括:

3.根据权利要求1所述的方法,其特征在于,在学生模型的训练之前,在主要教师模型和学生模型中各添加一层投影层,通过学生模型得到关于所述灰度图像的所述第三标签向量,计算教师模型和学生模型的投影层输出的特征之间的损失,作为所述特征损失。

4.根据权利要求3所述的方法,其特征在于,采用vit模型作为主要教师模型,采用cnn-bilstm模型作为辅助教师模型,采用mobilevit模型作为学生模型,在主要教师模型的transformer编码器层后设置一个投影层,在学生模型的第一个mobilevit block后...

【专利技术属性】
技术研发人员:张秉晟齐冲任奎
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1