当前位置: 首页 > 专利查询>暨南大学专利>正文

基于改进BERT融合对比学习的流量异常检测方法及系统技术方案

技术编号:41302783 阅读:36 留言:0更新日期:2024-05-13 14:49
本发明专利技术公开了一种基于改进BERT融合对比学习的流量异常检测方法及系统,该方法包括下述步骤:获取流量数据并进行数据预处理;构建改进BERT模型,包括嵌入层和12个Transformer的编码器网络,对前6个Transformer的编码器和后6个Transformer的编码器网络分别进行权值共享操作;构建分类网络;基于交叉熵损失和对比损失构建总损失函数;改进BERT模型进行无监督预训练;改进BERT模型进行微调训练;通过反向传播更新模型参数,得到训练后的改进BERT模型;将待测试的流量数据输入训练后的改进BERT模型,得到流量检测结果。本发明专利技术能有效提升模型的泛化能力,同时保持稳定准确率。

【技术实现步骤摘要】

本专利技术涉及设备流量检测,具体涉及一种基于改进bert融合对比学习的流量异常检测方法及系统。


技术介绍

1、随着物联网技术的广泛应用,创造了更智能、更高效、更便捷的生活和工作环境,然而,物联网技术的发展也为网络安全带来了严峻挑战,物联网设备的计算和存储资源通常比较有限,因此难以部署如防病毒软件、防火墙等传统防御措施。物联网设备受攻击后,不仅其自身的功能会受到影响,还可能会成为攻击者的跳板,进一步攻击其他设备。因此,通过流量异常检测技术,及时发现网络中的异常行为,提升安全管理能力是当下迫切需求。在过去,基于深度学习的异常流量检测方法主要包括基于cnn的方法和基于rnn的方法,但这两类方法都有一定局限性。网络流量数据通常具有复杂的时空动态特性,基于cnn的方法难以挖掘流量数据全局时序特征,基于rnn的方法可以挖掘全局时序特征,但是无法实现并行计算。近年来,基于bert的方法能够捕捉流量数据中的长距离依赖关系,因此能取得优异的检测性能,但其需要较多的计算资源和内存,无法在资源受限的环境中使用。


技术实现思路>

1、本文档来自技高网...

【技术保护点】

1.一种基于改进BERT融合对比学习的流量异常检测方法,其特征在于,包括下述步骤:

2.根据权利要求1所述基于改进BERT融合对比学习的流量异常检测方法,其特征在于,所述对流量数据进行数据预处理,包括切分数据、扩充词表、数据清洗、统一数据长度;

3.根据权利要求1所述基于改进BERT融合对比学习的流量异常检测方法,其特征在于,所述分类网络包括若干个全连接层和softmax层;

4.根据权利要求1所述基于改进BERT融合对比学习的流量异常检测方法,其特征在于,所述基于交叉熵损失和对比损失构建总损失函数,具体表示为:

5.根据权利要求1所述基于...

【技术特征摘要】

1.一种基于改进bert融合对比学习的流量异常检测方法,其特征在于,包括下述步骤:

2.根据权利要求1所述基于改进bert融合对比学习的流量异常检测方法,其特征在于,所述对流量数据进行数据预处理,包括切分数据、扩充词表、数据清洗、统一数据长度;

3.根据权利要求1所述基于改进bert融合对比学习的流量异常检测方法,其特征在于,所述分类网络包括若干个全连接层和softmax层;

4.根据权利要求1所述基于改进bert融合对比学习的流量异常检测方法,其特征在于,所述基于交叉熵损失和对比损失构建总损失函数,具体表示为:

5.根据权利要求1所述基于改进bert融合对比学习的流量异常检测方法,其特征在于,在得到训练后的改进bert模型步骤之后,还包括模型评估步骤,采用准确率、召回率、精确度以及f1分数评估模型性能,具体表示为:

6.一种基于改进bert融合对比学习的流量异常检测系统,其特征在于,包括:流量数...

【专利技术属性】
技术研发人员:黄斐然钟锦明杨紫宏刘志全林群雄孙全忠陈志荣
申请(专利权)人:暨南大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1