【技术实现步骤摘要】
本专利技术涉及计算机网络安全，尤其涉及一种基于bert模型的异常流量检测方法及系统。
技术介绍
1、互联网为社会带来便利的同时，也存潜藏这许多的安全挑战和网络威胁。互联网用户产生的大量网络流量数据，网络威胁常以网络流量作为载体，遭受攻击后会造成非常严重的后果。基于网络流量的威胁检测能在攻击的第一阶段进行网络防御，是网络威胁检测系统的主要方法之一。
2、传统的网络流量异常检测方法主要分为基于规则和基于特征工程的方法，基于规则的检测技术只能针对已有的入侵行为生成规则进行匹配，不具备检测新出现的未知威胁的能力。基于机器学习的检测技术需要人为构建有限的特征集合，机器学习模型的效果很大程度取决于特征质量，入侵者改变攻击策略后难以检测。现有的威胁检测技术对网络流量异常检测能力不足，导致检测的结果精度低。
技术实现思路
1、鉴于上述问题，提出了本专利技术以便提供克服上述问题或者至少部分地解决上述问题的一种基于bert模型的异常流量检测方法及系统。
2、根据本专利技术的一个方面，提供了一种基于bert模型的异常流量检测方法，所述检测方法包括：
3、步骤s1：获取训练数据源；
4、步骤s2：对输入的所述训练数据源进行预处理；
5、步骤s3：训练bert预训练模型，生成第一特征向量；
6、步骤s4：训练多层感知机模型，生成第二特征向量；
7、步骤s5：将所述第一特征向量和所述第二特征向量进行连接和展平生成组合特征向量；
8、步骤s6：训练moe混合专家模型，得到异常检测结果。
9、可选的，所述步骤s1：获取训练数据源具体包括：
10、流量训练数据集和日志标签文件，所述流量训练数据为抓取的实时网络流量，所述日志标签文件包括流量五元组信息及对应的攻击类型。
11、可选的，所述步骤s2：对输入的所述训练数据源进行预处理包括：网络切流、流量清洗与标签关联，得到会话流包序列和会话流标签。
12、可选的，所述步骤s3：训练bert预训练模型，生成第一特征向量具体包括：
13、从所述会话流包序列生成会话流嵌入向量，包括token嵌入、位置嵌入和段嵌入三类嵌入；
14、将所述会话流嵌入向量送入bert预训练模型进行非监督训练，得到所述训练完成的bert预训练模型；
15、训练完成的bert预训练模型的输出向量作为第一特征向量。
16、可选的，所述步骤s4：训练多层感知机模型，生成第二特征向量具体包括：
17、从所述会话流包序列中获取会话流特征信息；
18、将提取的会话流特征信息进行归一化处理；
19、将所述会话流特征信息和会话流标签送入多层感知机模型进行监督训练，得到所述训练完成的多层感知机模型；
20、训练完成的多层感知机模型的中间层向量输出作为第二特征向量。
21、可选的，所述步骤s6：训练moe混合专家模型，得到异常检测结果具体包括：
22、构建moe混合专家模型，包括专家网络和一个门控网络，每个所述专家网络都是具有relu激活的多层感知器，所述门控网络来决定每个专家模型的权重；
23、训练moe混合专家模型，包括门控网络训练和专家模型训练；
24、在门控网络的训练中，通过最小化预测输出与真实标签之间的误差，来调整门控网络的参数。
25、可选的，所述门控网络和所述专家网络包括多层感知器，每个任务的参数不同。
26、可选的，所述在专家模型的训练中，根据专家模型的类型，使用相应的训练算法进行参数优化。
27、本专利技术还提供了一种基于bert模型的异常流量检测系统，应用上述所述的一种基于bert模型的异常流量检测方法，所述检测系统包括：
28、原始流量获取模块，用于获取训练数据源；
29、数据预处理模块，用于对输入的所述训练数据源进行预处理；
30、异常流量检测模块，用于训练bert预训练模型，生成第一特征向量；训练多层感知机模型，生成第二特征向量；将所述第一特征向量和所述第二特征向量进行连接和展平生成组合特征向量；检测结果生成模块，用于训练moe混合专家模型，得到异常检测结果。
31、本专利技术提供的一种基于bert模型的异常流量检测方法及系统，所述检测方法包括：步骤s1：获取训练数据源；步骤s2：对输入的所述训练数据源进行预处理；步骤s3：训练bert预训练模型，生成第一特征向量；步骤s4：训练多层感知机模型，生成第二特征向量；步骤s5：将所述第一特征向量和所述第二特征向量进行连接和展平生成组合特征向量；步骤s6：训练moe混合专家模型，得到异常检测结果。预测时采用训练好的bert预训练模型、多层感知机模型、moe混合专家模型对异常流量检测，使用过程中无需专家的帮助，能够提高异常流量检测效率和精确度。
32、上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
本文档来自技高网...【技术保护点】
1.一种基于BERT模型的异常流量检测方法，其特征在于，所述检测方法包括：
2.根据权利要求1所述的一种基于BERT模型的异常流量检测方法，其特征在于，所述步骤S1：获取训练数据源具体包括：
3.根据权利要求1所述的一种基于BERT模型的异常流量检测方法，其特征在于，所述步骤S2：对输入的所述训练数据源进行预处理包括：网络切流、流量清洗与标签关联，得到会话流包序列和会话流标签。
4.根据权利要求2所述的一种基于BERT模型的异常流量检测方法，其特征在于，所述步骤S3：训练BERT预训练模型，生成第一特征向量具体包括：
5.根据权利要求2所述的一种基于BERT模型的异常流量检测方法，其特征在于，所述步骤S4：训练多层感知机模型，生成第二特征向量具体包括：
6.根据权利要求1所述的一种基于BERT模型的异常流量检测方法，其特征在于，所述步骤S6：训练MoE混合专家模型，得到异常检测结果具体包括：
7.根据权利要求6所述的一种基于BERT模型的异常流量检测方法，其特征在于，所述门控网络和所述专家网络包括多层感知器，
8.根据权利要求6所述的一种基于BERT模型的异常流量检测方法，其特征在于，所述在专家模型的训练中，根据专家模型的类型，使用相应的训练算法进行参数优化。
9.一种基于BERT模型的异常流量检测系统，应用上述权利要求1-8任意一项所述的一种基于BERT模型的异常流量检测方法，其特征在于，所述检测系统包括：
...【技术特征摘要】
1.一种基于bert模型的异常流量检测方法，其特征在于，所述检测方法包括：
2.根据权利要求1所述的一种基于bert模型的异常流量检测方法，其特征在于，所述步骤s1：获取训练数据源具体包括：
3.根据权利要求1所述的一种基于bert模型的异常流量检测方法，其特征在于，所述步骤s2：对输入的所述训练数据源进行预处理包括：网络切流、流量清洗与标签关联，得到会话流包序列和会话流标签。
4.根据权利要求2所述的一种基于bert模型的异常流量检测方法，其特征在于，所述步骤s3：训练bert预训练模型，生成第一特征向量具体包括：
5.根据权利要求2所述的一种基于bert模型的异常流量检测方法，其特征在于，所述步骤s4：训练多层感...
【专利技术属性】
技术研发人员：朱俊芳，郭超，韦崴，宋文芳，张招亮，
申请(专利权)人：中国电子产业工程有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。