一种网络流量多任务增量预训练模型架构设计方法技术

本发明专利技术公开了一种网络流量多任务增量预训练模型架构设计方法，属于网络安全检测技术领域。解决了现有技术中传统的多任务深度神经网络框架无法随网络环境动态变化保持对新任务的高精度判别能力的问题；本发明专利技术构建了预训练模型与共有知识表示层分离的、引入特定任务表示层的多任务增量预训练模型架构；对多任务增量预训练模型架构中的预训练模型进行训练，得到训练后的多任务增量预训练模型架构；对训练后的多任务增量预训练模型架构进行微调，根据设置的共有知识表示层架构和特定任务表示层架构，得到最终的多任务增量预训练模型架构。本发明专利技术有效提升了网络流量检测的泛化能力、稳定性和检测效果，可以应用于复杂多变的网络环境下的网络流量检测。

【技术实现步骤摘要】

本专利技术涉及一种网络流量多任务增量预训练模型架构设计方法，属于网络安全检测。

技术介绍

1、现有的网络安全检测方法在应对不断增长的网络数据量和日益复杂的网络攻击模式时，存在以下不足之处：(1)传统检测方法如基于特征匹配的入侵检测系统(ids)、端口扫描和深度包检测(dpi)依赖于预定义的特征工程和规则库，其需要耗费大量的人力进行特征设计和维护，导致成本高昂；(2)面对日益复杂和动态变化的网络攻击行为，传统检测方法的适应性较差，难以捕捉网络流量中隐含的非线性模式，尤其是在面对新型攻击和未知威胁时，检测效果明显不足；(3)现有的网络检测系统通常需要依赖大规模的有标注数据进行训练，然而，在实际应用中，获取大规模、准确且涵盖广泛场景的有标注网络流量数据极其困难，特别是在复杂多变的网络环境下，标注数据集的稀缺性进一步限制了传统方法的性能提升，；(4)现有技术在网络环境动态变化时，无法保持对旧任务的检测能力，同时难以适应新的网络任务和应用场景。

2、近年来，深度学习在各个领域的应用取得了巨大进展，尤其是预训练模型在自然语言处理(nlp)中的成功应用，显著本文档来自技高网...

【技术保护点】

1.一种网络流量多任务增量预训练模型架构设计方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种网络流量多任务增量预训练模型架构设计方法，其特征在于，所述S2中，包括以下步骤：

3.根据权利要求2所述的一种网络流量多任务增量预训练模型架构设计方法，其特征在于，所述S3中，包括以下步骤：

【技术特征摘要】

1.一种网络流量多任务增量预训练模型架构设计方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种网络流量多任务增量预训练模型架构设计方法，...

【专利技术属性】
技术研发人员：余翔湛，谷杰铭，刘奉哲，刘立坤，胡智超，葛蒙蒙，秦浩伦，李卓凌，刘海心，宋晨，王邦国，牟铎，张垚，张靖宇，周杰，傅言晨，李岱林，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：