【技术实现步骤摘要】
本专利技术涉及网络异常检测中的网络安全入侵检测系统、it系统和服务器监控、电信网络监控、移动蜂窝网络故障检测、教育和在线学习平台检测领域，具体是一种基于半异步联邦深度学习的网络入侵检测的方法。
技术介绍
1、网络异常检测(nad)是一种关键的网络安全技术，通过分析网络流量、系统日志和其他相关数据，旨在发现和识别计算机网络中的异常行为。首先，nad收集大量的网络数据(如图1所示)，包括传入和传出的数据流量、网络设备的状态信息以及用户的操作行为等。随后，经过数据预处理和特征提取的步骤，将原始数据转换为可用于机器学习和数据挖掘的格式，以便进行后续的分析和建模。其次，nad利用各种监督学习或无监督学习算法构建模型，通过对已知正常行为和异常行为的学习，来实现对网络中异常活动的检测和识别。这种方法能够及时发现各种网络攻击，如ddos攻击、恶意软件传播以及未经授权的访问等，并采取相应的措施来应对和防范，从而维护网络的安全和稳定。
2、网络异常检测(nad)的任务是监视计算机网络中的活动，以识别任何不符合正常行为模式的异常情况。这包括检测可能是由恶意攻击、系统故障、设备故障、配置错误或其他异常情况引起的任何异常活动。nad通过收集和分析网络流量数据、系统日志、设备状态信息以及用户行为等数据来实现其任务。其目标是及时发现和识别这些异常情况，并采取适当的措施来应对和防范潜在的威胁，保护网络安全和确保网络服务的可靠性。通过实时监控和分析网络数据流，nad能够帮助网络管理员和安全专家快速识别并应对各种网络安全威胁，提高网络的安全性和稳定性。
3、网络异常是指在计算机网络中出现的与正常行为模式显著不同的行为或事件，这些异常可能由外部攻击、内部恶意行为、系统故障或其他非预期因素引起，表现为异常的网络流量、不寻常的系统日志、未授权的数据访问等，对网络安全构成威胁。网络异常的检测对于及时发现和响应潜在的安全威胁至关重要，它涉及对大量网络数据的实时监控和分析，以便识别并隔离这些异常行为，保护网络系统和数据不受损害。
4、网络异常检测(nad)的基本步骤通常包括：首先，收集和整理网络中生成的数据，如流量日志、系统日志和用户行为记录；其次，建立正常网络行为的基线或模型，这可能涉及使用统计分析、机器学习或深度学习技术来从历史数据中学习正常模式；接着，持续监控实时网络活动，并将观察到的行为与建立的基线或模型进行比较，以识别偏差和异常；然后，对检测到的异常进行分析，以确定它们是否指示真实的安全威胁；最后，对确认的异常事件采取响应措施，包括触发安全策略或自动隔离受感染的系统，以减轻潜在的风险。
5、网络异常检测(nad)的基本原理是建立在对网络活动数据进行深入分析的基础上的。它通过收集和处理网络流量、系统日志以及其他相关的网络活动数据，来构建正常行为的模式或基线。这个基线是通过对历史数据进行统计分析和机器学习模型的训练得到的。一旦建立了基线，nad就会实时监测当前网络行为，并将其与已有的基线进行比较。通过比较实时行为与基线的差异，nad能够快速而准确地识别出显著偏离正常模式的异常行为。这种基于模式识别和比较的方法，使得nad能够在大规模网络环境中迅速、有效地发现各种潜在的网络安全威胁和异常活动，从而及时采取相应的措施来保护网络安全和提高网络的稳定性。
6、现有的常用网络异常检测方法包括基于统计、距离、聚类、机器学习、深度学习、联邦学习等多种技术。基于统计的网络异常检测方法在数据不符合已知分布时受限，基于距离的方法在大数据集上计算成本高昂，而聚类方法可能对噪声敏感且依赖于初始条件。机器学习技术检测网络异常如决策树和支持向量机在标记数据充足时效果显著，但对未知异常模式的泛化能力有限。基于深度学习检测网络异常，尽管在特征提取上表现出色，但需要大量训练数据且模型透明度低。同步联邦学习在不共享数据的情况下保护隐私，但需要良好的协作和解决通信成本偏高的挑战，传统的半异步模型更新：利用超参数p来控制每轮全局聚合中参与的客户端比例。大多数现有方法使用fedavg进行全局模型更新，其想法是预先选择p比例的客户端参与每轮训练，然后等待所有选定的客户端完成训练，然后进行全局聚合，这本质上还是一种同步方法。
7、尽管之前的许多方式在改进nad模型的准确性和效率方面取得了进展，但是这些方式难以满足当今时代的网络设备规模日益庞大导致的通信量剧增以及各公司、企业、个人对本地数据隐私的需求日益增高的挑战。
8、现有网络异常检测方法中存在的隐私保护不足和通信开销大的问题。在传统的网络异常检测系统中，为了实现准确的检测，往往需要集中存储和处理大量的网络流量数据，这不仅涉及个人或机构隐私数据的泄露风险，而且需要巨大的网络带宽和存储资源，尤其是在数据量庞大的情景下，这些要求变得更加苛刻。
技术实现思路
1、本专利技术的目的是为解决现有网络异常检测方法中存在的隐私保护不足和通信开销大的问题，而提供一种基于半异步联邦深度学习的网络入侵检测的方法。这种方法通过在客户端本地进行模型训练和更新，有效地保护了用户数据的隐私，降低了通信量，提高了系统的灵活性和鲁棒性，并在模型效率上取得了显著的提升。
2、实现本专利技术目的的技术方案是：
3、基于半异步联邦深度学习的网络入侵检测的方法，包括如下步骤：
4、1)任务定义：给定网络流量数据序列作为特征f＝{f1,f2,...,fn}，其中每个fi代表在特定时间点捕获的网络行为特征向量，以及一个表示异常类型的标签集合l＝{l1,l2,...,lm}，为训练一个深度学习模型，每个网络行为分配一个标签lj，lj∈l代表特定的异常类型，将特征f和标签l作为训练模型的数据集利用半异步联邦学习框架，在不共享原始数据的基础上，允许多个网络参与者协作训练一个共享的入侵检测模型，有效保护了数据隐私，同时全局聚合中选择比例阈值p的客户参与聚合，降低了通信开销，并提高了检测模型的泛化能力和准确性；
5、2)数据集构建：将数据集转换为需要的dirichlet分布，数据集划分的任务是通过随机抽样和权重累积wcumsum值的和的方式将整个训练数据集xtrain及xtrain对应的标签ytrain分割为n个子集；
6、数据集构建分配的具体过程如下：
7、
8、
9、首先，使用dirichlet分布生成n个权重，并通过累积和计算确定每个子集的划分边界；接着，对完整数据集执行洗牌操作以确保随机性和一致性；随后，遍历每个权重，根据权重的累积值计算出每个子集的结束索引，并从洗牌后的数据集中提取出相应的特征和标签子集；最终，返回包含所有子集特征和标签的列表；该方式模拟了联邦学习系统中客户端数据集non-iid的场景，允许在不泄露数据隐私的前提下，进行分布式数据训练，同时确保数据分布的一致性；
10、3)模型结构：
11、3.1联邦学习服务端：使用联邦学习服务端负责管理和协调联邦学习过程中的客户端，服务端的核心功能本文档来自技高网...
【技术保护点】
1.基于半异步联邦深度学习的网络入侵检测的方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于半异步联邦深度学习的网络入侵检测的方法，其特征在于，所述步骤1)中网络流量数据视为一个样本，并使用数据里的参数作为样本特征，然后，将特征和对应的标签连接起来作为模型的输入，样本特征及其对应的含义如下：
【技术特征摘要】
1.基于半异步联邦深度学习的网络入侵检测的方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于半异步联邦深度学习的网络入侵检测的方法，其...
【专利技术属性】
技术研发人员：彭红艳，苏太智，彭凯辰，杨毅鹏，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。