一种基于联邦学习的网络入侵检测方法技术

本发明专利技术公开了一种基于联邦学习的网络入侵检测方法，本发明专利技术步骤：建立LSTM的联邦学习入侵检测框架；客户端对入侵数据集进行处理；服务器(联邦学习中心平台)将联邦学习全局模型发送给客户端(某机构网络)；客户端根据本地数据进行联邦学习训练，将训练完的参数和损失值发送给服务器；服务器结合数据量大小进行加权平均计算生成新的全局模型。重复操作直至模型收敛，性能稳定。再将完成训练的模型发送给客户端进行实时入侵检测。本发明专利技术提出的基于联邦学习的入侵检测方法，既保证了网络流量数据的隐私性，又保证的深度学习准确性，实现在数据保留在本地的前提下实现模型的协同训练。据保留在本地的前提下实现模型的协同训练。据保留在本地的前提下实现模型的协同训练。

【技术实现步骤摘要】
一种基于联邦学习的网络入侵检测方法


[0001]本专利技术涉及联邦学习与网络安全领域，具体涉及一种基于联邦学习的网络入侵检测方法。

技术介绍

[0002]在信息技术的迅速发展中，网络安全是一个必须要面对的问题。网络攻击事件的频繁发生，造成了各方面重大的损失。入侵检测是一个常用的网络安全防御技术。通过有效的检测手段解析网络流量，从中识别具有不同于正常流量特性的流量数据，尤其是针对种种恶意程序的攻击行为。深度学习的提出就是为了从大量混乱无序的高维度数据进行进一步的特征学习，并且优势也在于能通过设置合理的训练参数建立出学习模型进行最优特征的选择。目前已经有较多研究把深度学习应用于网络入侵检测系统中去进行安全防御。深度学习需要庞大的数据集来进行训练，训练集规模越大，模型的性能就越好。网络流量数据集越丰富，最后模型入侵检测的准确率就越高但是，网络流量集中收集，将涉及隐私问题。现有基于深度学习的入侵检测都是依靠本地的网络流量来进行模型训练。不同的网络运营商、不同的机构一般情况下不会将网络流量集中共享来构建完整的入侵检测网络流量数据集。
[0003]联邦学习是一种满足隐私保护和数据安全的前提下使用数据进行机器学习的框架。它最早是由Google提出的概念，其主要想法是基于分布在多个设备上的数据集构建机器学习模型，同时防止数据泄露。传统的机器学习训练方法是将数据集中收集进行模型训练。联邦学习的基本结构由服务端和多个客户端组成。服务端不收集数据，但是可以收集模型的参数，服务器协调客户端参与训练，每个客户端都有训练数据。客户端将训练的数据保留在本地，并用这些数据训练一个本地模型，然后将自己的参数加密或者不加密上传给服务端，服务端通过将收集的参数进行平均或者加权平均，再广播给每个客户端进行下一轮训练。
[0004]所以联邦学习可以解决各种机构在不共享网络流量数据的情况下实现入侵检测深度学习的模型训练。参与联邦学习的机构可以是网络运营商、医疗、教育和金融等各种具有重要网络流量的机构。运营商网络是网络流量最大并且直接面向用户的网络，对其进行入侵检测及其他网络安全措施显得尤为重要。而不同运营商网络流量不会共享，进行基于深度学习的入侵检测模型训练时都仅仅只使用各家自己的网络流量。联邦学习可以协调各个运营商在不共享网络流量的前提下进行协同训练一个入侵检测的深度学习模型，从而增加训练的数据集，提升入侵检测模型的性能。金融和医疗等机构的数据十分重要，遭受网络攻击的频率较高。而他们的内部网络流量数据非常敏感，相比于运营商网络，他们的数据量就更小了。若要获得一个性能较好的入侵检测深度学习模型就更加需要联邦学习来跟其他同领域机构来实现协同训练模型。这些机构就是联邦学习的客户端，服务器将部署在云端。当联邦学习完整部署后，在各个客户端和服务器端之间自动联动。除此之外，客户端可以根据情况随时退出参与学习。联邦学习不需要每一轮学习都要求所有客户端同时参与。

技术实现思路

[0005]基于深度学习的网络入侵检测方法较多，检测的准确率较高，证明了深度学习在网络入侵检测上应用的可行性。但是大部分方法还提出了数据集不足等问题。常见的中心化深度学习方法需要将各种机构网络流量收集，这就将会导致隐私问题。若通过改变模型结构或生成新数据集等方法则较为复杂，应用到真实网络场景中难度较大。联邦学习既可以解决的数据集不足问题，又保护了网络流量的隐私性。本专利技术的目的在于解决上述技术问题，并提供一种基于联邦学习的网络入侵检测方法。
[0006]本专利技术具体采用的技术方案如下：
[0007]一种基于联邦学习的网络入侵检测方法，其包括如下步骤：
[0008]S1、建立LSTM的联邦学习入侵检测框架，确定联邦学习中心服务器，并将加入联邦学习的网络机构作为客户端；
[0009]S2、加入联邦学习的各个客户端对本地的网络流量进行数据处理和攻击类型标注，使其满足LSTM模型的输入要求；所述LSTM模型的输入为网络流量数据，输出为网络入侵攻击类型；
[0010]S3、联邦学习中心服务器将服务器上存储的最新的LSTM模型分发给各个客户端，而各客户端分别利用各自标注后的网络流量数据，在本地对服务器分发的LSTM模型进行一轮训练，再将训练完成的模型参数和损失函数值发回服务器；
[0011]S4、服务器结合每个客户端的数据总量，将各个客户端发回的模型参数和损失函数值进行加权平均，更新服务器上存储的LSTM模型的全局模型参数和全局损失函数值；
[0012]S5、不断重复S3和S5迭代更新服务器上存储的LSTM模型，直至服务器上加权平均后的全局损失函数值已经收敛，服务器保存最新的LSTM模型作为网络入侵检测模型；
[0013]S6、服务器将网络入侵检测模型分发给各个客户端，各个客户端基于服务器最新分发的网络入侵检测模型，将本地实时的网络流量数据输入模型中得到网络入侵攻击类型的分类结果，实现本地的网络入侵检测。
[0014]作为优选，所述LSTM的联邦学习入侵检测框架，包括一个作为中心平台的服务器和若干参与联邦学习的客户端；作为客户端的网络机构在本地均存储有网络入侵数据；各客户端统一从服务器接收LSTM模型，并在本地利用本地存储的数据进行训练，训练完毕后各个客户端再将训练后的模型参数以及损失函数值再上传到服务器，协同更新服务器上存储的LSTM模型，从而保证网络流量数据保留在各个客户端本地，又实现多数据集的协同训练。
[0015]作为优选，所述作为联邦学习客户端的网络机构是任何拥有网络流量数据的机构，机构类型包括网络运营商、校园网络、金融机构网络、医疗机构网络，且这些机构的网络流量均属于敏感的无法共享的数据；参与同一个联邦学习任务的机构须属于同一类型机构。
[0016]作为优选，所述LSTM模型的输出分类包括正常流量数据和异常入侵数据，且异常入侵数据中进一步细分的网络入侵攻击类型包括暴力FTP、暴力SSH、DOS、heartbleed、网络攻击、渗透、僵尸网络和DDoS。
[0017]作为优选，所述S2中，各个客户端本地存储的网络流量数据由数据包的各个属性字段组成，所述的数据处理和攻击类型标注的具体步骤如下：
[0018]S21、对客户端本地存储的网络流量数据进行筛选，去除不完整的无效数据；
[0019]S22、对S21处理后的网络流量数据进行数据平衡，降低正常流量数据在数据集中的比重；
[0020]S23、利用编码方式将S22处理后的网络流量数据中的非数值型数据转换为数值型数据；
[0021]S24、将S23处理后的网络流量数据中的各属性字段值分别进行归一化；
[0022]S25、将S24处理后的网络流量数据中的网络入侵攻击类型标签转化为独热编码，独热编码向量的维度为网络入侵攻击类型总数加一，分别对应于正常流量数据和所有的网络入侵攻击类型。
[0023]作为优选，所述S24中，采用的归一化为均值方差归一化。
[0024]作为优选，所述S3中，客户端收到服务器分发的LSTM模型后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的网络入侵检测方法，其特征在于，包括如下步骤：S1、建立LSTM的联邦学习入侵检测框架，确定联邦学习中心服务器，并将加入联邦学习的网络机构作为客户端；S2、加入联邦学习的各个客户端对本地的网络流量进行数据处理和攻击类型标注，使其满足LSTM模型的输入要求；所述LSTM模型的输入为网络流量数据，输出为网络入侵攻击类型；S3、联邦学习中心服务器将服务器上存储的最新的LSTM模型分发给各个客户端，而各客户端分别利用各自标注后的网络流量数据，在本地对服务器分发的LSTM模型进行一轮训练，再将训练完成的模型参数和损失函数值发回服务器；S4、服务器结合每个客户端的数据总量，将各个客户端发回的模型参数和损失函数值进行加权平均，更新服务器上存储的LSTM模型的全局模型参数和全局损失函数值；S5、不断重复S3和S5迭代更新服务器上存储的LSTM模型，直至服务器上加权平均后的全局损失函数值已经收敛，服务器保存最新的LSTM模型作为网络入侵检测模型；S6、服务器将网络入侵检测模型分发给各个客户端，各个客户端基于服务器最新分发的网络入侵检测模型，将本地实时的网络流量数据输入模型中得到网络入侵攻击类型的分类结果，实现本地的网络入侵检测。2.根据权利要求1所述的一种基于联邦学习的网络入侵检测方法，其特征在于，所述LSTM的联邦学习入侵检测框架，包括一个作为中心平台的服务器和若干参与联邦学习的客户端；作为客户端的网络机构在本地均存储有网络入侵数据；各客户端统一从服务器接收LSTM模型，并在本地利用本地存储的数据进行训练，训练完毕后各个客户端再将训练后的模型参数以及损失函数值再上传到服务器，协同更新服务器上存储的LSTM模型，从而保证网络流量数据保留在各个客户端本地，又实现多数据集的协同训练。3.根据权利要求1所述的一种基于联邦学习的网络入侵检测方法，其特征在于，所述作为联邦学习客户端的网络机构是任何拥有网络流量数据的机构，机构类型包括网络运营商、校园网络、金融机构网络、医疗机构网络，且这些机构的网络流量均属于敏感的无法共享的数据；参与同一个联邦学习任务的机构须属于同一类型机构。4.根据权利要求1所述的一种基于联邦学习的网络入侵检测方法，其特征在于，所述LSTM模型的输出分类包括正常流量数据和异常入侵数据，且异常入侵数据中进一步细分的网络入侵攻击类型包括暴力FTP、暴力SSH、DOS、heartbleed、网络攻击、渗透、僵尸网络和DDoS。5.根据权利要求1所述的一种基于联邦学习的网络入侵检测方法，其特征在于，所述S2中，各个客户端本地存储的网络流量数据由数据包的各个属性字段组成，所述的数据处理和攻击类型标注的具体步骤如下：S21、对客户端本地存储的网络流量数据进行筛选，去除不完整的无效数据；S22、对S21处理后的网...

【专利技术属性】
技术研发人员：汤中运，胡海洋，
申请(专利权)人：杭州电子科技大学上虞科学与工程研究院有限公司，
类型：发明
国别省市：