【技术实现步骤摘要】
本专利技术涉及一种工业物联网入侵检测方法，特别是涉及一种基于联邦学习和自注意力的工业物联网入侵检测方法。
技术介绍
1、联邦学习可以在保护隐私数据的前提下，联合多设备共同训练入侵检测模型。2019年t.d.nguyen等提出了一种联邦物联网自学习异常检测系统，该系统是第一个采用联邦学习方法来进行基于异常检测的入侵检测系统。2020年liuy等人提出了一种面向工业物联网异常检测的高效通信联邦学习方法，该方法首先利用联邦学习框架提高了模型泛化能力，其次提出了一个卷积神经网络结合长短期记忆的模型来进行异常检测，并通过梯度压缩机制降低了通信开销，在准确检测异常的基础上降低了50％的通信开销。
2、2021年wangxd等人提出了一种基于分层联邦学习的工业物联网异常检测，该方法利用联邦学习技术建立一个通用的监测模型，再由深度强化学习算法训练局部模型，实现了高吞吐量、低延迟和高准确率的效果。
3、但这些方法都存在一个问题，面向低维的工业网络数据时，检测效率会有所影响。
技术实现思路
1、本专利技术的目的在于提供一种基于联邦学习和自注意力的工业物联网入侵检测方法，该方法利用联邦学习使多个工业物联网联合起来，在保护数据安全性的前提下提高了样本数量。同时通过注意力机制使模型更关注内部数据的相关性，在保障多方数据安全的前提下达到了提高检测精度、降低误报的目的。
2、本专利技术的目的是通过以下技术方案实现的：
3、一种基于联邦学习和自注意力的工业物联网入侵
4、联邦学习工作流程，联邦学习是在进行机器学习的过程中，各参与方借助其他方数据进行联合建模；各方无需共享数据资源，即数据不出本地的情况下进行联合训练，建立共享的机器学习模型；模型的联邦学习采用客户服务端架构，包括三个部分：客户端、服务端和主函数；使用pytorch框架搭建联邦学习模型，工作流程包括以下五个部分：
5、(1)服务端根据配置生成初始化模型；
6、(2)将模型发送到各客户端，各客户端接收全局模型后，通过本地多次迭代计算后各终端将训练的模型参数或者模型参数的梯度进行加密传输然后上传到服务端；
7、(3)服务端将接收的各个客户端的模型参数进行安全聚合；
8、(4)服务端将聚合后的模型参数作为下一次更新的初始参数下发到各客户端；
9、(5)如果模型未收敛则重复第二步，直至迭代到收敛为止；
10、入侵检测网络模型由卷积神经网络(cnn)模块、门控循环单元(gru)模块和采用多头自注意力机制构成的编码器模块组成，其次是多层感知器(mlp)模块，最后是softmax层；cnn-gru模块，卷积神经网络模块包括三个卷积块，每个卷积块由一个卷积层、一个批量归一化层和一个最大池化层组成；自注意力模块为基于注意力机制的transformer网络模型，该模型有两部分组成：编码器和解码器，编码器和解码器则是通过多层注意力模块堆叠组成的，而注意力模块由多头注意力机制层、归一化层和前馈层构成。
11、所述的一种基于联邦学习和自注意力的工业物联网入侵检测方法，所述服务端是接收客户端上传的本地模型后通过聚合函数更新全局模型；这一部分包括定义构造函数、定义模型聚合函数、定义模型评估函数。
12、所述的一种基于联邦学习和自注意力的工业物联网入侵检测方法，所述客户端的是接受服务端下发的指令和全局模型，同时利用本地数据进行局部模型训练，主要包括定义构造函数、定义本地训练函数。
13、所述的一种基于联邦学习和自注意力的工业物联网入侵检测方法，所述整合部分，定义完配置文件、服务端、客户端后，将这些信息整合；通过定义一个服务端和多个客户端来模拟联邦训练场景；在全局模型训练的过程中，每次都从客户端列表中随机选取一部分进行训练，然后服务端遍历客户端对各客户端参数进行权重累计；对聚合后的全局模型，利用评估函数评估当前全局模型性能，用于判断当前的模型训练是否需要进行下一轮迭代、是否提前终止迭代或者是否出现了发散退化现象。
14、所述的一种基于联邦学习和自注意力的工业物联网入侵检测方法，所述对transformer模型结构，只选择编码器(encoder)结构并对其进行调整，首先一维的输入数据经过一个全连接层的处理，将其输出转换为14x14的二维矩阵，并采用一个2*2尺度，步长为2，通道数为32的卷积，对输入数据进行特征提取，这种卷积就相当于把二维矩阵分割为独立的7*7的小切片，每个小切片的特征维度是32，然后将其拉平铺开。随机初始化一个类别编码，作为某一数据的类别编码信息，然后会和切片信息做通道拼接。通过以上处理即可输入transformer模块中，经过transformer的encoder模块后，数据维度为50*32，其中，1*32是网络预测的类别信息，49*32是每个小切片的信息。后续只要单独提取出类别信息这一维度，通过全连接层(1*32转成1*2)，就能得到网络预测结果。
15、所述的一种基于联邦学习和自注意力的工业物联网入侵检测方法，所述多层感知器(mlp)模块包括两个全连接层和一个dropout层，dropout层用于防止模型过拟合；之后经过softmax层将输出限制在0～1之间。
16、本专利技术的优点与效果是：
17、1.本专利技术分析了工业物联网网络拓扑结构相对固定、特征低维、数据分布不均衡且相关性低导致工业分布式环境下入侵检测模型训练效果差的问题。继而提出了一种基于联邦深度学习算法的工业物联网入侵检测模型——fedformer。该模型引入并优化transformer网络模型的编码器结构并嵌合卷积神经网络和门控循环单元，利用注意力机制为工业物联网构建了入侵检测模型；其次将检测模型融合联邦学习框架，允许多个工业物联网共同构建一个全面的入侵检测模型。模型在两个不同的数据集上分别进行验证，实验证明在保护本地数据隐私的前提下，本模型可以提高对工业物联网网络攻击的检测准确率并降低误报率。
18、2.本专利技术利用联邦学习使多个工业物联网联合起来，在保护数据安全性的前提下提高了样本数量。同时通过注意力机制使模型更关注内部数据的相关性，在保障多方数据安全的前提下达到了提高检测精度、降低误报的目的。提高工业物联网网络环境下入侵检测系统的整体性能。
本文档来自技高网...【技术保护点】
1.一种基于联邦学习和自注意力的工业物联网入侵检测方法，其特征在于，所述方法包括建立基于联邦学习和自注意力的工业物联网入侵检测模型包括数据预处理、联邦学习框架搭建、入侵检测网络模型搭建三个部分，入侵检测网络模型又包含CNN-GRU模块和自注意力模块；
2.根据权利要求1所述的一种基于联邦学习和自注意力的工业物联网入侵检测方法，其特征在于，所述服务端是接收客户端上传的本地模型后通过聚合函数更新全局模型；这一部分包括定义构造函数、定义模型聚合函数、定义模型评估函数。
3.根据权利要求1所述的一种基于联邦学习和自注意力的工业物联网入侵检测方法，其特征在于，所述客户端的是接受服务端下发的指令和全局模型，同时利用本地数据进行局部模型训练，主要包括定义构造函数、定义本地训练函数。
4.根据权利要求1所述的一种基于联邦学习和自注意力的工业物联网入侵检测方法，其特征在于，所述整合部分，定义完配置文件、服务端、客户端后，将这些信息整合；通过定义一个服务端和多个客户端来模拟联邦训练场景；在全局模型训练的过程中，每次都从客户端列表中随机选取一部分进行训练，然后服务端
5.根据权利要求1所述的一种基于联邦学习和自注意力的工业物联网入侵检测方法，其特征在于，所述对Transformer模型结构，只选择编码器(Encoder)结构并对其进行调整，首先一维的输入数据经过一个全连接层的处理，将其输出转换为14x14的二维矩阵，并采用一个2*2尺度，步长为2，通道数为32的卷积，对输入数据进行特征提取，这种卷积就相当于把二维矩阵分割为独立的7*7的小切片，每个小切片的特征维度是32，然后将其拉平铺开。随机初始化一个类别编码，作为某一数据的类别编码信息，然后会和切片信息做通道拼接。通过以上处理即可输入Transformer模块中，经过Transformer的Encoder模块后，数据维度为50*32，其中，1*32是网络预测的类别信息，49*32是每个小切片的信息。后续只要单独提取出类别信息这一维度，通过全连接层(1*32转成1*2)，就能得到网络预测结果。
6.根据权利要求1所述的一种基于联邦学习和自注意力的工业物联网入侵检测方法，其特征在于，所述多层感知器(MLP)模块包括两个全连接层和一个Dropout层，Dropout层用于防止模型过拟合；之后经过Softmax层将输出限制在0～1之间。
...【技术特征摘要】
1.一种基于联邦学习和自注意力的工业物联网入侵检测方法，其特征在于，所述方法包括建立基于联邦学习和自注意力的工业物联网入侵检测模型包括数据预处理、联邦学习框架搭建、入侵检测网络模型搭建三个部分，入侵检测网络模型又包含cnn-gru模块和自注意力模块；
2.根据权利要求1所述的一种基于联邦学习和自注意力的工业物联网入侵检测方法，其特征在于，所述服务端是接收客户端上传的本地模型后通过聚合函数更新全局模型；这一部分包括定义构造函数、定义模型聚合函数、定义模型评估函数。
3.根据权利要求1所述的一种基于联邦学习和自注意力的工业物联网入侵检测方法，其特征在于，所述客户端的是接受服务端下发的指令和全局模型，同时利用本地数据进行局部模型训练，主要包括定义构造函数、定义本地训练函数。
4.根据权利要求1所述的一种基于联邦学习和自注意力的工业物联网入侵检测方法，其特征在于，所述整合部分，定义完配置文件、服务端、客户端后，将这些信息整合；通过定义一个服务端和多个客户端来模拟联邦训练场景；在全局模型训练的过程中，每次都从客户端列表中随机选取一部分进行训练，然后服务端遍历客户端对各客户端参数进行权重累计；对聚合后的全局模型，利用评估函数评估当前全局模型性能，用于判断当前的模型训练是否需要进...
【专利技术属性】
技术研发人员：王军，王洪斌，李国寰，陈锦煜，周思宇，果麾座，
申请(专利权)人：沈阳化工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。