一种基于异构分层联邦学习的异常检测方法技术

本发明专利技术公开了一种基于异构分层联邦学习的异常检测方法，涉及联邦学习领域和异常检测领域。构建异构分层联邦学习架构；簇间基于纵向联邦学习异步更新全局模型；簇内基于横向联邦学习同步更新局部模型。本发明专利技术可提高模型识别性能和分类精度，减少通信开销，提升模型训练速度，并确保数据隐私性，具有更高的安全性，可部署于终端数量大且类型多样的异构物联网。可部署于终端数量大且类型多样的异构物联网。可部署于终端数量大且类型多样的异构物联网。

An anomaly detection method based on heterogeneous hierarchical federated learning

【技术实现步骤摘要】
一种基于异构分层联邦学习的异常检测方法


[0001]本专利技术涉及联邦学习领域和异常检测领域，尤其涉及一种基于异构分层联邦学习 的异常检测方法。

技术介绍

[0002]随着NB
‑
IoT、eMTC和LoRa等物联网技术持续增强物联网的广域覆盖、低功耗 接入与海量终端接入能力，推动边缘网络终端在物联网中大量部署，物联网络日益复 杂，其面临的网络安全问题也日趋严峻。大规模物联网络往往由多个异构网络(如移 动通信网、互联网和物联网等)组成，涉及海量异构终端接入和数据交互，网络环境 复杂。同时，网络中存在大量用户、产业或工业敏感信息，极易遭受信息泄露、信息 窃取、数据篡改等恶意攻击，面临极大的安全隐患。因此，须建立适用于大规模异构 物联网络的异常检测模型，以确保网络安全运行。
[0003]物联网终端设备资源受限，无法承载海量数据的存储、计算等任务，因此物联网 异常检测模型须基于分布式架构。目前，传统的分布式机器学习框架，从终端设备中 采集数据，上传至云中心进行存储，并由云中心统一建模，但是仍面临着数据孤岛及 传输安全问题。这是因为移动网、互联网和物联网等多网共存，异构网络之间由于数 据隐私、行业壁垒等因素存在数据无法共享的问题；即便一定程度上允许数据共享， 数据在复杂网络环境中传输时也极易遭受攻击，导致数据丢失或被恶意篡改。因此， 基于云中心构建统一的异常检测模型在异构物联网环境下应用时受到极大限制。
[0004]另一种可行方案是基于联邦学习实现网络异常检测。以联邦学习作为一种分布式 机器学习框架，允许多个实体(参与者)在中央服务器的协调下协作训练得到全局模 型，进而基于全局模型对网络异常进行识别或分类。由于参与者的原始数据存储于本 地，仅需在中央协调器指导下交换或转移模型参数，从而实现多个参与者在不共享隐 私数据的情况下进行一个全局模型的协作训练；且每个参与者仅需处理本地数据，降 低了单个实体的计算负载。文献“Communication
‑
Efficient Learning of Deep Networksfrom Decentralized Data”(基于分散数据的通信高效深度网络学习，ICML 2017)提出 的分布式联邦学习框架，适用于物联网样本重叠少，而样本特征重叠(同构)的数据 分布特点，即原始数据分布于网络各实体，但不同实体拥有的样本所反映的对象属性 或特征一致。特别地，文献“FDML：A Collaborative Machine Learning Framework forDistributed Features”(面向分布式特征的协作机器学习框架，KDD 2019)考虑了网络 实体拥有异构样本特征的情形，提出分布式特征机器学习框架，利用多特征融合提升 模型准确度。同时，该训练架构允许网络实体异步更新，尤其适合在软、硬件能力异 构的物联网终端设备上部署。上述两类典型的联邦学习框架分别对应了联邦学习的两 种类型，即横向联邦学习和纵向联邦学习。
[0005]文献“Communication
‑
Efficient Learning of Deep Networks from Decentralized Data
”ꢀ
(基于分散数据的通信高效深度网络学习，ICML 2017)本质上为横
向联邦学习，适 用于样本不重叠但特征一致的多实体联合建模。然而，异构物联网内的各异构网络有 各自数据特点，具体而言，边缘网络数据包通过各种物联网协议聚合至边缘网关，边 缘网关可获取大部分应用层数据内容；而互联网数据包主要呈现目标和源的IP地址、 网络端口、传输时间、到达时间等网络层面的数据内容；在移动通信网侧，则对传输 时延、基站地址、网关地址等数据包传输相关特征会有突出体现等。由于物联网显著 的数据异构特性，即，实体拥有的数据特征不一致，因此无法采用横向联邦学习建模。 若各异构网络基于本地持有的数据单独建立异常检测模型，其本地模型的识别性能很 难达到预期效果。
[0006]另一方面，纵向联邦学习，如文献“FDML：A Collaborative Machine LearningFramework for Distributed Features”(面向分布式特征的协作机器学习框架，KDD 2019) 的工作，适用于样本特征不一致的情形，可以支持各异构网络之间联合建模。但是， 其假设样本特征相同的数据集中于一个实体，即，对特征同构的数据的存储和计算集 中在单个实体上实现。这种架构不仅要求终端设备有较高的软硬件资源用于本地数据 处理，同时也无法有效利用分散于各个实体的样本数据。因此，在终端资源受限且数 据分散的物联网络中应用极度受限。
[0007]因此，本领域的技术人员致力于开发一种基于异构分层联邦学习的异常检测方法， 可提高模型识别性能和分类精度，减少通信开销，提升模型训练速度，并确保数据隐 私性，具有更高的安全性，可部署于终端数量大且类型多样的异构物联网。

技术实现思路

[0008]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是如何构建高性能和高 安全性的异构物联网络的异常检测模型。
[0009]为实现上述目的，本专利技术提供了一种基于异构分层联邦学习的异常检测方法，包 括如下步骤：
[0010]步骤1、构建异构分层联邦学习架构；
[0011]步骤2、簇间基于纵向联邦学习异步更新全局模型；
[0012]步骤3、簇内基于横向联邦学习同步更新局部模型。
[0013]进一步地，所述步骤1，包括如下步骤：
[0014]步骤1.1、异构分层联邦学习框架包括一个总协调方，用于协调簇间模型更新； M个次协调方，各自分管一个同构的簇内局部模型更新；以及归属于不同次协调 方的数量不一的参与方(对应设备终端)；其中，对应次协调方j(j＝1
…
M)的 参与方数目为K
j
，第k(k＝1
…
K
j
)个参与方持有本地训练数据且 (即，各次协调方中的各参与方持有训练样本总和为n)，其中和分别为位于第j个次协调方中第k个参与方的第i个样本的特征值和标签；
[0015]步骤1.2、设立一个样本协调器，用于指定第t次迭代样本呈现时间表I(t)，这 决定了样本(minibatch)从哪些参与方中提取，以及样本提交给训练算法的顺序；
[0016]步骤1.3、建立簇间只传输预测结果的模型如下式所示：
[0017][0018]其中α
j，k
为次协调方j中第k个参与方的子模型，作用是将次协调方j中第k 个参与方上的局部特征ξ
j，k
映射到一个局部预测；σ为一个连续可微函数，用来聚合 局部中间预测α
j，k
(x
j，k
，ξ
j，k
)；
[0019]步骤1.4、第t次迭代呈现给训练算法且索引为I(t)样本的目标函数可以用下式 表示：...

【技术保护点】

【技术特征摘要】
1.一种基于异构分层联邦学习的异常检测方法，其特征在于，包括如下步骤：步骤1、构建异构分层联邦学习架构；步骤2、簇间基于纵向联邦学习异步更新全局模型；步骤3、簇内基于横向联邦学习同步更新局部模型。2.如权利要求1所述的基于异构分层联邦学习的异常检测方法，其特征在于，所述步骤1，包括如下步骤：步骤1.1、异构分层联邦学习框架包括一个总协调方，用于协调簇间模型更新；M个次协调方，各自分管一个同构的簇内局部模型更新；以及归属于不同次协调方的数量不一的参与方(对应设备终端)；其中，对应次协调方j(j＝1
…
M)的参与方数目为K
j
，第k(k＝1
…
K
j
)个参与方持有本地训练数据且(即，各次协调方中的各参与方持有训练样本总和为n)，其中和分别为位于第j个次协调方中第k个参与方的第i个样本的特征(feature)和标签；步骤1.2、设立一个样本协调器，用于指定第t次迭代样本呈现时间表I(t)，这决定了样本(minibatch)从哪些参与方中提取，以及样本提交给训练算法的顺序；步骤1.3、建立簇间只传输预测结果的模型如下式所示：其中α
j，k
为次协调方j中第k个参与方的子模型，作用是将次协调方j中第k个参与方上的局部特征ξ
j，k
映射到一个局部预测；σ为一个连续可微函数，用来聚合局部中间预测α
j，k
(x
j，k
，ξ
j，k
)；步骤1.4、第t次迭代呈现给训练算法且索引为I(t)样本的目标函数可以用下式表示：其中L(x；ξ
I(t)
，y
I(t)
)为损失函数，表示每个样本的预测值和真实标签之间的差距，是子模型参数x
j，k
的正则项，用来防止模型过拟合；步骤1.5、子模型的局部梯度计算公式如下所示：其中的H(
·
)函数用来简化与相关的前几个项的符号；
步骤1.6、设立Push_Request指令和Pull_Request指令，为总协调方与次协调方之间通信使用。3.如权利要求1所述的基于异构分层联邦学习的异常检测方法，其特征在于，所述步骤2，包括如下步骤：步骤2.1、定义次协调方j方的全局参数为x
j
，内部参与方k的局部参数为x
j，k
，对上述两个参数进行初始化：在特定的第t(t＝0...T)次迭代中，聚合来自次协调方j中的索引为I(t)的样本所在参与方更新的本地预测结果：将本地预测结果c通过Push_Request指令上传给总协调方；步骤2.2、总协调方初始化局部预测矩阵[A
I，j
]
n*m
，若接收到来自次协调方j第t次迭代更新聚合后的预测结...

【专利技术属性】
技术研发人员：徐景，王乐意，刘玲亚，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：