一种面向联邦学习的振幅对齐个性化与鲁棒聚合方法技术

一种面向联邦学习的振幅对齐个性化与鲁棒聚合方法，提出了一种新颖的个性化联邦学习

【技术实现步骤摘要】
一种面向联邦学习的振幅对齐个性化与鲁棒聚合方法


[0001]本专利技术涉及机器学习领域，尤其涉及一种面向联邦学习的振幅对齐个性化与鲁棒聚合方法
。

技术介绍

[0002]如今，在计算机辅助诊断领域，联邦学习
(Federated Learning,FL)
为临床医生诊断疾病提供了可靠
、
高效的支持
。
然而，在
FL
应用中仍然存在诸多挑战，例如数据的统计性异构，也称为数据非独立同分布
(Non
‑
independent and identically distributed,Non
‑
IID)
问题，投毒攻击以及推理攻击
。
当客户端数据集为
Non
‑
IID
时，所有客户端共享相同的全局模型参数可能导致优化方向不一致
。
这意味着，如果以同样的方式优化模型，那么获得的结果知识可能存在与客户的局部知识相矛盾的风险，这最终会减缓达成稳定解决方案的过程
。
此外，用户之间显著的统计差异会进一步损害模型的性能
。
为了解决由
Non
‑
IID
数据引起的问题，早期的研究中提出一种集群
FL
策略，用于在服务器上维护多个全局模型，以满足各种客户端的需求
。
同时，一种基于知识蒸馏的方法也被提出来解决这个问题
。
具体来说，服务器上放置了一个额外的公共数据集，以对齐学生模型和教师模型的输出，目的是激励学生模型向教师模型学习
。
然而，当数据集之间的异构程度较高时，在公共数据集上训练的教师模型知识可能会受到某些客户端的干扰，导致其性能显著下降
。
[0003]在分布式
FL
场景中，服务器无法访问客户端的内部结构，还需要聚合来自他们的模型信息，这个过程很容易受到恶意客户端的投毒攻击
。
任何客户端都可能通过违反训练协议篡改本地数据或标签的方式对
FL
模型进行攻击，导致
FL
模型在主要任务上不加区分地产生低准确率
(
无目标投毒攻击
)
或对特定类别的测试样本进行错误分类
(
有目标投毒攻击
)。
另一方面，大量研究表明，在
FL
客户端之间共享模型更新或梯度使得它们容易受到来自恶意外部攻击者发起的潜在推理攻击
。
攻击者可能是位于通信链路上的外部窃听者
。
除了梯度之外，通过将原始输入数据映射到低维向量表示来实现的嵌入也包含关于输入的重要语义信息，因此嵌入也可能导致隐私泄露
。
隐私问题严重阻碍了人工智能的发展和实施，迫切需要有效的防御策略
。
传统的解决方案主要依靠加密模型信息来保护隐私，如同态加密和安全多方计算
。
然而，这种解决方案的缺点是增加了数据存储的成本，并且在密钥分发过程中无法保证第三方的可靠性
。
另一种保护方法是加入轻微的噪声扰动
。
虽然与加密相比，数据扰动可以达到相同的隐私保护水平，但它也会破坏数据的可用性，这是不可逆的，并导致模型性能下降
。

技术实现思路

[0004]针对以上问题，本专利技术提出一种面向联邦学习的振幅对齐个性化与鲁棒聚合方法，旨在解决以下三个问题：
(1)
参与客户数据的统计性异构，
(2)
有目标的中毒攻击导致的模型效率下降，以及
(3)
推理攻击带来的隐私泄露
。
[0005]一种面向联邦学习的振幅对齐个性化与鲁棒聚合方法，采用自底向上
、
贪婪分层
的机制训练联邦学习模型，包括两层体系结构，第一层是客户端层，为了获得全局原型，客户端利用从服务器接收到的全局振幅和本地保留的相位执行反向快速傅立叶变换
。
接着，每个客户端执行本地训练，包含最小化本地交叉熵损失以及本地原型和全局原型之间的距离
。
此外，在每一轮通信中，每个客户端连续记录本地交叉熵损失与反向交叉熵损失的差值
。
同时，客户端计算局部类原型，通过快速傅里叶变换将其转换为频率空间信号
。
相位分量保持本地，振幅分量与交叉熵损失与反向交叉熵损失的差值一起发送到服务器；第二层是边缘服务器层，接收客户端发送的信息，基于所有客户端上传的交叉熵损失与反向交叉熵损失的差值，分别评估每个客户端的标签质量和可信度，然后服务器根据这两个指标重新分配客户端权重
。
为了获得全局振幅，服务器根据重新分配的权重和上一轮的全局振幅，将客户端上传的本地振幅进行聚合
。
[0006]该方法具体包括以下步骤：
[0007](001)
客户端利用从服务器接收到的全局振幅和本地保留的相位执行反向快速傅立叶变换来获得全局原型；
[0008](002)
每个客户端训练本地模型，最小化本地交叉熵损失的同时，计算本地类原型，对于与其他客户端共享的类别，客户端将该类数据的本地原型与全局原型对齐；
[0009](003)
在每一轮通信中，客户端连续记录本地交叉熵损失与反向交叉熵损失的差值
。
与此同时，对于客户端计算出的本地类原型，通过快速傅里叶变换将其转换为频率空间信号
。
相位分量保持本地，振幅分量与交叉熵损失与反向交叉熵损失的差值一起发送到服务器；
[0010](004)
服务器接收客户端发送的信息，基于客户端上传的交叉熵损失与反向交叉熵损失的差值，服务器分别评估每个客户端的标签质量和可信度，然后服务器根据这两个指标重新分配客户端权重；
[0011](005)
服务器根据重新分配的权重和上一轮的全局振幅，将客户端上传的本地振幅进行聚合，得到全局振幅，再将全局振幅发送给所有客户端让他们进入下一轮训练
。
[0012]相比于现有技术，本专利技术具有以下有益效果：
[0013](1)
通过设计一种新颖的基于振幅对齐的
pFL
范式来解决
FL
中的
Non
‑
IID
数据和推理攻击问题
。
客户端引入快速傅立叶变换来防止数据泄漏，并在通信链路上交换本地和全局的振幅，而不是本地原型
。
在本地训练过程中，每个客户端逐层对齐本地原型和全局原型，从而允许在异构客户端之间进行有效的信息传输
。
因此，该方法产生了更准确的个性化模型，显著提高了
FL
中的隐私水平和性能
。
[0014](2)
为了消除恶意投毒攻击的威胁，本方法设计了一种鲁本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面向联邦学习的振幅对齐个性化与鲁棒聚合方法，其特征在于：该方法包括以下步骤：步骤1，客户端利用从服务器接收到的全局振幅和本地保留的相位执行反向快速傅立叶变换来获得全局原型；步骤2，每个客户端训练本地模型，最小化本地交叉熵损失的同时，计算本地类原型，对于与其他客户端共享的类别，客户端将该类数据的本地原型与全局原型对齐，获取本地原型和全局原型之间的距离；步骤3，在每一轮通信中，客户端连续记录本地交叉熵损失与反向交叉熵损失的差值；与此同时，对于客户端计算出的本地类原型，通过快速傅里叶变换将其转换为频率空间信号；相位分量保持本地，振幅分量与交叉熵损失与反向交叉熵损失的差值一起发送到服务器；步骤4，服务器接收客户端发送的信息，基于客户端上传的交叉熵损失与反向交叉熵损失的差值，服务器分别评估每个客户端的标签质量和可信度，然后服务器根据这两个指标重新分配客户端权重；步骤5，服务器根据重新分配的权重和上一轮的全局振幅，将客户端上传的本地振幅进行聚合，得到全局振幅，再将全局振幅发送给所有客户端让他们进入下一轮训练
。2.
根据权利要求1所述的一种面向联邦学习的振幅对齐个性化与鲁棒聚合方法，其特征在于：本方法采用自底向上
、
贪婪分层的机制训练联邦学习模型，包括两层体系结构，第一层是客户端层，第二层是边缘服务器层
。3.
根据权利要求2所述的一种面向联邦学习的振幅对齐个性化与鲁棒聚合方法，其特征在于：所述步骤1包括以下步骤：步骤1‑1，服务器将全局振幅的集合发送给客户端；步骤1‑2，客户端为每个表示层
l
配置一个辅助分类器最后一层
R
除外，
(1≤l
＜
R
；训练过程按照表示层的数量划分为
R
块；从第一个块开始，训练它直到收敛，然后将表示层参数冻结在其中，然后再进入下一个块；通过冻结早期块的参数，该模型保留了在这些块中学习到的高级特征，同时继续在后面的块中学习更具体的特征；步骤1‑3，每个客户端对于本地所拥有的类
j
，结合全局振幅和上一轮保留在本地的相位执行反向傅里叶变换，得到该类数据的全局原型：
4.
根据权利要求3所述的一种面向联邦学习的振幅对齐个性化与鲁棒聚合方法，其特征在于：所述步骤2包括以下步骤：步骤2‑1，客户端
k
的私有数据集为
(1≤k≤K
，其中为第
i
个输入样本，是其对应的标签；所有客户端上的样本总数用表示；使用最大平均差值
MMD
k
来衡量本地原型和全局原型之间的距离；设置整个个性化联邦学习的优化目标是：
其中，为整个联邦学习的总损失；是客户端
k
为的第
l
个块的模型参数；为从块
l
中提取的原型；
m
为所拥有的点数；
k(
·
)
是高斯核；表示客户端
k
的损失函数，即衡量预测标签与真实标签之间差距的交叉熵损失；
λ
是正则项的权重系数；
a、b
是与的向量元素；步骤2‑2，训练过程中，每个客户端还要计算其本地原型
。
以客户端
k
为例，参数为
θ
k
的卷积神经网络模型模型
Φ
由两部分组成：表示层，参数为将输入实例转换为特征表示空间，即嵌入空间；分类层，参数为对给定的表示进行分类决策；对于客户端
k
，原型是属于类
j
的实例的平均嵌入向量，计算公式如下：其中，
D
k,j
是
D
k
中所有来自类
j
的训练数据的集合
。5.
根据权利要求4所述的一种面向联邦学习的振...

【专利技术属性】
技术研发人员：陈思光，蒋永琦，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：