一种面向类不平衡数据分布的联邦学习方法技术

本发明专利技术公开了一种面向类不平衡数据分布的联邦学习方法，所述方法是将联邦模型分为特征提取器和分类器，客户端在本地模型训练阶段通过最大化本地模型与联邦模型中的特征表示的一致性优化个体客户端的本地特征提取器，同时，在模型训练过程中对不同类别的样本数据分配不同的损失权重，使模型训练时更多关注于样本数量少的类别从而优化客户端本地模型的分类器，纠正有偏的分类器。这种方法能缓解数据类别不平衡问题对模型训练的不利影响，提高模型性能和效率、方法简单，且有效。且有效。且有效。

【技术实现步骤摘要】
一种面向类不平衡数据分布的联邦学习方法


[0001]本专利技术涉及联邦学习
，具体是一种面向类不平衡数据分布的联邦学习方法。

技术介绍

[0002]深度学习已在许多领域取得了重要的进展，如语音识别，图像处理等。这些成功的进展通常需要将大量的数据集中起来训练，然而在实际场景中，数据往往分布在不同的设备上，由于存在隐私泄露的风险及高昂的传输成本问题，各数据拥有方不愿意直接共享其数据。联邦学习(Federated Learning)的分布式框架，可以使多个参与方(客户端)协同训练一个高性能的联邦模型而无需向服务器上传本地私有数据，为数据隐私保护和高效的分布式训练提供了良好的解决方案，目前已经在许多领域中得到广泛关注。
[0003]在标准的联邦学习框架FedAvg中，每轮更新随机选择一部分客户端参与训练，被选择的客户端从服务器下载当前联邦模型，并利用本地数据训练后将更新结果上传到服务器，服务器聚合本地模型的更新结果产生新一轮的联邦模型，这个过程不断重复，直到模型收敛。但是FedAvg没有考虑类不平衡问题对联邦学习模型性能的影响。而事实是，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向类不平衡数据分布的联邦学习方法，其特征在于，包括如下步骤：1)模型初始化：设立联邦学习整体架构，所示整体架构设有一个服务器和与服务器连接的N个客户端，初始化由特征提取器和分类器两部分组成的服务器端的联邦模型，具体为：每个客户端k都有其对应的本地数据集其中是数据集D
k
中第i个样本数据及其对应标签，i＝1,2,...,n
k
，n
k
表示客户端k的数据集中样本的总量，每个样本数据都有其对应的类别c，且c∈[1,...,C]，其中，表示客户端k的数据集中类别c的样本数量，且每个客户端k的数据集D
k
中不同类别的样本数量是不平衡的，初始化服务器端的联邦模型网络架构为具有参数w的神经网络，且模型由特征提取器E
w
(
·
)和分类器F
w
(
·
)两部分组成，其中，特征提取器E
w
(
·
)，能够从输入的样本数据(x
i
,y
i
)中提取出特征表示，并将特征表示映射为一个d维特征向量，特征提取器中提取的特征表示向量将发送给分类器，待分类器对输入数据进行分类预测，分类器F
w
(
·
)，能够为每个输入的数据生成分类预测结果；2)模型下发：服务器从所有客户端中随机选择一组客户端参与当前轮次的联邦训练，并下发联邦模型参数至被选择的客户端，具体为：在第t轮联邦训练中，服务器从N个客户端中随机选择一组参与当前轮次训练的客户端组成客户端子集S
t
，并将联邦模型w
t
下发至被选择的客户端k∈S
t
；3)客户端本地模型训练：客户端k在接收到服务器下发的联邦模型w
t
后，采用本地数据集D
k
对所得模型进行训练、更新本地模型参数其中，在本地训练阶段，客户端需要分别对本地模型的特征提取器和分类器进行优化，因此本地训练损失包括特征提取损失l
E
和分类损失l
F
两部分，具体优化包括：3
‑
1)特征提取器优化：采用特征提取损失l
E...

【专利技术属性】
技术研发人员：彭红艳，吴彤彤，石贞奎，李先贤，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：