一种基于用户分簇和模型分层的个性化联邦学习方法技术

本发明专利技术公开了一种基于用户分簇和模型分层的个性化联邦学习方法，首先中心服务器基于每个用户的地理位置或数据分布将用户进行分簇；将每个用户本地训练的神经网络模型划分为特征层模型和分类器模型；每个簇中选出一个用户作为簇头，并基于迁移学习的方式完成簇中模型训练，由簇头用户得到本簇内最终的特征层模型；每个簇中的簇头用户将最终的特征层模型上传至中心服务器；中心服务器聚合所有簇头用户传来的特征层模型，并将聚合后的特征层模型广播给每个用户；每个用户基于私有的个性化模型完成本地任务。上述方法使每个用户的特征层模型有着很强的提取全局数据表征信息的能力，从而有效提高联邦学习完成个性化任务的表现。而有效提高联邦学习完成个性化任务的表现。而有效提高联邦学习完成个性化任务的表现。

【技术实现步骤摘要】
一种基于用户分簇和模型分层的个性化联邦学习方法


[0001]本专利技术涉及联邦学习
，尤其涉及一种基于用户分簇和模型分层的个性化联邦学习方法。

技术介绍

[0002]联邦学习(Federated Learning，FL)是一种分布式机器学习方法，它的训练过程是每个用户在自身的本地私有数据上完成本地模型的训练，然后用户把更新的本地模型发送给中心服务器，中心服务器基于模型融合的算法完成模型聚合，最后把聚合后的全局模型广播给所有用户，反复迭代上述过程直到完成最终的模型构建。在上述的传统联邦学习中，所有用户最终的模型参数都是相同的，这在每个用户所需要完成的任务是个性化时，唯一的全局模型不能很好地适应每个用户的特定需求，进而导致每个用户不能很好地完成各自的个性化任务。
[0003]为了改进传统FL，每个用户有着各自的个性化模型是提高性能的关键，近年来提出的基于模型分层的个性化联邦学习(Personalized Federated Learning,PFL)方法可以在一定程度上改善模型的性能，然而这些个性化方法的改进仅停留在考虑单个用户的训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于用户分簇和模型分层的个性化联邦学习方法，其特征在于，所述方法包括：步骤1、中心服务器基于每个用户的地理位置或数据分布将用户进行分簇；步骤2、将每个用户本地训练的神经网络模型划分为特征层模型和分类器模型；其中，所述特征层模型能在信道中传递，用于与每个簇内的其他用户或中心服务器进行交互，以学习正确提取全局数据特征的能力；所述分类器模型仅保留在本地，用于根据用户自身的数据进行个性化微调，以完成个性化任务；步骤3、每个簇中选出一个用户作为簇头，并基于迁移学习的方式完成簇中模型训练，由簇头用户得到本簇内最终的特征层模型；步骤4、每个簇中的簇头用户将最终的特征层模型上传至所述中心服务器；步骤5、所述中心服务器聚合所有簇头用户传来的特征层模型，并将聚合后的特征层模型广播给每个用户；步骤6、每个用户基于私有的个性化模型完成本地任务。2.根据权利要求1所述基于用户分簇和模型分层的个性化联邦学习方法，其特征在于，在步骤1中，设用户数量为N，每个用户到服务器的距离为{d1，d2，...，d
N
}，含有的本地数据集是{D1，D2，...，D
N
}，中心服务器使用k
‑
means聚类方法基于每个用户的地理位置或数据分布将用户进行分簇，具体来说：假设用户的地理位置为：{(x1，y1)，(x2，y2)，...，(x
i
，y
i
)，...，(x
j
，y
j
)，...，(x
n
，y
n
)}用户间地理位置上的距离定义为：用户间的数据分布差异定义为：其中Y代表标签的类别数；p
i
(y＝c)表示用户...

【专利技术属性】
技术研发人员：张四海，潘佳琪，陈志坤，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：