一种基于聚合头部的个性化联邦学习方法及系统技术方案

本发明专利技术涉及一种基于聚合头部的个性化联邦学习方法及系统，属于机器学习技术领域。该方法包括以下步骤：服务器向客户端发送初始化全局模型，并初始化本地模型；客户端进行迭代，拆分全局模型为特征提取器和头部，训练头部的聚合权重；使用新权重将全局头部与上一轮迭代的本地头部进行元素级聚合，得到聚合头部；冻结特征提取器，本地训练聚合头部后，再冻结头部训练特征提取器，得到训练后的本地模型并上传至服务器；服务器对上传的模型进行全局聚合，得到新的全局模型并发送给选定客户端初始化其本地模型。本发明专利技术提供的方法通过元素级聚合模型头部，引入全局信息，能够提升个性化模型表现，具有很好的应用前景。

【技术实现步骤摘要】

本专利技术属于机器学习，涉及一种基于聚合头部的个性化联邦学习方法及系统。

技术介绍

1、集中训练方式的机器学习由于日益重视的用户数据隐私问题，正在面临着重大挑战。另一方面，由于单个客户端上数据稀疏的问题，很难在每个客户端上仅靠私有本地数据独立学习得到表现良好的模型。联邦学习作为一种流行的分布式机器学习范式，具有优秀的隐私保护和协作学习能力，其学习任务由一个服务器协调，并通过由多个参与设备(称为客户端)组成的网络来共同解决。联邦平均算法(fedavg)是最初的联邦学习方法，也是后续方法的基本框架，其一次迭代过程可以描述为五个步骤：(1)服务器随机选取一部分客户端加入联邦学习，并将相同的全局模型分发给它们以初始化；(2)客户端用下载得到的全局模型的参数来覆盖自己的本地模型参数，以获得全局知识；(3)客户端分别在私有本地数据上训练自己的本地模型；(4)客户端将训练后的本地模型上传给服务器；(5)服务器接收客户端的本地模型，对模型参数进行加权平均得到新的全局模型。联邦平均算法通过学习单个全局模型，期望该模型在所有客户端上表现良好。然而这种方法经常在统计异构环境中受本文档来自技高网...

【技术保护点】

1.一种基于聚合头部的个性化联邦学习方法，其特征在于：该方法包括以下步骤：

2.根据权利要求1所述的一种基于聚合头部的个性化联邦学习方法，其特征在于：在步骤S1中，还包括定义联邦学习的全局目标函数为：

3.根据权利要求2所述的一种基于聚合头部的个性化联邦学习方法，其特征在于：在步骤S2中，具体包括：

4.根据权利要求3所述的一种基于聚合头部的个性化联邦学习方法，其特征在于：在步骤S3中，具体包括：

5.根据权利要求4所述的一种基于聚合头部的个性化联邦学习方法，其特征在于：在步骤S4中，具体包括：

6.根据权利要求5所述的一种基于...

【技术特征摘要】

1.一种基于聚合头部的个性化联邦学习方法，其特征在于：该方法包括以下步骤：

2.根据权利要求1所述的一种基于聚合头部的个性化联邦学习方法，其特征在于：在步骤s1中，还包括定义联邦学习的全局目标函数为：

3.根据权利要求2所述的一种基于聚合头部的个性化联邦学习方法，其特征在于：在步骤s2中，具体包括：

4.根据权利要求3所述的一种基于聚合头部的个性化联邦学习方法，其特征在于：在步骤s3中，具体包括：

【专利技术属性】
技术研发人员：周鹏展，何跃鹏，翟翊君，屈顶，高凯昕，陈超，古富强，秦志达，张翀，郭松涛，
申请(专利权)人：重庆大学，
类型：发明
国别省市：