一种适应异构计算资源的联邦学习系统和方法技术方案

本发明专利技术提出了一种适应异构计算资源的联邦学习系统和方法，所述联邦学习方法FedAvg的整个训练系统由N个参与方和1个服务器构成，每个参与方拥有自身数据并进行本地训练，服务器负责汇聚和分发模型，判断参与方的本地计算资源情况，若本地计算资源充足，则基于本地数据进行训练，经过K次本地训练后，将模型发送给服务器；反之，则直接利用历史信息估计本地模型并发送给服务器；服务器收到所有参与方发来的本地模型后进行聚合，然后开始下一轮训练，最终得到即训练完成后得到的模型。终得到即训练完成后得到的模型。终得到即训练完成后得到的模型。

【技术实现步骤摘要】
一种适应异构计算资源的联邦学习系统和方法


[0001]本专利技术属于人工智能
，具体地，涉及一种适应异构计算资源的联邦学习系统和方法。

技术介绍

[0002]联邦学习是一种分布式机器学习范式，其允许多个参与方(如物联网设备等)不共享数据，即可实现协同训练，最终形成全局统一的机器学习模型。
[0003]例如最经典的联邦学习方法FedAvg流程如下：整个训练系统由N个参与方和1个服务器构成，每个参与方拥有自身数据并进行本地训练，服务器则负责汇聚和分发模型。具体地，假设一共进行T轮训练，对第t轮，服务器将汇聚后的全局模型x
t
(第1轮开始，全局模型为随机初始化模型)发送给各个参与方或随机选择一部分参与方(记为S
t
)。对于参与方i，其初始化本地模型然后基于本地数据进行训练：
[0004][0005]其中为每一步训练的梯度。经过K次本地训练后，将模型发送给服务器。服务器收到S
t
中所有参与方发来的本地模型后进行聚合，得到
[0006][0007]然后开始下一轮训练。最终本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适应异构计算资源的联邦学习方法，其特征在于：所述联邦学习方法FedAvg的整个训练系统包括N个参与方和1个服务器，每个参与方拥有自身数据并进行本地训练，服务器负责汇聚和分发模型，假设一共进行T轮训练，对第t轮，服务器将汇聚后的全局模型x
t
并发送给各个参与方或随机选择一部分参与方，记为S
t
；所述方法具体包括以下步骤：步骤1，判断参与方i的本地计算资源情况，当参与方i有足够计算资源完成第t轮训练时执行步骤2，当参与方i没有足够计算资源完成第t轮训练时执行步骤3；步骤2，当参与方i有足够计算资源完成第t轮训练时，进行本地训练，并缓存步骤3，当参与方i没有足够计算资源完成第t轮训练，其更新并通过估计得到上传服务器，步骤4，经过K次本地训练后，将模型发送给服务器，服务器收到S
t
中所有参与方发来的本地模型后进行聚合，得到然后开始下一轮训练，最终得到x
T+1
即训练完成后得到的模型。2.根据权利要求1所述方法，其特征在于：在步骤2中，所述本地训练为：对于参与方i，其初始化本地模型然后基于本地数据进行训练：其中为每一步训练的梯度。3.根据权利要求2所述方法，其特征在于：不同参与方选择步骤2还是步骤3是独立的，仅仅依赖于本地计算资源情况，参与方计算资源越少，则执行步骤3的概率越高。4.根据权利要求3所述方法，其特征在于：在步骤3中，训练的第t轮开始，服务器向所有参与方或者随机选择的部分参与方下发模型x
t
；对于其中一个收到模型的参与方i，根据本地计算资源判断是否需要跳过本轮的计算，即若当前有足够计算资源，则根据步骤2中公式(1)进行正常的迭代训练得到本地模型；否则利用步骤3中公式(3)估计出本地模型；之后将本地模型上传服务器，服务器收到来自所有参与方或之前选择的部分参与方上传的本地模型后，按照公式(2)进行全局模型聚合，并进入下一轮；T轮后停止训练，聚合得到的全局模型即为最终模型。5.根据权利要求4所述方法，其特征在于：
若本地不保存历史信息，则步骤3需要在服务器端执行，得到CCFL训练模型的步骤变例1；训练的第t轮开始，服务器向所有参与方或者随机选择的部分参与方下发模型x
t
；对于其中一个收到模型的参与方i，根据本地计算资源判断是否需要跳过本轮的计算，即若当前有足够计算资源，则按照公式(1)进行正常的迭代训练得到本地模型；否则向服务器发送pass指令，包含轮数t和参与方标识i；当服务器收到pass指令后，则依据公式(3)估计出该...

【专利技术属性】
技术研发人员：张浩，吴婷婷，刘劼，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：