一种具有自适应部分训练的客户端异步联邦学习方法技术

本发明专利技术提供一种具有自适应部分训练的客户端异步联邦学习方法，涉及分布式机器学习技术领域。服务器随机选择n个客户端广播全局模型，每个客户端执行一个数据批次的完整模型训练来估计时间消耗并计算损失值，将结果传输给服务器；将客户端时间消耗和损失值归一化，计算各客户端的综合评分，选定评分排名前k的客户端中最大的时间消耗，确定其聚合间隔；根据聚合间隔确定客户端部分训练比和本地训练周期；客户端完成本地训练后将模型参数上传服务器端，服务器将聚合间隔时间内接收到的客户端的模型参数聚合成新的全局模型。重复上述操作，直至全局模型精度达到预设要求。本发明专利技术能充分利用计算资源并且保证重要客户端参与度高，加快全局模型聚合。

【技术实现步骤摘要】

本专利技术涉及分布式机器学习，尤其涉及一种具有自适应部分训练的客户端异步联邦学习方法。

技术介绍

1、当前，联邦学习(fl)已成为一种很有前途的分布式机器学习范式，可以保护隐私。fl的要点是将客户端的私有数据保存在设备上，并为每个客户端执行本地模型训练。中央服务器将收集这些本地训练的模型，以更新全局模型，然后将其广播到下一轮训练中。联邦学习不仅可以保证各个客户端数据隐私性，而且还能创造巨大的社会价值和经济价值。

2、尽管联邦学习算法取得了较好的成绩，但大多数现有的联邦学习协议都是基于同步联邦学习训练(syncfl)的，这意味着在每一轮训练中，所有客户端(或一组选定的客户端)都根据服务器在该轮开始时广播的最新更新来更新其本地模型。然而，由于通信不平衡、硬件能力和训练数据分布的差异，各个设备进行本地更新的时间消耗可能存在显著差异，甚至一些客户端在训练过程中可能会暂时断开连接。因此，这给服务器留下了两个次优选择：要么等待每一轮中所有参与的客户端完成本地训练并为模型聚合做出贡献(这会因存在拖延者而导致显著的延迟)，要么只等待一部分更快速的客户端(这将忽本文档来自技高网...

【技术保护点】

1.一种具有自适应部分训练的客户端异步联邦学习方法，其特征在于：具体步骤如下：

2.根据权利要求1所述的具有自适应部分训练的客户端异步联邦学习方法，其特征在于：所述步骤1的具体方法为：

3.根据权利要求1所述的具有自适应部分训练的客户端异步联邦学习方法，其特征在于：所述步骤2中，采用正则化的方法使时间消耗和损失值处于相同的范围内，正则化公式如下式：

4.根据权利要求2所述的具有自适应部分训练的客户端异步联邦学习方法，其特征在于：所述步骤3中，服务器计算每个客户端的时间消耗并将其归一化为将损失值归一化为

5.根据权利要求4所述的具有自适应部分...

【技术特征摘要】

1.一种具有自适应部分训练的客户端异步联邦学习方法，其特征在于：具体步骤如下：

2.根据权利要求1所述的具有自适应部分训练的客户端异步联邦学习方法，其特征在于：所述步骤1的具体方法为：

3.根据权利要求1所述的具有自适应部分训练的客户端异步联邦学习方法，其特征在于：所述步骤2中，采用正则化的方法使时间消耗和损失值处于相同的范围内，正则化公式如下式：

4.根据权利要求2所述的具有自适应部分训练的客户端异步联邦学习方法，其特征在于：所述步骤3中，服务器计算每个客户端的时间消耗并将其归一化为将损失值归一化为

5.根据权利要求4所述的具有自适应部分训练的...

【专利技术属性】
技术研发人员：周起航，孙倩文，乔建忠，
申请(专利权)人：东北大学，
类型：发明
国别省市：