一种异构无线网络下的联邦学习采样方法和系统技术方案

技术编号:42380904 阅读:52 留言:0更新日期:2024-08-16 16:10
本发明专利技术提供一种异构无线网络下的联邦学习采样方法和系统,所述方法包括:向客户端发送用于联邦学习训练的初始模型和预设参数,由客户端基于初始模型和预设参数展开联邦学习训练;从客户端获取客户端参数,并统计总客户端数量和总数据量;向全部客户端下发预设采样概率和第一训练指令,计算每个轮次数所对应的全局模型误差精度;基于客户端回传的本地模型参数进行收敛性分析,基于联邦学习收敛性分析结果推出从初始模型收敛到预设误差精度时所需的轮次数;保留独立采样概率为未知参量,计算在独立采样概率下的轮次时间的期望值;计算从初始模型收敛到预设误差精度时所需的系统时间,求解满足使系统时间最小的针对各个客户端的独立采样概率。

【技术实现步骤摘要】

本专利技术涉及联邦学习,尤其涉及一种异构无线网络下的联邦学习采样方法和系统


技术介绍

1、根据3gpp等相关行业标准,联邦学习涉及服务端和客户端,联邦学习是一种在多个参与方在不交互数据的情况下,通过安全机制交互模型参数,从而达到协同训练效果的分布式机器学习方法。服务端负责模型聚合及任务下发,具体可以为服务器和5g中的nwdaf等。客户端负责利用本地数据进行模型训练,具体可以为服务器、移动终端和5g中的nwdaf等。联邦学习旨在实现模型训练的同时保证客户端的数据不出本地,通过这种方法可以实现数据的隐私保护且可以节省大量数据传输导致的带宽消耗。

2、和集中式机器学习相比,联邦学习主要有两大特点,即数据异构性和设备异构性。数据异构性指的是在各个客户端上的数据分布是非独立同分布的,这会导致模型收敛速率下降。设备异构性包括计算异构性(客户端计算能力不同)和通信异构性(客户端通信能力不同),会导致掉队者问题,即客户端需要等待最慢的客户端完成当前轮次训练,因而减缓了训练流程。在异构无线网络下,由于设备需要竞争带宽,设备异构性影响更大。</p>

3、为了本文档来自技高网...

【技术保护点】

1.一种异构无线网络下的联邦学习采样方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的联邦学习客户端采样方法,其特征在于,所述预设参数包含用于联邦学习的学习率、批量大小、通信轮数、本地更新步数、正则化参数、优化器和损失函数中的多种。

3.根据权利要求1所述的联邦学习客户端采样方法,其特征在于,所述客户端数据传输能力参数包含客户端带宽和客户端上传至服务端的通信速率,所述服务端数据接收能力参数包含服务端带宽;

4.根据权利要求1所述的联邦学习客户端采样方法,其特征在于,所述对所有回传的本地模型参数进行聚合得到本轮次对应的全局模型的步骤,具体...

【技术特征摘要】

1.一种异构无线网络下的联邦学习采样方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的联邦学习客户端采样方法,其特征在于,所述预设参数包含用于联邦学习的学习率、批量大小、通信轮数、本地更新步数、正则化参数、优化器和损失函数中的多种。

3.根据权利要求1所述的联邦学习客户端采样方法,其特征在于,所述客户端数据传输能力参数包含客户端带宽和客户端上传至服务端的通信速率,所述服务端数据接收能力参数包含服务端带宽;

4.根据权利要求1所述的联邦学习客户端采样方法,其特征在于,所述对所有回传的本地模型参数进行聚合得到本轮次对应的全局模型的步骤,具体包括:

5.根据权利要求1所述的联邦学习客户端采样方法,其特征在于,所述基于所述从初始模型...

【专利技术属性】
技术研发人员:侯延昭耿嘉翔罗冰陶小峰崔琪楣陈柯辰
申请(专利权)人:北京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1