【技术实现步骤摘要】
本专利技术属于联邦学习领域，涉及本地训练和梯度压缩，尤其涉及一种基于动态本地训练和梯度压缩的联邦学习方法。
技术介绍
1、联邦学习已被广泛应用于生活的各个方面，在医疗、环保、制造等领域有许多实际应用。然而，尽管联邦学习中终端数据不需要上传至中心服务器，并因此节省通信开销，但在联邦学习的背景下，参与训练的的终端设备，如智能手机和平板电脑，通常面临着通信资源有限，以及成本较高的网络连接问题，因此无法承担过大的通信开销。此外，目前部署在终端设备上的机器学习应用越来越多地采用复杂的深度神经网络。在这种情况下，每个客户端上传的梯度向量维度较高，这使得通信成为了一个严重的瓶颈问题。因此，需要在联邦学习中采用通信开销优化策略进一步减小通信开销。联邦学习数据传输过程的通信开销优化算法包括缩减通信频率和减小单次数据上传的开销。本地训练的方式可以用来降低通信频率，在本地训练中，模型在终端设备上进行多轮迭代，在达到预设的通信间隔后再上传模型的更新量，用于全局模型的更新。在梯度压缩中，可以通过稀疏化算法和量化算法来减少单次上传的数据量。
...
【技术保护点】
1.一种基于动态本地训练和梯度压缩策略的联邦学习方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于动态本地训练和梯度压缩策略的联邦学习方法，其特征在于，通信间隔动态机制子问题P1构建为：
3.根据权利要求2所述的基于动态本地训练和梯度压缩策略的联邦学习方法，其特征在于，采用拉格朗日法解决约束优化问题P1，具体步骤包括：
4.根据权利要求1所述的基于动态本地训练和梯度压缩策略的联邦学习方法，其特征在于，步骤2中采用本地训练减少通信频率，其表示如下：
5.根据权利要求1所述的基于动态本地训练和梯度压缩策略...
【技术特征摘要】
1.一种基于动态本地训练和梯度压缩策略的联邦学习方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于动态本地训练和梯度压缩策略的联邦学习方法，其特征在于，通信间隔动态机制子问题p1构建为：
3.根据权利要求2所述的基于动态本地训练和梯度压缩策略的联邦学习方法，其特征在于，采用拉格朗日法解决约束优化问题p1，具体步骤包括：
4.根据权利要求1所述的基于动态本地训练和梯度压缩策略的联邦学习方法，其特征在于，步骤2中采用本地训练减少通信频率，其表示如下：
5.根据权利要求1所述的基于动态本地训练和梯度压缩策略的联邦学习方法，其特征在于，步骤2中采用稀疏化算法减少单次上传比特，其中稀疏化采用基于随机选取的稀疏化算法rand-k将d维的梯度g转换为其稀疏表示即将g...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。