【技术实现步骤摘要】
本专利技术属于机器学习数据处理领域，特别是涉及一种基于模型参数变化幅度的联邦学习模型压缩方法。
技术介绍
1、随着人工智能、大数据、物联网等技术的快速发展，数据的集中式收集和训练会带来隐私泄露问题，难以满足用户愈来愈严苛的隐私保护需求，也与日益健全的隐私保护法律法规相违背。联邦学习因具备“数据不动模型动，数据可用不可见”的特点被认为是解决上述问题的可行手段。
2、然而，联邦学习仍在算力需求及通信负载方面，面临严峻挑战。首先，海量设备可参与fl训练，将使得客户端与服务器间的通信负载急剧提升，易导致通信拥塞等问题的出现；其次，客户端设备的计算能力、存储能力及通信能力相对有限，对于大模型的训练、存储及传输不够高效，将导致系统整体性能的下降。为了有效应对以上问题，对模型进行压缩以缓解客户端的计算及通信负担变得至关重要。然而，采用固定稀疏率处理梯度信息同样存在隐私泄露的风险。此外，客户端更新的大量梯度值(大多接近于0)对于模型的训练并不重要，而使用差分隐私技术对其进行保护却会分摊隐私预算，使得重要梯度的受保护程度下降。
>技术实本文档来自技高网...
【技术保护点】
1.一种基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，所述获得样本梯度的表达式：
3.根据权利要求1所述的基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，对所述样本梯度进行裁剪，获得裁剪后的梯度的表达式为：
4.根据权利要求1所述的基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，所述通过随机梯度下降算法对所述初始模型和所述裁剪后的梯度进行模型更新，获得局部模型的表达式为：
5.根据权利要求1所述的基于...
【技术特征摘要】
1.一种基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，所述获得样本梯度的表达式：
3.根据权利要求1所述的基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，对所述样本梯度进行裁剪，获得裁剪后的梯度的表达式为：
4.根据权利要求1所述的基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，所述通过随机梯度下降算法对所述初始模型和所述裁剪后的梯度进行模型更新，获得局部模型的表达式为：
5.根据权利要求1所述的基于模型参数变化幅度的联邦学习模型压缩方法，...
【专利技术属性】
技术研发人员：李龙，刘振参，李晶晶，何松兴，孙希延，常亮，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。