【技术实现步骤摘要】
本专利技术属于机器学习数据处理领域，特别是涉及一种基于模型参数变化幅度的联邦学习模型压缩方法。
技术介绍
1、随着人工智能、大数据、物联网等技术的快速发展，数据的集中式收集和训练会带来隐私泄露问题，难以满足用户愈来愈严苛的隐私保护需求，也与日益健全的隐私保护法律法规相违背。联邦学习因具备“数据不动模型动，数据可用不可见”的特点被认为是解决上述问题的可行手段。
2、然而，联邦学习仍在算力需求及通信负载方面，面临严峻挑战。首先，海量设备可参与fl训练，将使得客户端与服务器间的通信负载急剧提升，易导致通信拥塞等问题的出现；其次，客户端设备的计算能力、存储能力及通信能力相对有限，对于大模型的训练、存储及传输不够高效，将导致系统整体性能的下降。为了有效应对以上问题，对模型进行压缩以缓解客户端的计算及通信负担变得至关重要。然而，采用固定稀疏率处理梯度信息同样存在隐私泄露的风险。此外，客户端更新的大量梯度值(大多接近于0)对于模型的训练并不重要，而使用差分隐私技术对其进行保护却会分摊隐私预算，使得重要梯度的受保护程度下降。
技术实现思路
1、本专利技术的目的是提供一种基于模型参数变化幅度的联邦学习模型压缩方法，以解决上述现有技术存在的问题。
2、为实现上述目的，本专利技术提供了一种基于模型参数变化幅度的联邦学习模型压缩方法，包括：
3、接收中央服务器分发的初始模型；
4、对本地收集到的样本集合进行计算，获得样本梯度，并对所述样本梯度进行裁剪，获得裁
5、通过随机梯度下降算法对所述初始模型和所述裁剪后的梯度进行模型更新，获得局部模型；
6、对所述局部模型的参数进行处理，获得处理参数，基于所述处理参数构建稀疏化后的局部模型；
7、对所述稀疏化后的局部模型添加稀疏的高斯噪声，获得噪声稀疏模型；
8、将所述噪声稀疏模型上传至所述中央服务器中聚合，完成模型压缩和更新。
9、优选的，所述获得样本梯度的表达式：
10、
11、其中，表示在第t轮时，中央服务器分发给客户端i的初始模型，表示模型关于样本z的梯度，表示在t轮训练时，客户端i在第q次局部迭代中的平均梯度，|b|为训练集b的规模。
12、优选的，对所述样本梯度进行裁剪，获得裁剪后的梯度的表达式为：
13、
14、其中，表示裁剪后的梯度，c为裁剪的阈值。
15、优选的，所述通过随机梯度下降算法对所述初始模型和所述裁剪后的梯度进行模型更新，获得局部模型的表达式为：
16、
17、其中，表示客户端i局部迭代q次的局部模型。
18、优选的，对所述局部模型的参数进行处理，获得处理参数，基于所述处理参数构建稀疏化后的局部模型的过程包括：
19、对所述局部模型的参数进行评估，获得参数重要性评估结果，基于所述参数重要性评估结果构造稀疏化矩阵，生成稀疏化后的局部模型；
20、对所述局部模型的参数进行评估，获得参数重要性评估结果的表达式为：
21、
22、其中，参数θ在客户端i的初始模型中的取值表示为更新后局部模型中的取值表示为p(θ)为参数重要性评估结果；
23、基于所述参数重要性评估结果构造稀疏化矩阵的表达式为：
24、
25、其中，稀疏率为s(s≤1)，表示的第y层中较为重要的my个参数的集合；
26、基于所述参数重要性评估结果构造稀疏化矩阵，生成稀疏化后的局部模型的表达式为：
27、
28、其中，表示稀疏的局部模型，⊙表示哈达玛积。
29、优选的，对所述局部模型的参数进行处理，获得处理参数，基于所述处理参数构建稀疏化后的局部模型的过程还包括：
30、通过动态稀疏调整策略，挑选在第t轮训练时所述局部模型中的重要参数，基于所述重要参数构造稀疏化矩阵，生成稀疏化后的局部模型；
31、通过动态稀疏调整策略，客户端挑选在第t轮训练时局部模型中的重要参数的表达式为：
32、
33、其中，st为第t轮训练的稀疏率，st-1为t-1轮的稀疏率；
34、基于所述重要参数构造稀疏矩阵的表达式为：
35、
36、其中，pk表示每一层中较为重要的k个参数的集合；表示逐层构造完成后的稀疏化矩阵；
37、所述通过稀疏调整策略生成稀疏化后的局部模型的表达式为：
38、
39、其中，表示稀疏化后的局部模型。
40、优选的，对所述稀疏化后的局部模型添加稀疏的高斯噪声，获得噪声稀疏模型的表达式为：
41、
42、其中，表示高斯噪声的分布，σ为控制隐私保护强度的噪声尺度，id是与f具有相同维度的单位矩阵，d为添加噪声的维度，为噪声稀疏模型。
43、优选的，将所述噪声稀疏模型上传至所述中央服务器中聚合的表达式为：
44、
45、其中，pi表示为客户端i的权重，且wt+1是第t轮更新后的全局模型。
46、本专利技术的技术效果为：
47、本专利技术采用基于模型参数变化幅度的联邦学习模型压缩方法，通过减小客户端模型尺寸，降低计算成本和存储负担，提升联邦学习系统的通信效率。
48、本专利技术基于局部模型中参数的变化幅度抛弃低重要性参数，能够在不降低隐私保护级别的情况下减少噪声添加，同时达到避免隐私预算浪费、激发训练过程的动态性、放大隐私保护效果以及提升上行通信效率等多重优异效果。
本文档来自技高网...【技术保护点】
1.一种基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，所述获得样本梯度的表达式：
3.根据权利要求1所述的基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，对所述样本梯度进行裁剪，获得裁剪后的梯度的表达式为：
4.根据权利要求1所述的基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，所述通过随机梯度下降算法对所述初始模型和所述裁剪后的梯度进行模型更新，获得局部模型的表达式为：
5.根据权利要求1所述的基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，对所述局部模型的参数进行处理，获得处理参数，基于所述处理参数构建稀疏化后的局部模型的过程包括：
6.根据权利要求1所述的基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，对所述局部模型的参数进行处理，获得处理参数，基于所述处理参数构建稀疏化后的局部模型的过程还包括：
7.根据权利要求1所述的基于模型参数变化幅度的联邦学习模型压缩方法，其
8.根据权利要求1所述的基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，将所述噪声稀疏模型上传至所述中央服务器中聚合的表达式为：
...【技术特征摘要】
1.一种基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，所述获得样本梯度的表达式：
3.根据权利要求1所述的基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，对所述样本梯度进行裁剪，获得裁剪后的梯度的表达式为：
4.根据权利要求1所述的基于模型参数变化幅度的联邦学习模型压缩方法，其特征在于，所述通过随机梯度下降算法对所述初始模型和所述裁剪后的梯度进行模型更新，获得局部模型的表达式为：
5.根据权利要求1所述的基于模型参数变化幅度的联邦学习模型压缩方法，...
【专利技术属性】
技术研发人员：李龙，刘振参，李晶晶，何松兴，孙希延，常亮，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。