基于模型剪枝和量化的联邦学习模型轻量化方法及系统技术方案

本发明专利技术公开了基于模型剪枝和量化的联邦学习模型轻量化方法及系统，包括各个客户端初始化并训练本地模型；采用全局非结构化剪枝，不考虑权重之间的关系，基于权重的

【技术实现步骤摘要】
基于模型剪枝和量化的联邦学习模型轻量化方法及系统


[0001]本专利技术涉及数据处理
，尤其是涉及基于模型剪枝和量化的联邦学习模型轻量化方法及系统
。

技术介绍

[0002]在当今信息时代，数据的价值越来越被广泛认知，而机器学习技术在数据挖掘和智能决策中扮演着重要的角色
。
然而，许多敏感数据，如医疗记录
、
金融交易等，由于涉及隐私和合规性问题，不能够被集中式地集成和处理
。
这种情况下，联邦学习成为了一种强大的解决方案，它允许多个分散的数据持有者协作训练机器学习模型，而无需将数据集中存储在一个地方
。
[0003]虽然联邦学习在保护隐私和数据安全方面具有显著的优势，但也面临着一些挑战
。
最大的问题是在分布式环境中有效地管理和传输大型模型
。
通常，每个参与方在本地训练模型，然后将模型参数上传到中央服务器，但大型模型的传输会占用大量的带宽和时间，不仅会提高存储空间和数据传输的成本，而且会导致模型的学习性能受到影响
。
...

【技术保护点】

【技术特征摘要】
1.
一种基于模型剪枝和量化的联邦学习模型轻量化方法，其特征在于，包括：各个客户端初始化并训练本地模型；采用全局非结构化剪枝，不考虑权重之间的关系，基于权重的
L1
范数进行所述本地模型的参数剪枝；在所述本地模型参数剪枝结束后，对所述本地模型的参数进行矢量量化处理；各个客户端将量化后的模型参数上传至服务器；服务器接收得到的模型参数并进行更新
。2.
如权利要求1所述的基于模型剪枝和量化的联邦学习模型轻量化方法，其特征在于，所述各个客户端初始化并训练本地模型，具体包括：各个客户端初始化对应的本地模型；每一客户端调用对应的本地数据集进行模型参数更新，基于随机梯度下降算法最小化每一本地模型的损失函数，以实现对各个所述本地模型的训练
。3.
如权利要求2所述的基于模型剪枝和量化的联邦学习模型轻量化方法，其特征在于，所述本地模型的参数剪枝通过掩码的方式确定，所述本地模型的每一层参数对应一个掩码矩阵；在所述本地模型参数剪枝中，如若权重被剪枝，则掩码矩阵中对应分量为0，否则为
1。4.
如权利要求3所述的基于模型剪枝和量化的联邦学习模型轻量化方法，其特征在于，所述在所述本地模型参数剪枝结束后，对所述本地模型的参数进行矢量量化处理，具体包括：基于设定的缩放系数对模型参数进行归一化处理，并将其划分为不同的子向量；将每个所述子向量进行量化，对其添加抖动处理；将各个量化后的子向量进行离散，实现矢量量化处理
。5.
如权利要求4所述的基于模型剪枝和量化的联邦学习模型轻量化方法，其特征在于，所述服务器接收得到的模型参数并进行更新，具体包括：服务器将接收到的模型参数减去抖动并反归一化；在反归一化处理后，服务器通过联邦平均聚合算法聚合模型参数...

【专利技术属性】
技术研发人员：孙智卿，陈益芳，樊立波，韩荣杰，宣羿，漏亦楠，屠永伟，来益博，王亿，黄佳斌，王奇锋，方响，蒋建，陈元中，张逸琦，
申请(专利权)人：国网浙江省电力有限公司杭州供电公司，
类型：发明
国别省市：