基于动量优化的异构联邦学习自适应保隐私方法和装置制造方法及图纸

本发明专利技术属于联邦学习隐私保护的技术领域，更具体地，涉及基于动量优化的异构联邦学习自适应保隐私方法和装置。所述方法包括：接收中心服务器广播的特征提取器参数，并基于本地数据集计算当前迭代轮次的本地梯度，对于分类器部分，在本地梯度更新中引入动量机制；应用梯度下降算法，利用计算得到的本地梯度更新本地模型参数；对于特征提取器部分，计算Fisher信息矩阵；对各层Fisher信息进行归一化处理，并筛选策略；然后进行差分隐私处理，再上传至中心服务器进行参数聚合，并将更新后的全局模型参数广播回各个本地客户端，以进行下一轮训练。本发明专利技术解决了差分隐私机制对模型训练的负面影响以及导致模型收敛慢、隐私保护效果差的问题。

【技术实现步骤摘要】

本专利技术属于联邦学习隐私保护的，更具体地，涉及基于动量优化的异构联邦学习自适应保隐私方法和装置。

技术介绍

1、联邦学习是一种分布式机器学习范式，通过多个客户端在本地训练模型，并在中心服务器的协调下进行参数聚合，以构建一个全局模型或个性化本地模型。这种方法在保证模型性能的同时，减少了数据集中存储所带来的隐私风险。然而，研究表明，即便数据不直接共享，联邦学习仍可能泄露用户的敏感信息，使其面临潜在的隐私威胁。因此，引入差分隐私机制成为联邦学习中保护数据安全的重要手段。

2、中国专利技术专利文献cn116050509a公开了基于动量梯度下降的聚类联邦学习方法，提出了基于损失函数最小化的聚类方法，并且在联邦学习的本地更新阶段改进了随机梯度下降（sgd）算法，采用动量梯度下降的优化算法，在全局更新阶段提出了梯度平均与模型平均；本专利技术基于动量梯度下降的聚类联邦学习算法（cfl-mgd）不仅在凸设置上得到了以指数收敛的理论保证，还在神经网络等非凸设置上比其他算法更加高效；框架结构简单、算法高效，结合聚类和polyak’s动量。>

3、差分隐私本文档来自技高网...

【技术保护点】

1.基于动量优化的异构联邦学习自适应保隐私方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于动量优化的异构联邦学习自适应保隐私方法，其特征在于，所述S1具体包括：

3.根据权利要求2所述的基于动量优化的异构联邦学习自适应保隐私方法，其特征在于，所述S3具体包括：

4.根据权利要求3所述的基于动量优化的异构联邦学习自适应保隐私方法，其特征在于，所述将经过Fisher信息筛选和稀疏化后的特征提取器参数进行差分隐私处理，具体包括：

5.根据权利要求3所述的基于动量优化的异构联邦学习自适应保隐私方法，其特征在于，所述权重层包括但不限于：...

【技术特征摘要】

1.基于动量优化的异构联邦学习自适应保隐私方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于动量优化的异构联邦学习自适应保隐私方法，其特征在于，所述s1具体包括：

3.根据权利要求2所述的基于动量优化的异构联邦学习自适应保隐私方法，其特征在于，所述s3具体包括：

4.根据权利要求3所述的基于动量优化的异构联邦学习自适应保隐私方法，其特征在于，所述将经过fisher信息筛选和稀疏化后的特征提取器参数进行差分隐私处理...

【专利技术属性】
技术研发人员：吴晓明，刘腾，杨明，王鑫，陈振娅，刘臣胜，穆超，贺云鹏，吴法宗，徐硕，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：