基于Momentum SGD-GDP的联邦学习方法、系统及存储介质技术方案

本发明专利技术属于人工领域，公开了一种基于MomentumSGD‑GDP的联邦学习方法、系统及存储介质，方法包括：选定客户端，从中央服务器下载可训练模型的参数，并将当前的全局模型传入到客户端中；根据本地数据更新客户端的本地模型，采用动量梯度下降优化算法训练本地模型，并对本地模型计算后的参数梯度进行裁剪并添加高斯噪声；将新的模型参数上传到中央服务器，中央服务器汇总多个客户端的更新，进一步改进模型。本发明专利技术在计算出的梯度中加入高斯噪声，使得整个训练过程以及训练后算法生成的模型均满足高斯差分隐私，得到分类准确率与训练损失，具有轻量级的优势，更适合未来工作中大数据下的隐私保护，为隐私计算方法研究提供了新的思路。

【技术实现步骤摘要】

本专利技术属于人工智能领域，尤其涉及一种基于momentum sgd-gdp的联邦学习方法、系统及存储介质。

技术介绍

1、目前，随着人工智能和大数据技术的发展，有关部门需收集和分析巨量的数据，同时公众也愈发重视个人隐私的保护，数据孤岛和隐私保护已经成为制约人工智能发展的关键问题，联邦学习作为隐私保护和数据共享的纽带应运而生，在保证模型性能的同时满足所需的隐私安全程度。联邦学习作为一种新型的隐私保护计算方案，在数据不出本地的前提下，可以有效联合各参与方共同建模，实现对数据的安全处理，成为当下人工智能领域备受关注的热点。作为分布式机器学习的一种范式，联邦学习可以有效保护用户的个人数据不被攻击者获得，但是通过分析深度学习模型训练中的参数，仍然可能泄露用户的隐私信息。为了解决这个问题，使用同态加密、安全多方计算和差分隐私等技术去保护联邦学习过程的安全，建立隐私模型试图在性能和隐私中找到一个平衡，从而增强对联邦学习各参与方的隐私保护。

2、通过上述分析，现有技术存在的问题及缺陷为：

3、1.交互开销

4、由于带宽等问题，网络上的本文档来自技高网...

【技术保护点】

1.一种基于动量梯度下降和高斯差分隐私的联邦学习方法，其特征在于，所述基于动量梯度下降和高斯差分隐私的联邦学习方法包括：

2.如权利要求1所述基于动量梯度下降和高斯差分隐私的联邦学习方法，其特征在于，所述基于动量梯度下降和高斯差分隐私的联邦学习方法由四个模块组成，分别为数据处理模块、本地模型计算模块、差分隐私训练模块和联邦学习控制模块；

3.如权利要求2所述基于动量梯度下降和高斯差分隐私的联邦学习方法，其特征在于，所述数据处理模块中数据集包括MNIST、CIFAR10、Federated-MNIST和Shakespeare数据集，其中MNIST和CIFAR10数据...

【技术特征摘要】

1.一种基于动量梯度下降和高斯差分隐私的联邦学习方法，其特征在于，所述基于动量梯度下降和高斯差分隐私的联邦学习方法包括：

2.如权利要求1所述基于动量梯度下降和高斯差分隐私的联邦学习方法，其特征在于，所述基于动量梯度下降和高斯差分隐私的联邦学习方法由四个模块组成，分别为数据处理模块、本地模型计算模块、差分隐私训练模块和联邦学习控制模块；

3.如权利要求2所述基于动量梯度下降和高斯差分隐私的联邦学习方法，其特征在于，所述数据处理模块中数据集包括mnist、cifar10、federated-mnist和shakespeare数据集，其中mnist和cifar10数据集用于进行图像分类任务，federated-mnist和shakespeare数据集用于联邦学习；

4.如权利要求2所述基于动量梯度下降和高斯差分隐私的联邦学习方法，其特征在于，所述cnn-mnist模型的训练过程为：

5.如权利要求2所述基于动量梯度下降和高斯差分隐私的联邦学习方法，其特征在于，所述噪声生成机制是需指定梯度裁剪边界值，裁剪梯度边界值bound在c和-c之间，差分隐私的敏感度其中n为本地样本的数量，进而根据σ和δ的...

【专利技术属性】
技术研发人员：杨凯，杜佳玮，
申请(专利权)人：西京学院，
类型：发明
国别省市：