一种基于差分隐私的联邦学习方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于差分隐私的联邦学习方法、装置和存储介质。所述方法包括：S1、将预设的第一模型参数下发至用户端，使所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数；其中，所述第一模型参数包括隐私预算；S2、对所述第二模型参数进行参数平均化，得到第三模型参数，并将所述第三模型参数下发至所述用户端；S3、将步骤S1～S2的执行总次数作为模型训练轮次，并当所述模型训练轮次未达到预设阈值时重复执行步骤S1和步骤S2，反之结束模型训练。本发明专利技术能够保障数据隐私安全，并提高训练模型的精确度。

A federated learning method, device and storage medium based on differential privacy

【技术实现步骤摘要】
一种基于差分隐私的联邦学习方法、装置及存储介质
本专利技术涉及人工智能
，尤其涉及一种基于差分隐私的联邦学习方法、装置及存储介质。
技术介绍
目前，大多数用户比如企业或机构等都想要联合其他用户的数据协同训练AI模型，出于数据隐私保护和安全的考虑，各个用户无法直接进行数据交换，难以实现跨用户协同训练AI模型。而应用Google提出的联邦学习方法可解决上述问题。联邦学习在用户各自数据不出本地的前提下，通过加密机制或扰动机制下的参数交换与优化，建立一个共有模型。这要求用户用自身数据训练得到用户模型，并将用户模型的模型参数上传至服务器，由服务器根据多个用户上传的模型参数进行模型优化后基于差分隐私进行数据隐私保护，建立一个共有模型。但在现有的联邦学习方法中，仍存在以下技术难点：1、用户将模型参数直接上传至服务器，使得模型参数暴露在数据传输通道及服务器中，无法充分保障数据隐私安全；2、数据量较大或数据量较小的用户均使用相同的模型构建方法和训练轮次，难以保证模型的精确度；3、差分隐私随机梯度下降算法(DP-SGD本文档来自技高网...

【技术保护点】
1.一种基于差分隐私的联邦学习方法，其特征在于，包括：/nS1、将预设的第一模型参数下发至用户端，使所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数；其中，所述第一模型参数包括隐私预算；/nS2、对所述第二模型参数进行参数平均化，得到第三模型参数，并将所述第三模型参数下发至所述用户端；/nS3、将步骤S1～S2的执行总次数作为模型训练轮次，并当所述模型训练轮次未达到预设阈值时重复执行步骤S1和步骤S2，反之结束模型训练。/n

【技术特征摘要】
1.一种基于差分隐私的联邦学习方法，其特征在于，包括：
S1、将预设的第一模型参数下发至用户端，使所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数；其中，所述第一模型参数包括隐私预算；
S2、对所述第二模型参数进行参数平均化，得到第三模型参数，并将所述第三模型参数下发至所述用户端；
S3、将步骤S1～S2的执行总次数作为模型训练轮次，并当所述模型训练轮次未达到预设阈值时重复执行步骤S1和步骤S2，反之结束模型训练。


2.如权利要求1所述的基于差分隐私的联邦学习方法，其特征在于，所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数，包括：
所述用户端根据所述第一模型参数，通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数。


3.如权利要求2所述的基于差分隐私的联邦学习方法，其特征在于，所述用户端根据所述第一模型参数，通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数，包括：
将所述隐私预算随机分为最优步长参数和噪音梯度参数；其中，所述最优步长参数和所述噪音梯度参数均用于确定添加的高斯噪音的大小；
当剩余的所述隐私预算大于0时，沿梯度下降的方向更新所述用户端本地的深度学习模型，得到所述第二模型参数。


4.一种基于差分隐私的联邦学习装置，其特征在于，包括：
第一模型参数下发模块，用于将预设的第一模型参数下发至用户端，使所...

【专利技术属性】
技术研发人员：廖清，黄茜茜，柏思远，丁烨，李京竹，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：广东;44