一种基于差分隐私的联邦学习方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于差分隐私的联邦学习方法、装置和存储介质。所述方法包括：S1、将预设的第一模型参数下发至用户端，使所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数；其中，所述第一模型参数包括隐私预算；S2、对所述第二模型参数进行参数平均化，得到第三模型参数，并将所述第三模型参数下发至所述用户端；S3、将步骤S1～S2的执行总次数作为模型训练轮次，并当所述模型训练轮次未达到预设阈值时重复执行步骤S1和步骤S2，反之结束模型训练。本发明专利技术能够保障数据隐私安全，并提高训练模型的精确度。

A federated learning method, device and storage medium based on differential privacy

【技术实现步骤摘要】
一种基于差分隐私的联邦学习方法、装置及存储介质
本专利技术涉及人工智能
，尤其涉及一种基于差分隐私的联邦学习方法、装置及存储介质。
技术介绍
目前，大多数用户比如企业或机构等都想要联合其他用户的数据协同训练AI模型，出于数据隐私保护和安全的考虑，各个用户无法直接进行数据交换，难以实现跨用户协同训练AI模型。而应用Google提出的联邦学习方法可解决上述问题。联邦学习在用户各自数据不出本地的前提下，通过加密机制或扰动机制下的参数交换与优化，建立一个共有模型。这要求用户用自身数据训练得到用户模型，并将用户模型的模型参数上传至服务器，由服务器根据多个用户上传的模型参数进行模型优化后基于差分隐私进行数据隐私保护，建立一个共有模型。但在现有的联邦学习方法中，仍存在以下技术难点：1、用户将模型参数直接上传至服务器，使得模型参数暴露在数据传输通道及服务器中，无法充分保障数据隐私安全；2、数据量较大或数据量较小的用户均使用相同的模型构建方法和训练轮次，难以保证模型的精确度；3、差分隐私随机梯度下降算法(DP-SGD)和自适应的Laplace机制(AdLM)等差分隐私深度学习算法给模型加入的噪音较大且较为固定，难以针对不同的训练过程优化调整噪音，难以保证模型的精确度。
技术实现思路
本专利技术提供一种基于差分隐私的联邦学习方法、装置及存储介质，以克服现有的联邦学习方法面对的技术难点，本专利技术能够保障数据隐私安全，并提高训练模型的精确度。为了解决上述技术问题，本专利技术一实施例提供一种基于差分隐私的联邦学习方法，包括：S1、将预设的第一模型参数下发至用户端，使所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数；其中，所述第一模型参数包括隐私预算；S2、对所述第二模型参数进行参数平均化，得到第三模型参数，并将所述第三模型参数下发至所述用户端；S3、将步骤S1～S2的执行总次数作为模型训练轮次，并当所述模型训练轮次未达到预设阈值时重复执行步骤S1和步骤S2，反之结束模型训练。进一步地，所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数，包括：所述用户端根据所述第一模型参数，通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数。进一步地，所述用户端根据所述第一模型参数，通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数，包括：将所述隐私预算随机分为最优步长参数和噪音梯度参数；其中，所述最优步长参数和所述噪音梯度参数均用于确定添加的高斯噪音的大小；当剩余的所述隐私预算大于0时，沿梯度下降的方向更新所述用户端本地的深度学习模型，得到所述第二模型参数。本专利技术另一实施例提供一种基于差分隐私的联邦学习装置，包括：第一模型参数下发模块，用于将预设的第一模型参数下发至用户端，使所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数；其中，所述第一模型参数包括隐私预算；第三模型参数下发模块，用于对所述第二模型参数进行参数平均化，得到第三模型参数，并将所述第三模型参数下发至所述用户端；模型训练轮次判断模块，用于将上述下发模块的执行总次数作为模型训练轮次，并当所述模型训练轮次未达到预设阈值时重复执行上述下发模块，反之结束模型训练。进一步地，所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数，包括：所述用户端根据所述第一模型参数，通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数。进一步地，所述用户端根据所述第一模型参数，通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数，包括：将所述隐私预算随机分为最优步长参数和噪音梯度参数；其中，所述最优步长参数和所述噪音梯度参数均用于确定添加的高斯噪音的大小；当剩余的所述隐私预算大于0时，沿梯度下降的方向更新所述用户端本地的深度学习模型，得到所述第二模型参数。本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上所述的基于差分隐私的联邦学习方法。本专利技术的实施例，具有如下有益效果：通过将预设的第一模型参数，包括隐私预算下发至用户端，使用户端可根据第一模型参数，基于差分隐私技术更新用户端本地的深度学习模型并返回第二模型参数，进而通过对用户端上传的第二模型参数进行参数平均化，向用户端下发得到的第三模型参数。同时，将上述操作作为一轮模型训练，通过累计模型训练轮次，在模型训练轮次未达到预设阈值时重复执行上述操作，反之结束模型训练。本专利技术通过使各个用户端基于差分隐私技术更新其本地的深度学习模型后再上传第二模型参数，有利于保障数据隐私安全，并提高训练模型的精确度；通过对第二模型参数进行参数平均化，能够对第二模型参数进行整合得到第三模型参数，使用户端根据第三模型参数进行下一轮模型训练，有利于提高训练模型的精确度；通过对模型训练轮次设置阈值，使得只有当模型训练轮次达到预设阈值时才结束模型训练，有利于进一步提高训练模型的精确度。附图说明图1为本专利技术第一实施例中的一种基于差分隐私的联邦学习方法的流程示意图；图2为本专利技术第一实施例中的基于差分隐私的联邦学习框架的结构示意图；图3为本专利技术第一实施例中的差分隐私-卷积神经网络算法的流程示意图；图4为本专利技术第二实施例中的一种基于差分隐私的联邦学习装置的结构示意图。具体实施方式下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的服务器执行，且下文均以服务器作为执行主体为例进行说明。第一实施例。请参阅图1-3。如图1所示，第一实施例提供一种基于差分隐私的联邦学习方法，所述方法包括步骤S1～S3：S1、将预设的第一模型参数下发至用户端，使用户端根据第一模型参数，基于差分隐私技术更新用户端本地的深度学习模型并返回第二模型参数；其中，第一模型参数包括隐私预算。S2、对第二模型参数进行参数平均化，得到第三模型参数，并将第三模型参数下发至用户端。S3、将步骤S1～S2的执行总次数作为模型训练轮次，并当模型训练轮次未达到预设阈值时重复执行步骤S1和步骤S2，反之结束模型训练。在步骤S1中，本文档来自技高网...

【技术保护点】
1.一种基于差分隐私的联邦学习方法，其特征在于，包括：/nS1、将预设的第一模型参数下发至用户端，使所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数；其中，所述第一模型参数包括隐私预算；/nS2、对所述第二模型参数进行参数平均化，得到第三模型参数，并将所述第三模型参数下发至所述用户端；/nS3、将步骤S1～S2的执行总次数作为模型训练轮次，并当所述模型训练轮次未达到预设阈值时重复执行步骤S1和步骤S2，反之结束模型训练。/n

【技术特征摘要】
1.一种基于差分隐私的联邦学习方法，其特征在于，包括：
S1、将预设的第一模型参数下发至用户端，使所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数；其中，所述第一模型参数包括隐私预算；
S2、对所述第二模型参数进行参数平均化，得到第三模型参数，并将所述第三模型参数下发至所述用户端；
S3、将步骤S1～S2的执行总次数作为模型训练轮次，并当所述模型训练轮次未达到预设阈值时重复执行步骤S1和步骤S2，反之结束模型训练。


2.如权利要求1所述的基于差分隐私的联邦学习方法，其特征在于，所述用户端根据所述第一模型参数，基于差分隐私技术更新所述用户端本地的深度学习模型并返回第二模型参数，包括：
所述用户端根据所述第一模型参数，通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数。


3.如权利要求2所述的基于差分隐私的联邦学习方法，其特征在于，所述用户端根据所述第一模型参数，通过差分隐私-卷积神经网络算法更新所述用户端本地的深度学习模型并返回所述第二模型参数，包括：
将所述隐私预算随机分为最优步长参数和噪音梯度参数；其中，所述最优步长参数和所述噪音梯度参数均用于确定添加的高斯噪音的大小；
当剩余的所述隐私预算大于0时，沿梯度下降的方向更新所述用户端本地的深度学习模型，得到所述第二模型参数。


4.一种基于差分隐私的联邦学习装置，其特征在于，包括：
第一模型参数下发模块，用于将预设的第一模型参数下发至用户端，使所...

【专利技术属性】
技术研发人员：廖清，黄茜茜，柏思远，丁烨，李京竹，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：广东;44