【技术实现步骤摘要】
一种基于联邦学习的模型训练方法
本说明书实施例涉及信息
，尤其涉及一种基于联邦学习的模型训练方法。
技术介绍
联邦学习(Federatedmachinelearning/FederatedLearning)，是指一种机器学习框架，能有效帮助多个节点(可以代表个人或机构)在满足数据隐私保护的要求下，联合训练模型。在联邦学习框架下，服务端下发模型参数给多个节点，每个节点将本地的训练样本输入模型进行一次训练，本次训练结束后，每个节点会基于本次训练结果计算得到的梯度。随后，服务端基于安全聚合(SA，SecureAggregation)协议，可以计算得到各节点的梯度之和。值得强调的是，服务端收到SA协议的限制，并不能获得单个节点上传的梯度。如此，既可以使得服务端根据各节点上传的梯度之和调整模型参数，又可以一定程度上实现节点的数据隐私保护。然而实践中，服务端理论上可以根据各节点上传的梯度之和推断出各节点的数据隐私。
技术实现思路
为了解决服务端根据各节点上传的梯度之和推断出各节点的数据隐...
【技术保护点】
1.一种基于联邦学习的模型训练方法，应用于包括服务端与N个节点的联邦学习系统，N＞1，所述方法包括：/n在模型训练的第i次迭代中，执行：/n所述服务端将模型参数集合下发给M
【技术特征摘要】
1.一种基于联邦学习的模型训练方法，应用于包括服务端与N个节点的联邦学习系统，N＞1，所述方法包括：
在模型训练的第i次迭代中，执行：
所述服务端将模型参数集合下发给Mi个节点；其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点；
第j个目标类型节点根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到wij；其中，j＝(1,2，…，Qi)，wij＝wij*+kij，wij*表征第j个目标类型节点在未执行差分隐私操作的情况下得到的梯度，kij是第j个目标类型节点通过差分隐私保护操作确定的数据干扰项，用于保护所述Qi个目标类型节点的本地训练样本的差分隐私；
所述服务端获取并基于更新模型参数集合。
2.如权利要求1所述的方法，针对所述Mi个节点中的任一节点，若该节点在接收到模型参数集合之后，继续处于在线状态直至第i次迭代结束，则该节点属于目标类型节点。
3.如权利要求1所述的方法，第j个目标类型节点根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到wij，具体包括：
第j个目标类型节点根据所述模型参数集合与本地训练样本执行梯度计算，得到梯度wij*，并通过差分隐私保护操作，向wij*中加入数据干扰项kij，得到得到wij；
或者，第j个目标类型节点通过差分隐私保护操作，向所述模型参数集合加入干扰，并根据干扰后的所述模型参数集合与本地训练样本执行梯度计算，得到wij；
或者，第j个目标类型节点通过差分隐私保护操作，向本地训练样本加入干扰，并根据干扰后的本地训练样本与所述模型参数集合执行梯度计算，得到wij。
4.如权利要求1所述的方法，所述服务端获取具体包括：
第j个目标类型节点使用公钥pki对wij进行加密，得到E(wij)并上传给所述服务端；其中，所述Mi个节点基于门限同态加密协议，约定pki以及所述Mi个节点中每个节点的子私钥集合；
所述服务端计算并获取其中，是使用至少Ti个目标类型节点的子私钥集合对进行解密得到的，Ti是第i次迭代中，门限同态加密协议指定的门限值。
5.如权利要求4所述的方法，所述服务端获取具体包括：
所述服务端将下发给至少Ti个目标类型节点；
针对所述至少Ti个目标类型节点中的每个目标类型节点，该目标类型节点使用自身的子私钥集合解密得到解密结果并上传给所述服务端；
所述服务端对所述至少Ti个目标类型节点分别上传的解密结果进行汇总，得到
6.如权利要求4所述的方法，所述服务端获取具体包括：
所述服务端若确定Qi≥Ti，则获取
所述方法还包括：
所述服务端若确定Qi＜Ti，则停止本次迭代，并进入下一次迭代。
7.如权利要求1～6任一项所述的方法，所述模型对应的输入数据包括：图像或文本或语音。
8.如权利要求7所述的方法，所述文本包含实体对象信息。
9.一种联邦学习系统，包括服务端与N个节点，N＞1；
所述服务端，在模型训练的第i次迭代中，将模型参数集合下发给Mi个节点；其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点；
第j个目标类型节点，根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到wij；其中，j＝(1,2，…，Qi)，wij＝wij*+kij，wij*表征第j个目标类型节点在未执行差分隐私操作的情况下得到的梯度，k...
【专利技术属性】
技术研发人员：王力，陈超超，周俊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。