基于联邦机器学习的模型训练方法和装置制造方法及图纸

本说明书实施例提供了基于联邦机器学习的模型训练方法和装置。至少两个客户端以及至少一个云服务器参与基于联邦机器学习的模型训练，在每一轮训练中，第一客户端接收云服务器下发的全局模型；第一客户端利用本地的私有数据训练出该全局模型的梯度；第一客户端对本轮训练得到的梯度进行加密，然后将加密后的梯度发送给云服务器；第一客户端执行下一轮训练，直至全局模型收敛。本说明书实施例能够提高模型训练的安全性。高模型训练的安全性。高模型训练的安全性。

【技术实现步骤摘要】
基于联邦机器学习的模型训练方法和装置


[0001]本说明书一个或多个实施例涉及计算机技术，尤其涉及基于联邦机器学习的模型训练方法和装置。

技术介绍

[0002]联邦机器学习是一个具有隐私保护效果的分布式机器学习框架，能有效帮助多个客户端在满足隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦机器学习作为分布式的机器学习范式，可以有效解决数据孤岛问题，让各个客户端在不共享本端数据的基础上联合建模，实现智能协作，共同训练一个性能较好的全局模型。
[0003]在基于联邦机器学习进行模型训练时，在每一轮的训练中，中心的云服务器将全局模型下发给各个客户端，各个客户端用私有的本地数据训练出模型参数的梯度，再将本轮训练出的梯度传递给云服务器。云服务器收集到各方梯度后，计算出平均梯度，并利用该平均梯度更新云服务器端的全局模型，在下一轮训练时，将更新后的全局模型下发给各个客户端。
[0004]可见，在基于联邦机器学习的全局模型的训练中，各个客户端需要将自己训练出的梯度发送给云服务器。而在很多攻击场景中，可以利用客户端发送给云服务器的梯度信息恢复出该客户端本地存储的原始的私有数据，从而导致私有数据的泄露，用户的隐私无法得到保护，安全性较差。

技术实现思路

[0005]本说明书一个或多个实施例描述了基于联邦机器学习的模型训练方法和装置，能够提高模型训练的安全性。
[0006]根据第一方面，提供了基于联邦机器学习的模型训练方法，至少两个客户端以及至少一个云服务器参与基于联邦机器学习的模型训练，该方法应用于所述至少两个客户端中的任意一个第一客户端，包括：
[0007]在每一轮训练中，第一客户端接收云服务器下发的全局模型；
[0008]第一客户端利用本地的私有数据训练出该全局模型的梯度；
[0009]第一客户端对本轮训练得到的梯度进行加密，然后将加密后的梯度发送给云服务器；
[0010]第一客户端执行下一轮训练，直至全局模型收敛。
[0011]其中，该方法进一步包括：第一客户端得到对应于该第一客户端的掩码；其中，参与所述模型训练的所有客户端对应的所有掩码的和小于预定值；
[0012]所述第一客户端对本轮训练得到的梯度进行加密，包括：
[0013]第一客户端将本轮训练得到的梯度与该第一客户端对应的掩码相加，得到加密后的梯度。
[0014]其中，所述所有客户端对应的所有掩码的和为0。
[0015]其中，所述第一客户端得到对应于该第一客户端的掩码，包括：
[0016]第一客户端得到由该第一客户端生成的、对应所述所有客户端中其他每一个客户端的各个子掩码s(u，v
j
)；
[0017]第一客户端得到由所述其他每一个客户端生成的、对应第一客户端的各个子掩码s(v
j
，u)；其中，j为变量，取值为1至N；N为参与所述模型训练的所有客户端的数量减1；u表征第一客户端，v
j
表征参与所述模型训练的所有客户端中除了第一客户端之外的第j个客户端；
[0018]第一客户端针对每一个变量j，分别计算s(u，v
j
)与s(v
j
，u)两者的差值，根据该差值得到p(u，v
j
)；
[0019]第一客户端计算将计算出的结果作为第一客户端对应的掩码。
[0020]其中，所述根据该差值得到p(u，v
j
)，包括：
[0021]将该差值直接作为所述p(u，v
j
)；
[0022]或者，
[0023]计算该差值mod r，将计算出的取余的结果作为所述p(u，v
j
)；其中，mod为取余运算，r为大于1的预设值。
[0024]其中，所述r为不小于200位的质数。
[0025]该方法进一步包括：第一客户端生成该第一客户端对应的同态加密密钥对；第一客户端将该第一客户端对应的同态加密密钥对中的公钥发送给转发服务器；以及第一客户端接收转发服务器发来的所述所有客户端中其他每一个客户端对应的公钥；
[0026]相应地，在所述第一客户端得到由该第一客户端生成的、对应所述所有客户端中其他每一个客户端的各个子掩码s(u，v
j
)之后，进一步包括：针对所述其他每一个客户端，第一客户端利用第j个客户端对应的公钥，对对应该第j个客户端的子掩码s(u，v
j
)进行加密，然后将加密后的s(u，v
j
)发送给转发服务器；
[0027]相应地，所述第一客户端得到由所述其他每一个客户端生成的、对应第一客户端的各个子掩码s(v
j
，u)，包括：
[0028]所述第一客户端接收转发服务器发来的其他每一个客户端生成的、对应第一客户端的加密后的各个子掩码s(v
j
，u)；
[0029]第一客户端利用该第一客户端对应的同态加密密钥对中的私钥，对各个加密后的子掩码s(v
j
，u)进行解密，得到各个子掩码s(v
j
，u)。
[0030]其中，所述转发服务器包括：所述云服务器，或者独立于所述云服务器的第三方服务器。
[0031]根据第二方面提供了基于联邦机器学习的模型训练方法，至少两个客户端以及至少一个云服务器参与基于联邦机器学习的模型训练，该方法应用于云服务器，包括：
[0032]在每一轮训练中，云服务器将最新得到的全局模型下发给参与基于联邦机器学习的模型训练的每一个客户端；
[0033]云服务器接收每一个客户端发来的加密后的全局模型的梯度；
[0034]云服务器将接收到的各个加密后的全局模型的梯度相加，得到聚合后的梯度；
[0035]云服务器利用聚合后的梯度更新全局模型；
[0036]云服务器执行下一轮训练，直至全局模型收敛。
[0037]根据第三方面，提供了基于联邦机器学习的模型训练装置，至少两个客户端以及至少一个云服务器参与基于联邦机器学习的模型训练，该装置应用于所述至少两个客户端中的任意一个第一客户端，该装置包括：
[0038]全局模型获取模块，配置为在每一轮训练中，接收云服务器下发的全局模型；
[0039]梯度获取模块，配置为在每一轮训练中，利用本地的私有数据训练出该全局模型的梯度；
[0040]加密模块，配置为在每一轮训练中，对本轮训练得到的梯度进行加密，然后将加密后的梯度发送给云服务器；
[0041]各模块执行下一轮训练，直至全局模型收敛。
[0042]根据第四方面，提供了基于联邦机器学习的模型训练装置，至少两个客户端以及至少一个云服务器参与基于联邦机器学习的模型训练，该装置应用于云服务器，该装置包括：
[0043]全局模型下发模块，配置为在每一轮训练中，将最新得到的全局模型下发给参与基于联邦机器学习的模型训练的每一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于联邦机器学习的模型训练方法，至少两个客户端以及至少一个云服务器参与基于联邦机器学习的模型训练，该方法应用于所述至少两个客户端中的任意一个第一客户端，包括：在每一轮训练中，第一客户端接收云服务器下发的全局模型；第一客户端利用本地的私有数据训练出该全局模型的梯度；第一客户端对本轮训练得到的梯度进行加密，然后将加密后的梯度发送给云服务器；第一客户端执行下一轮训练，直至全局模型收敛。2.根据权利要求1所述的方法，其中，该方法进一步包括：第一客户端得到对应于该第一客户端的掩码；其中，参与所述模型训练的所有客户端对应的所有掩码的和小于预定值；所述第一客户端对本轮训练得到的梯度进行加密，包括：第一客户端将本轮训练得到的梯度与该第一客户端对应的掩码相加，得到加密后的梯度。3.根据权利要求2所述的方法，其中，所述所有客户端对应的所有掩码的和为0。4.根据权利要求3所述的方法，其中，所述第一客户端得到对应于该第一客户端的掩码，包括：第一客户端得到由该第一客户端生成的、对应所述所有客户端中其他每一个客户端的各个子掩码s(u，v
j
)；第一客户端得到由所述其他每一个客户端生成的、对应第一客户端的各个子掩码s(v
j
，u)；其中，j为变量，取值为1至N；N为参与所述模型训练的所有客户端的数量减1；u表征第一客户端，v
j
表征参与所述模型训练的所有客户端中除了第一客户端之外的第j个客户端；第一客户端针对每一个变量j，分别计算s(u，v
j
)与s(v
j
，u)两者的差值，根据该差值得到p(u，v
j
)；第一客户端计算将计算出的结果作为第一客户端对应的掩码。5.根据权利要求4所述的方法，其中，所述根据该差值得到p(u，v
j
)，包括：将该差值直接作为所述p(u，v
j
)；或者，计算该差值mod r，将计算出的取余的结果作为所述p(u，v
j
)；其中，mod为取余运算，r为大于1的预设值。6.根据权利要求5所述的方法，其中，所述r为不小于200位的质数。7.根据权利要求4所述的方法，其中，该方法进一步包括：第一客户端生成该第一客户端对应的同态加密密钥对；第一客户端将该第一客户端对应的同态加密密钥对中的公钥发送给转发服务器；以及第一客户端接收转发服务器发来的所述所有客户端中其他每一个客户端对应的公钥；相应地，在所述第一客户端得到由该第一客户端生成的、对应所述所有客户端中其他每一个客户端的各个子掩码s(u，v
j
)之后，进一步包括：针对所述其他每一个客户端，第一客户端利用第j个客...

【专利技术属性】
技术研发人员：申书恒，傅欣艺，王维强，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：