联邦学习的梯度融合方法及装置和电子设备制造方法及图纸

本说明书实施例提供一种联邦学习的梯度融合方法及装置和电子设备。所述方法包括：向各个设备下发新一轮联邦学习的训练指令；接收设备上传的使用公钥加密的梯度数据；其中，所述公钥为所述可信执行环境生成的公私钥对中的公钥；利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，得到明文的梯度数据；对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。

Gradient fusion method, device and electronic device for federated learning

【技术实现步骤摘要】
联邦学习的梯度融合方法及装置和电子设备
本说明书实施例涉及互联网
，尤其涉及一种联邦学习的梯度融合方法及装置和电子设备。
技术介绍
联邦学习是一种分布式的机器学习算法，成千上万的设备利用本地的数据协同训练一个共享的模型。
技术实现思路
本说明书实施例提供的一种联邦学习的梯度融合方法及装置和电子设备。根据本说明书实施例的第一方面，提供一种联邦学习的梯度融合方法，应用于联邦学习系统，所述系统包括云端服务器和至少2个设备；其中所述云端服务器具有所述设备认可的可信执行环境；所述方法包括：云端服务器向各个设备下发新一轮联邦学习的训练指令；所述设备在接收到训练指令后，利用设备端的联邦学习算法和训练数据进行训练得到模型参数的梯度数据；所述设备使用公钥对训练的梯度数据进行加密，并将加密的梯度数据上传至所述云端服务器；其中，所述公钥为所述云端服务器的可信执行环境生成的公私钥对中的公钥；所述云端服务器利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，得到明文的梯度数据；本文档来自技高网...

【技术保护点】
1.一种联邦学习的梯度融合方法，应用于联邦学习系统，所述系统包括云端服务器和至少2个设备；其中所述云端服务器具有所述设备认可的可信执行环境；所述方法包括：/n云端服务器向各个设备下发新一轮联邦学习的训练指令；/n所述设备在接收到训练指令后，利用设备端的联邦学习算法和训练数据进行训练得到模型参数的梯度数据；/n所述设备使用公钥对训练的梯度数据进行加密，并将加密的梯度数据上传至所述云端服务器；其中，所述公钥为所述云端服务器的可信执行环境生成的公私钥对中的公钥；/n所述云端服务器利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，得到明文的梯度数据；/n所述云端服务器对参与本轮联...

【技术特征摘要】
1.一种联邦学习的梯度融合方法，应用于联邦学习系统，所述系统包括云端服务器和至少2个设备；其中所述云端服务器具有所述设备认可的可信执行环境；所述方法包括：
云端服务器向各个设备下发新一轮联邦学习的训练指令；
所述设备在接收到训练指令后，利用设备端的联邦学习算法和训练数据进行训练得到模型参数的梯度数据；
所述设备使用公钥对训练的梯度数据进行加密，并将加密的梯度数据上传至所述云端服务器；其中，所述公钥为所述云端服务器的可信执行环境生成的公私钥对中的公钥；
所述云端服务器利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，得到明文的梯度数据；
所述云端服务器对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。


2.根据权利要求1所述的方法，所述方法还包括：
在联邦学习之前，所述云端服务器的可信执行环境进行第三方认证；
在接收所述第三方通过认证后返回的认证报告后，在所述可信执行环境生成一对公私钥，并将公钥下发至每个设备。


3.根据权利要求2所述的方法，下发至每个设备的还包括认证报告；所述方法还包括：
所述设备在接收到认证报告后，通过所述第三方提供的SDK内置的验证程序对该认证报告进行校验，以证明该认证报告是可信的。


4.一种联邦学习的梯度融合方法，应用于具备可信环境的云端服务器，所述方法包括：
向各个设备下发新一轮联邦学习的训练指令；
接收设备上传的使用公钥加密的梯度数据；其中，所述公钥为所述可信执行环境生成的公私钥对中的公钥；
利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，得到明文的梯度数据；
对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。


5.根据权利要求4所述的方法，所述方法还包括：
在联邦学习之前，向第三方发起针对所述可信执行环境的认证请求；
在接收所述第三方通过认证后返回的认证报告后，在所述可信执行环境生成一对公私钥，并将公钥下发至每个设备。


6.一种联邦学习的梯度融合方法，应用于具备可信环境的云端服务器，所述方法包括：
向各个设备下发新一轮联邦学习的训练指令；
接收设备上传的使用第一公钥加密第二密钥，以及使用第二密钥加密的梯度数据；其中，所述公钥为所述可信执行环境生成的第一公私钥对中的第一公钥；所述第二密钥由所述设备本地生成；
利用所述可信执行环境中存储的所述第一公私钥对中第一私钥对加密的第二密钥进行解密，并利用解密的第二密钥对加密的梯度数据进行解密，得到明文的梯度数据；
对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。


7.一种联邦学习的梯度融合方法，应用于参与联邦学习的设备，所述方法包括：
接收云端服务器下发新一轮联邦学习的训练指令；
利用设备端的联邦学习算法和训练数据进行训练得到模型参数的梯度数据；
使用所述云端服务器的可信执行环境生成的公私钥对中的公钥对训练的梯度数据进行加密，以及将加密的梯度数据上传至所述云端服务器；以使所述云端服务器利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，以及将各个设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。


8.根据权利要求7所述的方法，所述方法还包括：
在联邦学习之前，接收所述云端服务器下发的由第三方对所述云端服务器的可信执行环境认证通过后返回的认证报告，以及所述可信执行环境生成一对公私钥中的公钥；
通过所述第三方提供的SDK...

【专利技术属性】
技术研发人员：巫锡斌，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33