基于联邦学习的模型构建方法、装置、设备及介质制造方法及图纸

本申请公开了一种基于联邦学习的模型构建方法、装置、设备及介质，涉及联邦学习技术领域，应用于云数据中心聚合节点，包括：获取参与方对目标梯度加密得到的加密梯度，将加密梯度存放参数队列；目标梯度是参与方对当前模型训练得到的；以流水线并行模式依次从参数队列选取不高于目标数量个加密梯度进行梯度聚合得到聚合梯度，可信执行环境中解密聚合梯度得到解密梯度，利用解密梯度对当前模型参数更新，流水线并行模式结束后得到若干更新后模型；对所有更新后模型参数聚合得到聚合模型，将聚合模型作为当前模型发送参与方，跳转至获取加密梯度步骤，直至最新模型收敛。以流水线并行模式处理聚合解密和更新过程，节省时间，提高了模型训练效率。模型训练效率。模型训练效率。

【技术实现步骤摘要】
基于联邦学习的模型构建方法、装置、设备及介质


[0001]本专利技术涉及联邦学习
，特别涉及一种基于联邦学习的模型构建方法、装置、设备及介质。

技术介绍

[0002]当前，随着人工智能和大数据的迅猛发展，联邦学习作为一种分布式机器学习方法，已经成为解决隐私保护和数据共享之间矛盾的重要途径。在传统的中心化机器学习中，数据需要集中到一个中心服务器进行训练，这存在数据泄露和隐私侵犯的风险。而联邦学习允许数据分散在各个参与方之间进行模型训练，保护了数据隐私，同时实现了共同学习的目标。
[0003]然而，联邦学习仍然面临一些挑战。目前主流的联邦学习算法，如FedAvg(Federated average，联邦平均)、FedSGD(Federated S tochastic G radient Descent，联邦随机梯度下降)、FedProxy(Federated Proxy，联邦代理)等算法存在服务器等待的问题。在每轮训练中，服务器需要等待完成所有参与方的本地训练并上传模型更新后，才能进行模型聚合操作，需要指出的是，完成所有参与方的本地训练并上传模型更新的过程中，需多次进行模型更新，每次只能进行单次模型更新，因此造成服务器资源利用率低下，进一步造成训练效率低下。
[0004]综上所述，如何提高模型训练效率是当前亟待解决的问题。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于联邦学习的模型构建方法、装置、设备及介质，能够提高模型训练效率，其具体方案如下：
[0006]第一方面，本申请公开了一种基于联邦学习的模型构建方法，应用于云数据中心聚合节点，包括：
[0007]获取每个参与方利用同态加密公钥对目标梯度进行加密得到的加密梯度，并将所述加密梯度依照获取顺序存放至参数队列；所述目标梯度为所述参与方对当前模型进行训练得到的梯度；
[0008]以流水线并行模式依次从所述参数队列中选取不高于目标数量个加密梯度进行梯度聚合得到聚合梯度，并在可信执行环境中利用同态加密私钥解密所述聚合梯度得到解密梯度，然后利用所述解密梯度对所述当前模型进行参数更新，直至所述流水线并行模式结束后得到若干更新后模型；
[0009]对所有所述更新后模型进行参数聚合得到聚合模型，并将所述聚合模型作为所述当前模型发送至每个所述参与方，然后跳转至所述获取每个参与方利用同态加密公钥对目标梯度进行加密得到的加密梯度的步骤，直至最新得到的模型收敛。
[0010]可选的，所述获取每个参与方利用同态加密公钥对目标梯度进行加密得到的加密梯度，包括：
[0011]在聚合时限内持续获取每个参与方利用同态加密公钥对目标梯度进行加密得到的加密梯度。
[0012]可选的，所述在可信执行环境中利用同态加密私钥解密所述聚合梯度得到解密梯度，包括：
[0013]在每次梯度聚合后的预设时间段内在可信执行环境中利用同态加密私钥解密所述聚合梯度得到解密梯度。
[0014]可选的，所述获取每个参与方利用同态加密公钥对目标梯度进行加密得到的加密梯度之前，还包括：
[0015]创建模型构建任务并确定初始模型，然后将所述模型构建任务发送至客户端，以便所述客户端确定是否参与所述模型构建任务，并在参与所述模型构建任务后作为所述参与方将所述客户端本地的数据集信息和资源信息发送至所述云数据中心聚合节点；
[0016]基于每个所述参与方的所述数据集信息和所述资源信息确定聚合时限；
[0017]将所述聚合时限、所述同态加密公钥和所述初始模型发送至所述参与方，以便所述参与方基于所述聚合时限确定训练迭代次数和训练循环次数，以对所述初始模型进行训练。
[0018]可选的，所述确定初始模型，包括：
[0019]将基于深度学习算法构建的并且未进行训练和参数更新的模型确定为初始模型。
[0020]可选的，所述将所述聚合时限、所述同态加密公钥和所述初始模型发送至所述参与方之前还包括：
[0021]基于每个所述参与方的所述数据集信息和所述资源信息为处理所述模型构建任务申请云资源；
[0022]创建所述可信执行环境并确定所述同态加密私钥和所述同态加密公钥，并将所述同态加密私钥存放至所述可信执行环境；
[0023]根据所述模型构建任务和所述云资源为梯度聚合流程、解密流程和参数更新流程分配计算资源，并设置所述解密流程对应的所述预设时间段。
[0024]可选的，所述基于联邦学习的模型构建方法，还包括：
[0025]持续监控模型构建流程；
[0026]相应的，所述对所有所述更新后模型进行参数聚合得到聚合模型之后，还包括：
[0027]根据所述模型构建流程调整所述参与方的数量，并调整所述聚合时限和所述预设时间段。
[0028]第二方面，本申请公开了一种基于联邦学习的模型构建装置，应用于云数据中心聚合节点，包括：
[0029]梯度获取模块，用于每个参与方利用同态加密公钥对目标梯度进行加密得到的加密梯度，并将所述加密梯度依照获取顺序存放至参数队列；所述目标梯度为所述参与方对当前模型进行训练得到的梯度；
[0030]第一模型获取模块，用于以流水线并行模式依次从所述参数队列中选取不高于目标数量个加密梯度进行梯度聚合得到聚合梯度，并在可信执行环境中利用同态加密私钥解密所述聚合梯度得到解密梯度，然后利用所述解密梯度对所述当前模型进行参数更新，直至所述流水线并行模式结束后得到若干更新后模型；
[0031]第二模型获取模块，用于对所有所述更新后模型进行参数聚合得到聚合模型，并将所述聚合模型作为所述当前模型发送至每个所述参与方，然后跳转至所述获取每个参与方利用同态加密公钥对目标梯度进行加密得到的加密梯度的步骤，直至最新得到的模型收敛。
[0032]第三方面，本申请公开了一种电子设备，包括：
[0033]存储器，用于保存计算机程序；
[0034]处理器，用于执行所述计算机程序，以实现前述公开的基于联邦学习的模型构建方法。
[0035]第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的基于联邦学习的模型构建方法。
[0036]可见，本申请获取每个参与方利用同态加密公钥对目标梯度进行加密得到的加密梯度，并将所述加密梯度依照获取顺序存放至参数队列；所述目标梯度为所述参与方对当前模型进行训练得到的梯度；以流水线并行模式依次从所述参数队列中选取不高于目标数量个加密梯度进行梯度聚合得到聚合梯度，并在可信执行环境中利用同态加密私钥解密所述聚合梯度得到解密梯度，然后利用所述解密梯度对所述当前模型进行参数更新，直至所述流水线并行模式结束后得到若干更新后模型；对所有所述更新后模型进行参数聚合得到聚合模型，并将所述聚合模型作为所述当前模型发送至每个所述参与方，然后跳转至所述获取每个参与方利用同态加密公钥对目标梯度进行加密得到的加密梯度的步骤，直至最新得到的模型收敛本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的模型构建方法，其特征在于，应用于云数据中心聚合节点，包括：获取每个参与方利用同态加密公钥对目标梯度进行加密得到的加密梯度，并将所述加密梯度依照获取顺序存放至参数队列；所述目标梯度为所述参与方对当前模型进行训练得到的梯度；以流水线并行模式依次从所述参数队列中选取不高于目标数量个加密梯度进行梯度聚合得到聚合梯度，并在可信执行环境中利用同态加密私钥解密所述聚合梯度得到解密梯度，然后利用所述解密梯度对所述当前模型进行参数更新，直至所述流水线并行模式结束后得到若干更新后模型；对所有所述更新后模型进行参数聚合得到聚合模型，并将所述聚合模型作为所述当前模型发送至每个所述参与方，然后跳转至所述获取每个参与方利用同态加密公钥对目标梯度进行加密得到的加密梯度的步骤，直至最新得到的模型收敛。2.根据权利要求1所述的基于联邦学习的模型构建方法，其特征在于，所述获取每个参与方利用同态加密公钥对目标梯度进行加密得到的加密梯度，包括：在聚合时限内持续获取每个参与方利用同态加密公钥对目标梯度进行加密得到的加密梯度。3.根据权利要求2所述的基于联邦学习的模型构建方法，其特征在于，所述在可信执行环境中利用同态加密私钥解密所述聚合梯度得到解密梯度，包括：在每次梯度聚合后的预设时间段内在可信执行环境中利用同态加密私钥解密所述聚合梯度得到解密梯度。4.根据权利要求3所述的基于联邦学习的模型构建方法，其特征在于，所述获取每个参与方利用同态加密公钥对目标梯度进行加密得到的加密梯度之前，还包括：创建模型构建任务并确定初始模型，然后将所述模型构建任务发送至客户端，以便所述客户端确定是否参与所述模型构建任务，并在参与所述模型构建任务后作为所述参与方将所述客户端本地的数据集信息和资源信息发送至所述云数据中心聚合节点；基于每个所述参与方的所述数据集信息和所述资源信息确定聚合时限；将所述聚合时限、所述同态加密公钥和所述初始模型发送至所述参与方，以便所述参与方基于所述聚合时限确定训练迭代次数和训练循环次数，以对所述初始模型进行训练。5.根据权利要求4所述的基于联邦学习的模型构建方法，其特征在于，所述确定初始模型，包括：将基于深度学习算法构建的并且未进...

【专利技术属性】
技术研发人员：孙善宝，罗清彩，韩涛，李彬，贾荫鹏，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：