面向大规模产业链隐私计算的联邦学习模型训练方法技术

本发明专利技术提供一种面向大规模产业链隐私计算的联邦学习模型训练方法。所述方法包括：由联邦学习中心服务器节点以非独立同分布为目标划分产业链业务训练数据集，并分发至多个联邦学习工人节点；联邦学习工人节点基于目标利润函数迭代训练本地模型；聚合服务器节点在聚合每个联邦学习工人节点发送的更新后的本地模型权重后，根据各个本地模型权重分布和整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离，并剔除超过预设距离阈值的联邦学习工人节点；由剩余的联邦学习工人节点继续进行模型训练。本发明专利技术在联邦学习模型训练过程中将分布差异过大的数据分布剔除，减少异质性数据带来的精度损失，提高了传统算法在产业链中的应用可靠性。链中的应用可靠性。链中的应用可靠性。

【技术实现步骤摘要】
面向大规模产业链隐私计算的联邦学习模型训练方法


[0001]本专利技术涉及联邦学习
，尤其涉及一种面向大规模产业链隐私计算的联邦学习模型训练方法。

技术介绍

[0002]产业链是一个包含价值链、企业链、供需链和空间链四个维度的概念，在这四个维度在相互对接的均衡过程中形成了产业链。产业链中大量存在着上下游关系和相互价值的交换，上游环节向下游环节输送产品或服务，下游环节向上游环节反馈信息从而调整策略。产业链中的信息交互需求形成大型网状拓扑结构，其中面临着严峻的隐私壁垒和安全挑战，同时也意味着产业链分布式隐私计算任务亟待解决。
[0003]目前，一种在并行计算的基础上发展的机器学习技术成为有效解决上述问题的方法，这种利用加密技术保证设备数据不出本地的协作训练方式被称为联邦学习。然而现有技术在将联邦学习应用于产业链网络系统时，由于某些低效率工人学习节点的存在，影响了整个联邦学习模型的训练效果，降低了联邦学习模型的精度。

技术实现思路

[0004]为解决上述问题，本专利技术提供一种面向大规模产业链隐私计算的联邦学习模型训练方法，包括：
[0005]步骤101，获取产业链业务训练数据集，由联邦学习中心服务器节点以非独立同分布non
‑
iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，并将所述多个产业链业务训练子数据集分发至多个联邦学习工人节点；
[0006]步骤102，所述联邦学习工人节点将所述联邦学习中心服务器分发的所述产业链业务训练子数据集作为输入，基于目标利润函数迭代训练本地模型，更新所述本地模型权重，并将更新后的所述本地模型权重发送至聚合服务器节点；
[0007]步骤103，所述聚合服务器节点在聚合每个联邦学习工人节点发送的更新后的本地模型权重后，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，并剔除超过预设EMD 阈值的联邦学习工人节点；
[0008]步骤104，由剩余的联邦学习工人节点重复步骤101至步骤103，直至所述联邦学习模型收敛或达到预设迭代次数。
[0009]可选的，由联邦学习中心服务器节点以非独立同分布non
‑
iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，包括：
[0010]将所述产业链业务训练数据集按数字标签进行排序，将排序后的所述产业链业务训练数据集分成包含预设数量产业链业务训练数据的产业链业务训练子数据集。
[0011]可选的，所述目标利润函数为：
[0012][0013][0014]其中，g
n
为联邦学习工人节点的奖励因子R
n
和联邦学习工人节点类型的集成表达式，包含一系列联邦学习中心服务器对于联邦学习工人节点计算资源提供率、数据提供率的奖励包，q
n
为联邦学习工人节点的数据量贡献，T
max
为联邦学习中心服务器节点对本次联邦学习任务的最大容忍时间，为本地模型更新后参数传输时间，μ为相关系数，与本地模型模型迭代次数有关，c
n
为训练本地模型所需执行的 CPU周期数，f
n
为CPU周期频率，θ
n
为联邦学习工人节点资质，K为联邦学习工人节点类型，ρ为联邦学习中心服务器节点对联邦学习工人节点的单位奖励成本，为联邦学习工人节点在联邦学习模型迭代中的传输能耗，τ表示中心服务器和联邦学习工人的计算迭代能耗参数。
[0015]可选的，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，包括：
[0016]根据下面公式计算每个联邦学习工人节点的本地模型权重分布与全部联邦学习工人节点的整体本地模型权重分布之间的EMD，所述公式为：
[0017][0018]其中，p(y＝i)为全部联邦学习工人节点的整体本地模型权重分布， p
k
(y＝i)为第k个联邦学习工人节点的本地模型权重分布。
[0019]本专利技术还提供一种面向大规模产业链隐私计算的联邦学习模型训练装置，包括：
[0020]第一处理模块，用于获取产业链业务训练数据集，由联邦学习中心服务器节点以非独立同分布non
‑
iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，并将所述多个产业链业务训练子数据集分发至多个联邦学习工人节点；
[0021]第二处理模块，用于所述联邦学习工人节点将所述联邦学习中心服务器分发的所述产业链业务训练子数据集作为输入，基于目标利润函数迭代训练本地模型，更新所述本地模型权重，并将更新后的所述本地模型权重发送至聚合服务器节点；
[0022]第三处理模块，用于所述聚合服务器节点在聚合每个联邦学习工人节点发送的更新后的本地模型权重后，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，并剔除超过预设EMD阈值的联邦学习工人节点；
[0023]第四处理模块，用于由剩余的联邦学习工人节点重复执行第一处理模块至第三处理模块，直至所述联邦学习模型收敛或达到预设迭代次数。
[0024]可选的，所述第一处理模块，具体用于：
[0025]将所述产业链业务训练数据集按数字标签进行排序，将排序后的所述产业链业务训练数据集分成包含预设数量产业链业务训练数据的产业链业务训练子数据集。
[0026]可选的，所述第三处理模块，具体用于：
[0027]根据下面公式计算每个联邦学习工人节点的本地模型权重分布与全部联邦学习工人节点的整体本地模型权重分布之间的EMD，所述公式为：
[0028][0029]其中，p(y＝i)为全部联邦学习工人节点的整体本地模型权重分布， p
k
(y＝i)为第k个联邦学习工人节点的本地模型权重分布。
[0030]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述面向大规模产业链隐私计算的联邦学习模型训练方法的步骤。
[0031]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述面向大规模产业链隐私计算的联邦学习模型训练方法的步骤。
[0032]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述面向大规模产业链隐私计算的联邦学习模型训练方法的步骤。
[0033]本专利技术提供的面向大规模产业链隐私计算的联邦学习模型训练方法，首先由联邦学习中心服务器节点以非独立同分布non
‑
iid为目标划分所述产业链业务训练数据集，得到多个产业链业本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向大规模产业链隐私计算的联邦学习模型训练方法，其特征在于，包括：步骤101，获取产业链业务训练数据集，由联邦学习中心服务器节点以非独立同分布non
‑
iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，并将所述多个产业链业务训练子数据集分发至多个联邦学习工人节点；步骤102，所述联邦学习工人节点将所述联邦学习中心服务器分发的所述产业链业务训练子数据集作为输入，基于目标利润函数迭代训练本地模型，更新所述本地模型权重，并将更新后的所述本地模型权重发送至聚合服务器节点；步骤103，所述聚合服务器节点在聚合每个联邦学习工人节点发送的更新后的本地模型权重后，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，并剔除超过预设EMD阈值的联邦学习工人节点；步骤104，由剩余的联邦学习工人节点重复步骤101至步骤103，直至所述联邦学习模型收敛或达到预设迭代次数。2.根据权利要求1所述的面向大规模产业链隐私计算的联邦学习模型训练方法，其特征在于，由联邦学习中心服务器节点以非独立同分布non
‑
iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，包括：将所述产业链业务训练数据集按数字标签进行排序，将排序后的所述产业链业务训练数据集分成包含预设数量产业链业务训练数据的产业链业务训练子数据集。3.根据权利要求1所述的面向大规模产业链隐私计算的联邦学习模型训练方法，其特征在于，所述目标利润函数为：为：其中，g
n
为联邦学习工人节点的奖励因子R
n
和联邦学习工人节点类型的集成表达式，包含一系列联邦学习中心服务器对于联邦学习工人节点计算资源提供率、数据提供率的奖励包，q
n
为联邦学习工人节点的数据量贡献，T
max
为联邦学习中心服务器节点对本次联邦学习任务的最大容忍时间，为本地模型更新后参数传输时间，μ为相关系数，与本地模型模型迭代次数有关，c
n
为训练本地模型所需执行的CPU周期数，f
n
为CPU周期频率，θ
n
为联邦学习工人节点资质，K为联邦学习工人节点类型，ρ为联邦学习中心服务器节点对联邦学习工人节点的单位奖励成本，为联邦学习工人节点在联邦学习模型迭代中的传输能耗，τ表示中心服务器和联邦学习工人的计算迭代能耗参数。4.根据权利要求1所述的面向大规模产业链隐私计算的联邦学习模型训练方法，其特征在于，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，包括：根据下面公式...

【专利技术属性】
技术研发人员：郭少勇，陈浩，黄建平，颜拥，陈洁蔚，黄徐川，韩嘉佳，孙歆，姚影，杨国铭，
申请(专利权)人：国网浙江省电力有限公司电力科学研究院，
类型：发明
国别省市：