一种去中心化的联邦学习模型训练方法技术

本发明专利技术公开了一种去中心化的联邦学习模型训练方法，包括：构建联邦学习网络，其中，联邦学习网络包括多个节点，多个节点间通信连接；动态确定一目标节点，与目标节点通信连接的为从属节点，目标节点将下载指令下发至各从属节点；控制各从属节点接收下载指令、根据下载指令下载最新的模型权重并将最新的模型权重上传至目标节点；控制目标节点将部分从属节点上传的最新的模型权重依照模型聚合公式聚合为一个模型，并使用模型替换本地模型；控制目标节点根据替换前后的模型性能对各从属节点的信任度进行打分；控制目标节点根据打分结果，利用梯度下降方法，在本地数据集上优化替换后的本地模型；更换目标节点并重复上述步骤，直到完成预设条件。直到完成预设条件。直到完成预设条件。

【技术实现步骤摘要】
一种去中心化的联邦学习模型训练方法


[0001]本专利技术涉及联邦学习
，具体涉及一种去中心化的联邦学习模型训练方法。

技术介绍

[0002]当今世界每天都有大量数据产生，这些数据由于各种问题(使用权，收集权，隐私)无法被统一收集，创建分析来指导工作。另一方面，深度神经网络由于其超强的拟合能力在近年大放光彩，大量研究者也为了探索神经网络的底线，创造出超大规模的模型(上百亿参数量)。但这些模型往往需要大量训练数据，对数据量提出要求。于是，在种种制约下，当今世界的数据就像一座座孤岛分布在世界的各个角落，孤岛之间无法联通，使得大量数据驱动的任务变得举步维艰。
[0003]联邦学习的诞生是为了解决这样的问题：在一个存在不同数据孤岛的定义域里，如何在不收集任何一个数据孤岛的情况下用他们的数据联合训练一个模型。
[0004]然而，随着联邦学习的逐渐发展，渐渐一些最开始没有想到的问题出现了：
[0005]1.中心服务器不能被直接信任：在传统的联邦学习算法中，中心服务器其实是掌握着极大的权限：它可以指定远程节点进行训练，它可以提供远程节点训练的参数和环境设置，它还可以得到远程节点的训练完成后返回的模型信息。有研究表示这些信息完全可以还原出训练原始数据的一部分(甚至全部)特征；
[0006]2.大量节点数会导致通讯过载：当传统联邦学习被扩展到亿级时，每一次迭代数据的传输量将轻易达到PB级别，几乎可以一瞬间拖垮任何交换机。为了支持这么大规模的计算，联邦学习的提供方需要大量的成本进行服务器的调试，而且一旦联邦学习的训练完成，若训练结果不能带来成果，则前期投入的大量成本直接付水东流。这会导致大规模的联邦学习训练有极高的门槛的极低的容错率。Google在GBoard上进行训练时为了降低这个问题带来的影响，使用的解决方案是每一次模型迭代只随机选取一部分远程节点进行联邦学习；但这样的选取过程会带来一定的偏差，最终的模型可能会有性能损失。

技术实现思路

[0007]本专利技术的目的在于提供一种去中心化的联邦学习模型训练方法，以能够降低恶意节点攻击的几率、确保联邦学习网络的可靠性、实用性以及模型的有效收敛。
[0008]本专利技术解决上述技术问题的技术方案如下：
[0009]本专利技术提供一种去中心化的联邦学习模型训练方法，所述去中心化的联邦学习模型训练方法包括：
[0010]S1：构建联邦学习网络，其中，所述联邦学习网络包括多个节点，多个所述节点间通信连接；
[0011]S2：动态确定一节点为目标节点，与所述目标节点通信连接的为从属节点，所述目标节点将下载指令下发至各所述从属节点；
[0012]S3：控制各所述从属节点接收所述下载指令、根据所述下载指令下载最新的模型权重并将所述最新的模型权重上传至所述目标节点；
[0013]S4：控制所述目标节点将部分从属节点上传的所述最新的模型权重依照模型聚合公式聚合为一个模型，并使用所述模型替换本地模型，得到替换后的本地模型；
[0014]S5：控制所述目标节点根据替换前后的模型性能对各所述从属节点的信任度进行打分，得到打分结果；
[0015]S6：控制所述目标节点根据所述打分结果，利用梯度下降方法，在本地数据集上优化所述替换后的本地模型；
[0016]S7：更换目标节点并重复步骤S2
‑
S6，直到完成预设条件。
[0017]可选择地，各所述节点包括联邦学习聚合模块、信任模块和异步模块，所述联邦学习聚合模块用于将部分从属节点上传的所述最新的模型权重依照模型聚合公式聚合为一个模型；
[0018]所述信任模块用于根据替换前后的模型性能对各所述从属节点的信任度进行打分，得到打分结果；
[0019]所述异步模块使得所述联邦学习网络中各节点间的工作无需同步。
[0020]可选择地，所述步骤S4中，所述模型聚合公式为：
[0021][0022]其中，w
t+1
代表第t+1次迭代的模型权重，w代表模型权重，p
i
代表第i个节点聚合时的权重且d
i
代表节点i的出度，D
i
代表第i个节点的数据集大小，N代表节点总数，d
j
代表节点j的出度，Dj代表第个节点的数据集大小，代表第i个节点第t+1次迭代的权重模型。
[0023]可选择地，所述步骤S5包括：
[0024]S51：给定所述目标节点初次连接当前从属节点时，所述当前从属节点的分数为0；
[0025]S52：判断替换前后的模型的准确率是否提高，若是，控制所述目标节点提高参与本次聚合的部分从属节点的分数，否则，控制所述目标节点降低参与本次聚合的部分从属节点的分数。
[0026]可选择地，所述最新的模型权重是通过模型权重生成公式得到的，所述模型权重生成公式为：
[0027][0028]其中，θ
i
→
j
代表第i个节点对第j个节点的采样概率，c
i
→
j
代表节点j在节点i的分数。
[0029]本专利技术具有以下有益效果：
[0030]1、通过本专利技术联邦学习网络中的信任模块的存在，能够有效排除得分较低的节点
(即恶意节点)，从而能够降低恶意节点攻击的几率；
[0031]2、本专利技术充分考虑了在实际操作中各节点无法同步的情况，通过异步模块的存在，能够使得各节点独立运行，从而确保了联邦学习网络的可靠性和实用性；
[0032]3、本专利技术所提供的聚合公式，考虑了节点的出度，使得模型能够有效收敛。
附图说明
[0033]图1为本专利技术去中心化的联邦学习模型训练方法的流程图；
[0034]图2为中心化的联邦学习网络的结构示意图；
[0035]图3为本专利技术去中心化的联邦学习网络的结构示意图。
具体实施方式
[0036]以下结合附图对本专利技术的原理和特征进行描述，所举实例只用于解释本专利技术，并非用于限定本专利技术的范围。
[0037]本专利技术提供一种去中心化的联邦学习模型训练方法，所述去中心化的联邦学习模型训练方法包括：
[0038]S1：构建联邦学习网络，其中，所述联邦学习网络包括多个节点，多个所述节点间通信连接；
[0039]S2：动态确定一节点为目标节点，与所述目标节点通信连接的为从属节点，所述目标节点将下载指令下发至各所述从属节点；
[0040]在去中心化联邦网络中，由于节点之间是相互平等的，从某一个节点的角度来看，没有有效的方式可以验证和他相连的节点是诚实的。例如节点A和节点B相连，但是节点B给节点A传输的全部是垃圾数据，此时节点A是没有办法可以分清节点B传输的数据是不是垃圾数据的。如果节点A对节点B的垃圾数据全盘接受，则会导致节点A得模型性能降级(Degraded)，甚至使得节点A的模型训练失败。所以，在设计去中心化联邦学习网络时，必须同时考虑信任模块，以降本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种去中心化的联邦学习模型训练方法，其特征在于，所述去中心化的联邦学习模型训练方法包括：S1：构建联邦学习网络，其中，所述联邦学习网络包括多个节点，多个所述节点间通信连接；S2：动态确定一节点为目标节点，与所述目标节点通信连接的为从属节点，所述目标节点将下载指令下发至各所述从属节点；S3：控制各所述从属节点接收所述下载指令、根据所述下载指令下载最新的模型权重并将所述最新的模型权重上传至所述目标节点；S4：控制所述目标节点将部分从属节点上传的所述最新的模型权重依照模型聚合公式聚合为一个模型，并使用所述模型替换本地模型，得到替换后的本地模型；S5：控制所述目标节点根据替换前后的模型性能对各所述从属节点的信任度进行打分，得到打分结果；S6：控制所述目标节点根据所述打分结果，利用梯度下降方法，在本地数据集上优化所述替换后的本地模型；S7：更换目标节点并重复步骤S2
‑
S6，直到完成预设条件。2.根据权利要求1所述的单缝双应变材料工作应力的测试方法，其特征在于，各所述节点包括联邦学习聚合模块、信任模块和异步模块，所述联邦学习聚合模块用于将部分从属节点上传的所述最新的模型权重依照模型聚合公式聚合为一个模型；所述信任模块用于根据替换前后的模型性能对各所述从属节点的信任度进行打分，得到打分结果；所述异步模块使得所述联邦学习网络中各节点间的工作无需同步。3.根据权利要求1所述的去中心化的联邦学习模型训练方法，其特征在于，所述步骤S4中，所述模型聚合公式为：其...

【专利技术属性】
技术研发人员：吕建成，周宇浩，石明佳，田煜鑫，叶庆，
申请(专利权)人：四川大学，
类型：发明
国别省市：