一种去中心化的联邦学习模型训练方法技术

本发明专利技术公开了一种去中心化的联邦学习模型训练方法，包括：构建联邦学习网络，其中，联邦学习网络包括多个节点，多个节点间通信连接；动态确定一目标节点，与目标节点通信连接的为从属节点，目标节点将下载指令下发至各从属节点；控制各从属节点接收下载指令、根据下载指令下载最新的模型权重并将最新的模型权重上传至目标节点；控制目标节点将部分从属节点上传的最新的模型权重依照模型聚合公式聚合为一个模型，并使用模型替换本地模型；控制目标节点根据替换前后的模型性能对各从属节点的信任度进行打分；控制目标节点根据打分结果，利用梯度下降方法，在本地数据集上优化替换后的本地模型；更换目标节点并重复上述步骤，直到完成预设条件。直到完成预设条件。直到完成预设条件。

【技术实现步骤摘要】
一种去中心化的联邦学习模型训练方法


[0001]本专利技术涉及联邦学习
，具体涉及一种去中心化的联邦学习模型训练方法。

技术介绍

[0002]当今世界每天都有大量数据产生，这些数据由于各种问题(使用权，收集权，隐私)无法被统一收集，创建分析来指导工作。另一方面，深度神经网络由于其超强的拟合能力在近年大放光彩，大量研究者也为了探索神经网络的底线，创造出超大规模的模型(上百亿参数量)。但这些模型往往需要大量训练数据，对数据量提出要求。于是，在种种制约下，当今世界的数据就像一座座孤岛分布在世界的各个角落，孤岛之间无法联通，使得大量数据驱动的任务变得举步维艰。
[0003]联邦学习的诞生是为了解决这样的问题：在一个存在不同数据孤岛的定义域里，如何在不收集任何一个数据孤岛的情况下用他们的数据联合训练一个模型。
[0004]然而，随着联邦学习的逐渐发展，渐渐一些最开始没有想到的问题出现了：
[0005]1.中心服务器不能被直接信任：在传统的联邦学习算法中，中心服务器其实是掌握着极大的权限：它可以指定远程节点进行训练，它可以提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种去中心化的联邦学习模型训练方法，其特征在于，所述去中心化的联邦学习模型训练方法包括：S1：构建联邦学习网络，其中，所述联邦学习网络包括多个节点，多个所述节点间通信连接；S2：动态确定一节点为目标节点，与所述目标节点通信连接的为从属节点，所述目标节点将下载指令下发至各所述从属节点；S3：控制各所述从属节点接收所述下载指令、根据所述下载指令下载最新的模型权重并将所述最新的模型权重上传至所述目标节点；S4：控制所述目标节点将部分从属节点上传的所述最新的模型权重依照模型聚合公式聚合为一个模型，并使用所述模型替换本地模型，得到替换后的本地模型；S5：控制所述目标节点根据替换前后的模型性能对各所述从属节点的信任度进行打分，得到打分结果；S6：控制所述目标节点根据所述打分结果，利用梯度下降方法，在本地数据集上优化所述替换后的本地模型；S7：更换目标节点并重复步骤S2
‑
S6，直到完成预设条件。2.根据权利要求1所述的单缝双应变材料工作应力的测试方法，其特征在于，各所述节点包括联邦学习聚合模块、信任模块和异步模块，所述联邦学习聚合模块用于将部分从属节点上传的所述最新的模型权重依照模型聚合公式聚合为一个模型；所述信任模块用于根据替换前后的模型性能对各所述从属节点的信任度进行打分，得到打分结果；所述异步模块使得所述联邦学习网络中各节点间的工作无需同步。3.根据权利要求1所述的去中心化的联邦学习模型训练方法，其特征在于，所述步骤S4中，所述模型聚合公式为：其...

【专利技术属性】
技术研发人员：吕建成，周宇浩，石明佳，田煜鑫，叶庆，
申请(专利权)人：四川大学，
类型：发明
国别省市：