基于异构联邦学习的聚合方法技术

一种基于异构联邦学习的聚合方法，包括数据预处理；构建网络框架；构建Alexnet网络；训练Alexnet网络；测试Alexnet网络。本发明专利技术训练Alexnet网络过程中通过优化的梯度聚合策略和动态调整学习率，可以加速模型的训练过程，使模型更快地收敛到理想状态，并且允许不同来源的数据参与模型训练，打破了数据孤岛，促进了数据的共享和利用，能够根据参与者的实际计算能力分配合适的批大小和学习率，优化了计算资源的利用，避免了资源浪费。

【技术实现步骤摘要】

本专利技术属于联邦学习，具体涉及到一种基于异构联邦学习的聚合方法。

技术介绍

1、随着ai技术的不多发展，行业内业务量越来越大，而要能应对越来越大的业务量，一台机器的性能已经无法满足了，需要多台机器才能应对大规模的应用场景，这种应用场景促使分布式学习走上了焦点；如今的分布式深度学习发展越来越多的广泛使用在现实场景中，我们可以用不高的价格买到一块cpu，并在终端进行任务，不及能够分担整体系统的计算压力，还能够提高整体系统的吞吐量。但传统的分布式学习面临数据安全和隐私保护这系列严重的问题，为解决这一问题，我们希望得到让系统能够更加高效、准确地共同使用各自的数据，并满足隐私保护和数据安全的一个可行的解决方案。

2、于是，联邦学习应运而生。联邦学习就是在进行机器学习的过程中,各参与方可借助其他方数据进行联合建模.各方无需共享数据资源,即数据不出本地的情况下,进行数据联合训练，建立共享的机器学习模型。这也使多个参与方在保护数据隐私、满足合法合规要求的前提下继续进行机器学习，解决数据孤岛问题。

3、然而联邦学习也面临一定的挑战。在整个联邦学习框本文档来自技高网...

【技术保护点】

1.一种基于异构联邦学习的聚合方法，其特征在于，包括以下步骤：

2.根据权利要求1所述基于异构联邦学习的聚合方法，其特征在于，所述步骤4.2计算全局梯度的公式为：

3.根据权利要求1所述基于异构联邦学习的聚合方法，其特征在于：在步骤1中，所述数据集为图像数据集或语音数据集或文本语义数据集。

4.根据权利要求1所述基于异构联邦学习的聚合方法，其特征在于：在步骤2中，网络框架为pytorch框架。

5.根据权利要求1所述基于异构联邦学习的聚合方法，其特征在于：在步骤4.1中，所述初始学习率均α＝0.01。

6.根据权利要求1所述基于...

【技术特征摘要】

1.一种基于异构联邦学习的聚合方法，其特征在于，包括以下步骤：

2.根据权利要求1所述基于异构联邦学习的聚合方法，其特征在于，所述步骤4.2计算全局梯度的公式为：

3.根据权利要求1所述基于异构联邦学习的聚合方法，其特征在于：在步骤1中，所述数据集为图像数据集或语音数据集或文本语义数据集。

4.根据权利要求1所述基于异构联邦学习的聚合方...

【专利技术属性】
技术研发人员：姚超，王浩晨，冯龙超，
申请(专利权)人：陕西师范大学，
类型：发明
国别省市：