基于P2P的高效可扩展联邦学习系统构建方法、设备及产品技术方案

本发明专利技术公开了一种基于P2P的高效可扩展联邦学习系统构建方法、设备及产品。首先参数服务器基于统计效率、处理速度、分发贡献等历史信息选择客户端，客户端分配器向被选中的客户端指定专用执行器。执行器在隔离的容器环境中运行，通过专门网卡进行真实通信，并利用P2P通信库分发全局模型；执行器将训练配置、本地数据集、全局模型发送给计算节点，计算节点进行若干轮本地训练后将模型更新返回给执行器；参数服务器接收执行器的模型更新并生成新的全局模型。本发明专利技术通过P2P通信优化模型分发，并设计了综合考虑多种历史信息的客户端选择方案。此外，FedP2P构建了高保真的仿真平台来准确模拟实际联邦训练中的计算和通信行为，进而验证方案设计的有效性。

【技术实现步骤摘要】

本专利技术属于计算机网络通信与分布式机器学习，涉及一种联邦学习系统构建方法、设备及产品，具体涉及一种基于p2p(peer-to-peer)通信与跨设备联邦学习(cross-device federated learning)系统构建方法、设备及产品。

技术介绍

1、机器学习在翻译、语音文字转换等诸多领域都取得了令人瞩目的成就。训练一个性能优异的模型通常需要海量的用户数据，但由于近年来人们对数据隐私问题的担忧日益加深，模型开发者并不能直接收集用户数据。作为一种新的分布式训练范式，联邦学习(federated learning，fl)使得数以万计的客户端在不泄漏本地隐私数据的前提下，协同训练一个全局的模型，有效解决了分布式训练中的数据隐私与安全问题。

2、在传统fl系统中，参数服务器(parameter server，ps)负责协调参与训练的客户端，包括选择客户端、分发模型、聚合模型等。然而，在实际的fl中，客户端的数量通常可以达到数百乃至数万，由于ps的带宽是有限的，ps与大量的客户端设备通过慢速无线网络的通信会成为系统主要的性能瓶颈。针对该瓶颈本文档来自技高网...

【技术保护点】

1.一种基于P2P的高效可扩展联邦学习系统构建方法，其特征在于，所述高效可扩展联邦学习系统，其全局模型通过训练获得，训练过程包括以下步骤：

2.根据权利要求1所述的基于P2P的高效可扩展联邦学习系统构建方法，其特征在于：步骤1中，采用引导式客户端选择算法综合考虑客户端的统计性能、处理速度、P2P贡献度这三个因素，对客户端进行选择；

3.根据权利要求1所述的基于P2P的高效可扩展联邦学习系统构建方法，其特征在于，步骤3的具体实现包括以下子步骤：

4.根据权利要求3所述的基于P2P的高效可扩展联邦学习系统构建方法，其特征在于：步骤3.1中，根据随机稀有优先...

【技术特征摘要】

1.一种基于p2p的高效可扩展联邦学习系统构建方法，其特征在于，所述高效可扩展联邦学习系统，其全局模型通过训练获得，训练过程包括以下步骤：

2.根据权利要求1所述的基于p2p的高效可扩展联邦学习系统构建方法，其特征在于：步骤1中，采用引导式客户端选择算法综合考虑客户端的统计性能、处理速度、p2p贡献度这三个因素，对客户端进行选择；

3.根据权利要求1所述的基于p2p的高效可扩展联邦学习系统构建方法，其特征在于，步骤3的具体实现包括以下子步骤：

4.根据权利要求3所述的基于p2p的高效可扩展联邦学习系统构建方法，其特征在于：步骤3.1中，根据随机稀有优先模型块选择算法，p2p通信库从所有模型块中选出比较稀缺的模型块；

5.根据权利要求3所述的基于p2p的高效可扩展联邦学习系统构建方法，其特征在于：步骤3.2中，根据主动化的对等方选择算法，p2p通信库从已建立连接的所有对等方中选出服务能力最好的对等方；

【专利技术属性】
技术研发人员：李雨晴，王浩然，王雄，陈晶，何琨，聂云涛，李波，
申请(专利权)人：武汉大学，
类型：发明
国别省市：