基于联邦学习的数据处理方法、装置和计算机设备制造方法及图纸

本申请涉及一种基于联邦学习的数据处理方法、装置、计算机设备、存储介质和计算机程序产品。该方法可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景，如应用于联邦学习架构中的各参数服务器，包括：接收对应的参与方群簇中的参与方利用本地数据训练得到的梯度数据；对参与方群簇的梯度数据进行汇总，得到梯度汇总数据；获取参数服务器拓扑结构；基于参数服务器拓扑结构，与邻接的参数服务器交换梯度汇总数据；根据交换获得的全部参数服务器的梯度汇总数据，更新联合模型的参数。该方法提高了系统稳定性，且由于参数服务器拓扑结构是基于参数服务器间的响应时间构建的，不是固定不变的，为提高参数服务器间的数据交换效率提供了基础。提供了基础。提供了基础。

【技术实现步骤摘要】
基于联邦学习的数据处理方法、装置和计算机设备


[0001]本申请涉及人工智能
，特别是涉及一种基于联邦学习的数据处理方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]联邦学习(Federated Learning)是一种新兴的人工智能基础技术，是一种基于隐私保护的分布式机器学习训练方式，它的目标是当训练数据分散在大量的不可靠且网络延迟较高的客户端上时，能够保护客户端数据隐私的同时训练出一个高质量的预测模型。
[0003]一种联邦学习的架构如图1所示，是一种单参数服务器、多参与方的联邦学习结构。顾名思义，参数服务器只有单节点，分别与多个参与方进行模型参数交换。具体流程如图1所示。单参数服务器、多参与方结构，参数服务器很容易成为整个训练过程中的性能瓶颈，同时因为参数服务器是单点的原因，会导致整个训练过程的鲁棒性较低，如果参数服务器发生故障或者网络问题，那么整个联邦学习训练过程都将出现问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高稳定性的基于联邦学习的数据处理方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的数据处理方法，其特征在于，所述方法应用于联邦学习架构中的各参数服务器，所述方法包括：接收对应的参与方群簇中的参与方利用本地数据训练得到的梯度数据；对所述参与方群簇的梯度数据进行汇总，得到梯度汇总数据；获取参数服务器拓扑结构，其中，所述参数服务器拓扑结构是初始化联邦学习模型时基于所述参数服务器间的响应时间构建的；基于所述参数服务器拓扑结构，与邻接的参数服务器交换所述梯度汇总数据；根据交换获得的全部参数服务器的梯度汇总数据，更新联合模型的参数。2.根据权利要求1所述的方法，其特征在于，接收对应的参与方群簇中的参与方利用本地数据训练得到的梯度数据，包括：向对应的参与方聚簇发送梯度更新请求，接收所述参与方聚簇中最快响应所述梯度更新请求的前N个参与方利用本地数据训练得到的梯度数据。3.根据权利要求1所述的方法，其特征在于，基于所述参数服务器间的响应时间构建参数服务器拓扑结构的方式，包括：获取参数服务器间的响应时间；基于所述响应时间，以最短交换时间为目标，构建直连型的参数服务器拓扑结构。4.根据权利要求3所述的方法，其特征在于，所述基于所述响应时间，以最短交换时间为目标，构建参数服务器拓扑结构，包括：分别以各参数服务器为起点，迭代根据所述参数服务器间的响应时间，选择与所述起点响应时间最短且为未连接状态的参数服务器作为下一起点的步骤，直至连接所有的参数服务器，得到多个候选参数服务器拓扑结构；将总响应时间最短的所述候选参数服务器作为最终的参数服务器拓扑结构。5.根据权利要求1所述的方法，其特征在于，所述基于所述参数服务器间的响应时间构建参数服务器拓扑结构的方式，包括：获取参数服务器间的响应时间；基于所述响应时间，以最短交换时间和最大度约束为目标，构建参数服...

【专利技术属性】
技术研发人员：郭清宇，蓝利君，李超，周义朋，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：