一种拆分联邦学习的成本优化方法技术

技术编号:40338411 阅读:30 留言:0更新日期:2024-02-09 14:27
本发明专利技术公开了一种拆分联邦学习的成本优化方法,包括:S1:构建拆分联邦学习系统模型,该模型包括一个服务器与若干个客户端,每个客户端拥有自己的本地数据集;S2:计算所有客户端数据计算与通信的时延和能耗;S3:利用客户端数据计算与通信的时延和能耗,以模型拆分层与带宽为决策变量,分析目标函数与相关约束,建立拆分联邦学习系统成本优化问题;S4:求解优化问题,得到模型拆分和带宽分配策略;S5:基于得到的模型拆分和带宽分配策略组织所有客户端配合服务器对给定的完整模型进行训练,得到训练后的完整模型。本发明专利技术计算最优模型拆分和带宽分配策略,使所有客户端在拆分联邦学习过程中总时间与总能耗加权和最小,降低了时间与能耗的成本。

【技术实现步骤摘要】

本专利技术涉及人工智能领域,更具体地,涉及一种拆分联邦学习的成本优化方法及系统。


技术介绍

1、联邦学习(federated learning,fl)和拆分学习(split learning,sl)是深度学习中以不分享用户数据为前提的分布式模型训练技术。在联邦学习中,服务器首先初始化一个全局模型。在每一轮全局模型训练中,服务器下发全局模型给所有客户端,每个客户端在本地侧基于本地数据训练此模型,随后将更新后的模型参数上传至服务器,由服务器聚合更新全局模型,以上过程持续迭代进行,直至全局模型精度收敛或者全局模型训练轮次到达预设值。在服务器与某客户端之间的拆分学习中,首先将完整的模型在指定位置(即拆分层)拆分成前后两部分子模型,为各个客户端分配前部分子模型,为服务器端分发后部分子模型。在每一轮模型训练中,客户端基于本地数据执行到拆分层的前向传播,获得粉碎数据并上传至服务器,由服务器完成剩余层的前向传播,服务器也进行到拆分层的反向传播,获得上述粉碎数据的梯度信息并回传至客户端,客户端接着完成剩余层的反向传播。以上前向与反向传播两个过程持续迭代进行直至客户端完成所有本文档来自技高网...

【技术保护点】

1.一种拆分联邦学习的成本优化方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种拆分联邦学习的成本优化方法,其特征在于,步骤S2所述计算所有客户端数据计算与通信的时延和能耗,首先计算客户端本地计算能量消耗和计算时延,然后计算拆分联邦学习系统客户端能量成本和计算通信延迟。

3.根据权利要求2所述的一种拆分联邦学习的成本优化方法,其特征在于,所述计算客户端本地计算能量消耗和计算时延的具体过程如下:

4.根据权利要求2所述的一种拆分联邦学习的成本优化方法,其特征在于,所述计算拆分联邦学习系统客户端能量成本和计算通信延迟,具体过程如下:

...

【技术特征摘要】

1.一种拆分联邦学习的成本优化方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种拆分联邦学习的成本优化方法,其特征在于,步骤s2所述计算所有客户端数据计算与通信的时延和能耗,首先计算客户端本地计算能量消耗和计算时延,然后计算拆分联邦学习系统客户端能量成本和计算通信延迟。

3.根据权利要求2所述的一种拆分联邦学习的成本优化方法,其特征在于,所述计算客户端本地计算能量消耗和计算时延的具体过程如下:

4.根据权利要求2所述的一种拆分联邦学习的成本优化方法,其特征在于,所述计算拆分联邦学习系统客户端能量成本和计算通信延迟,具体过程如下:

5.根据权利要求1所述的一种拆分联邦学习的成本优化方法,其特征在于,在步骤s3中,建立的系统成本优化问题具体如下:

6.根据权利要求1所述的一种拆分联邦学习的成本优化方法,其特征在于,在步骤s4中,求解优化问题具体包括...

【专利技术属性】
技术研发人员:黄旭民杨锐彬吴茂强钟伟锋谢胜利
申请(专利权)人:广东工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1