【技术实现步骤摘要】
本专利技术涉及人工智能领域,更具体地,涉及一种拆分联邦学习的成本优化方法及系统。
技术介绍
1、联邦学习(federated learning,fl)和拆分学习(split learning,sl)是深度学习中以不分享用户数据为前提的分布式模型训练技术。在联邦学习中,服务器首先初始化一个全局模型。在每一轮全局模型训练中,服务器下发全局模型给所有客户端,每个客户端在本地侧基于本地数据训练此模型,随后将更新后的模型参数上传至服务器,由服务器聚合更新全局模型,以上过程持续迭代进行,直至全局模型精度收敛或者全局模型训练轮次到达预设值。在服务器与某客户端之间的拆分学习中,首先将完整的模型在指定位置(即拆分层)拆分成前后两部分子模型,为各个客户端分配前部分子模型,为服务器端分发后部分子模型。在每一轮模型训练中,客户端基于本地数据执行到拆分层的前向传播,获得粉碎数据并上传至服务器,由服务器完成剩余层的前向传播,服务器也进行到拆分层的反向传播,获得上述粉碎数据的梯度信息并回传至客户端,客户端接着完成剩余层的反向传播。以上前向与反向传播两个过程持续迭代进
...【技术保护点】
1.一种拆分联邦学习的成本优化方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种拆分联邦学习的成本优化方法,其特征在于,步骤S2所述计算所有客户端数据计算与通信的时延和能耗,首先计算客户端本地计算能量消耗和计算时延,然后计算拆分联邦学习系统客户端能量成本和计算通信延迟。
3.根据权利要求2所述的一种拆分联邦学习的成本优化方法,其特征在于,所述计算客户端本地计算能量消耗和计算时延的具体过程如下:
4.根据权利要求2所述的一种拆分联邦学习的成本优化方法,其特征在于,所述计算拆分联邦学习系统客户端能量成本和计算通信延迟,具体过
...
【技术特征摘要】
1.一种拆分联邦学习的成本优化方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种拆分联邦学习的成本优化方法,其特征在于,步骤s2所述计算所有客户端数据计算与通信的时延和能耗,首先计算客户端本地计算能量消耗和计算时延,然后计算拆分联邦学习系统客户端能量成本和计算通信延迟。
3.根据权利要求2所述的一种拆分联邦学习的成本优化方法,其特征在于,所述计算客户端本地计算能量消耗和计算时延的具体过程如下:
4.根据权利要求2所述的一种拆分联邦学习的成本优化方法,其特征在于,所述计算拆分联邦学习系统客户端能量成本和计算通信延迟,具体过程如下:
5.根据权利要求1所述的一种拆分联邦学习的成本优化方法,其特征在于,在步骤s3中,建立的系统成本优化问题具体如下:
6.根据权利要求1所述的一种拆分联邦学习的成本优化方法,其特征在于,在步骤s4中,求解优化问题具体包括...
【专利技术属性】
技术研发人员:黄旭民,杨锐彬,吴茂强,钟伟锋,谢胜利,
申请(专利权)人:广东工业大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。