最小化联邦学习总成本的在线参数选择方法以及相关设备技术

本申请实施例公开了最小化联邦学习总成本的在线参数选择方法以及相关设备，用于最小化联邦学习的学习总成本。本申请实施例方法考虑并权衡了能源成本和时间成本，并适用于不同指标偏好的联邦学习，如优化时间成本或优化能源成本。在保证模型收敛的前提下，使在线联邦学习的学习总成本最小化，最后得到自适应参与方训练的最优变量(即目标参与方数量以及目标本地迭代次数)。采用在线学习的方式，可以定时或按需重新估计参与方每轮训练所需的成本，以更新得到当前时刻的最佳训练方案，从而进一步解决了系统环境变化带来的问题。另外，所提出的高效算法可以用来近似解决原优化问题，并且提高联邦学习的效率。提高联邦学习的效率。提高联邦学习的效率。

【技术实现步骤摘要】
最小化联邦学习总成本的在线参数选择方法以及相关设备


[0001]本申请实施例涉及机器学习领域，尤其涉及最小化联邦学习总成本的在线参数选择方法以及相关设备。

技术介绍

[0002]随着物联网的快速发展，各种移动设备和物联网设备每天产生大量的数据，且具有了越来越先进的计算能力，这为智能移动边缘计算的发展提供了机会。传统的机器学习(ML)方法需要将数据集中在云服务器或数据中心中。然而，在实际应用中，由于带宽限制和日益严格的大数据隐私保护等问题，传统的机器学习方法将不再适用。联邦学习(FL，federated learning)作为一种新兴的分布式机器学习框架，它允许大量设备能够在不共享原始数据下协作学习模型，但联邦学习在学习时间和资源消耗上所产生的巨大成本代价仍是一项亟待解决的问题。
[0003]根据系统和应用场景的不同，联邦学习训练时间和计算能耗的重要性可能不同。因此，现有的工作通常考虑单一的优化目标，如仅针对时间成本或能源成本进行优化。
[0004]但是，在实际应用中，联邦学习的每一轮的本地计算和全局通信中都涉及到能源和时间这两方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种最小化联邦学习总成本的在线参数选择方法，其特征在于，包括：响应于训练参数确定指令，计算使用K个参与方进行R轮联邦学习所需的学习总成本期望，每轮联邦学习过程中每个参与方进行E次本地迭代，所述学习总成本期望包括时间成本期望和能源成本期望；确定第一优化问题，所述第一优化问题用于求解在第一约束下第一函数的最小值，所述第一函数为所述学习总成本期望，所述第一约束包括第一收敛约束，所述第一收敛约束包括全局损失期望与最小全局损失的差不大于预设收敛精度；求解所述第一优化问题，得到目标参与方数量K
*
以及目标本地迭代次数E
*
；基于所述目标参与方数量K
*
以及目标本地迭代次数E
*
，控制每轮联邦学习的参与方数量以及参与方的本地迭代次数。2.根据权利要求1所述的方法，其特征在于，所述求解所述第一优化问题，得到目标参与方数量K
*
以及目标本地迭代次数E
*
，包括：按照预设收敛上界调整所述第一收敛约束，获得第二收敛约束，所述第二收敛约束包括预设收敛上界不大于预设收敛精度；将学习轮次R松弛为连续变量，并将所述第一函数近似为第二函数；将所述松弛为连续变量的R代入所述第二函数中，获得第三函数，并将所述松弛为连续变量的R代入所述第二收敛约束中，获得第三收敛约束；确定第二优化问题，所述第二优化问题用于求解在第三约束下第三函数的最小值，所述第三约束包括第三收敛约束；求解所述第二优化问题，得到目标参与方数量K
*
以及目标本地迭代次数E
*
。3.根据权利要求1所述的方法，其特征在于，所述计算使用K个参与方进行R轮联邦学习所需的学习总成本，包括：确定使用K个参与方进行R轮联邦学习所需的时间成本期望；确定使用K个参与方进行R轮联邦学习所需的能源成本期望；获取预设的时间权重以及预设的能源权重；基于所述时间权重以及所述能源权重，加权求和所述时间成本期望以及所述能源成本期望，获得学习总成本。4.根据权利要求1或2所述的方法，其特征在于，所述计算使用K个参与方进行R轮联邦学习所需的学习总成本期望,包括：根据以下公式确定每个参与方的单轮训练时间：t
k
＝t
k,p
E+t
k,m
其中，t
k
表示第k个参与方的单轮训练时间，t
k,p
表示第k个参与方的单次迭代时间，t
k,m
表示第k个参与方的单轮通讯时间；根据以下公式确定使用K个参与方进行R轮联邦学习所需的时间成本期望：其中，表示时间成本期望，表示从N个备选参与方中无放回采样K个
参与方；根据以下公式确定使用K个参与方进行R轮联邦学习所需的能源成本期望：其中，表示能源成本期望，e
p

【专利技术属性】
技术研发人员：罗冰，邵佳琪，
申请(专利权)人：昆山杜克大学，
类型：发明
国别省市：