优化联邦学习训练系统开销的自动超参调整方法技术方案

本发明专利技术公开了一种优化联邦学习训练系统开销的自动超参调整方法。所述方法包括如下步骤：S1.设置两个不同的联邦超参集合S1和S2，构建其联邦学习训练的系统开销比较函数I(S1，S2)；S2.给定当前的联邦学习超参集合S

【技术实现步骤摘要】
优化联邦学习训练系统开销的自动超参调整方法


[0001]本专利技术属于人工智能模型训练
，更具体地说，涉及一种优化联邦学习训练系统开销的自动超参调整方法。

技术介绍

[0002]联邦学习(Federated Learning)是一种去中心化的人工智能模型训练方法，联邦学习往往需要多几个数量级的系统开销，阻碍了联邦学习的实际部署。因此，降低联邦学习的系统开销是件十分重要的研究问题。系统开销可由四个性能指标表示：(1)计算时间表示花在模型训练上的总时间；(2)传输时间表示传输模型参数所用的总时间；(3)计算负载表示训练模型所用的总运算量；(4)传输负载表示传输模型参数所用的总数据量。
[0003]现有技术中联邦学习设计人员在为不同应用场景决定联邦学习超参所面临的困境。这是因为不同的应用场景有不同的训练偏好(即，计算时间、传输时间、计算负载和传输负载)。考虑以下几个例子：1)计算机网络的攻击和异常检测因为要快速适应恶意流量，因此是时间敏感的(计算时间和传输时间)；2)用于室内环境自动化的智能家居控制系统使用计算能力较弱的传感器设备，因此是计算敏感的(计算时间和计算负载)；3)汽车流量监控系统通常使用蜂窝通信来提供城市级别的连通性，因此是通信敏感的(传输时间和传输负载)；4)基于物联网感知的精准农业对于时间并不敏感，但是需要功耗低的解决方案(计算负载和传输负载)；5)医疗系统，比如老年人摔倒检测，同时需要快速响应和低能量消耗(计算时间、传输时间、计算负载和传输负载)；6)人类踩踏检测和预防需要时间、计算、通信都高效的系统。
[0004]对于不同的金融产品和应用，其联邦学习需要优化的系统指标有所不同。已有工作只针对某一项系统开销性能来优化联邦学习。比如，Oort通过设计用户选择方法来减少联邦学习训练时间。FedPAG通过梯度量化来减少联邦学习数据传输。FedEx通过神经架构搜索(Neural Architecture Search)技术来加速模型的收敛速度。然而，这些技术有如下不足之处：(1)这些技术只能优化系统的某一项性能(或相关的性能)，无法统筹优化系统的所有四个性能指标。(2)这些技术与标准的联邦学习框架不兼容，无法被广泛使用。

技术实现思路

[0005]基于上述问题，本申请提供一种可根据不同的应用系统开销偏好，本方法可在联邦学习训练过程中，自动调节联邦学习的超参，从而减少相应的系统开销。本申请提出了结合训练偏好的比较函数。对于两个超参集合S1和S2，比较函数I(S1,S2)定义为：
[0006]我们用来近似其中(下标prv和prvprv分别表示一回合前和二回合前的联邦学习训练)。类似的，把t替换成q,z,v,就得出了和因此，我们可得
[0007][0008]如果Δx>0，则增大x；反之，则减少x。
[0009]两个例子，当超参x为以下：
[0010]1)调整每回合用户数M。
[0011]因为M是整数，所以根据Δx的符号，每一回合我们对M增大或者减少1。具体来说，
[0012]1.Mcur＝Mnxt
[0013]2.选择Mcur个用户用于模型训练和梯度聚合
[0014]3.每一回合计算Δx。如果Δx>0,Mnxt＝Mcur+1；否者Mnxt＝Mcur
‑1[0015]4.更新θ
t
、θ
q
、θ
z
和θ
v
[0016]2)调整每次本地更新数E
[0017]因为E是整数，所以根据Δx的符号，每一回合我们对E增大或者减少1。具体来说，
[0018]5.Ecur＝Enxt
[0019]6.每个用户本地训练Ecur次数
[0020]7.每一回合计算Δx。如果Δx>0,Enxt＝Ecur+1；否者Enxt＝Ecur
‑1[0021]8.更新θ
t
、θ
q
、θ
z
和θ
v
[0022]以上就是调参算法解释。
[0023]为了解决上述技术问题至少之一，根据本专利技术的一方面，提供了一种优化联邦学习训练系统开销的自动超参调整方法，包括如下步骤：
[0024]S1、设置两个不同的联邦超参集合S1和S2，构建其联邦学习训练的系统开销比较函数I(S1,S2)；
[0025]S2、给定当前的联邦学习超参集合S
cur
，构建下一回合的超参集合S
nxt
的最小化目标函数G(S
nxt
)；
[0026]S3.优化每回合选择的用户数，计算G(S
nxt
)对用户数的偏导，求解最优用户数的变化趋势。
[0027]优选的，步骤S1中，
[0028]S11.构建系统开销比较函数I(S1,S2)
[0029][0030]其中，α、β、γ、δ分别为计算时间、计算负载、传输时间和传输负载的偏好系数，令α+β+γ+δ＝1；t1、q1、z1、v1分别表示在超参集合S1下该应用所需的计算时间、计算复载、传输时间和传输负载；t2、q2、z2、v2分别表示在超参集合S2下该应用所需的计算时间、计算负载、传输时间和传输负载；
[0031]S12.如果超参集合S2比S1更优，即I(S1,S2)<0；如果一个超参集合加权的系统性能指标提升大于加权的其他系统性能指标下降，那么该超参集合更优。
[0032]优选的，步骤S2中，采用迭代方法，优化下一个回合的超参集合S
nxt
，具体步骤为，
[0033]给定当前的联邦学习超参集合S
cur
，下一回合的超参集合S
nxt
可通过最小化以下目
标函数获得
[0034][0035]其中，下标cur表示当前回合，下标nxt表示下一个回合；t
cur
、q
cur
、z
cur
、v
cur
分别表示在超参集合S
cur
下该应用所需的计算时间、计算负载、传输时间和传输负载；t
nxt
、q
nxt
、z
nxt
、v
nxt
分别表示在超参集合S
nxt
下该应用所需的计算时间、计算负载、传输时间、和传输负载。
[0036]优选的，步骤S3中，
[0037]S31.通过计算G(S
nxt
)对M的偏导，最优M的变化趋势ΔM可由以下公式表示
[0038][0039]S32.(跳转到这里)通过经验总结，可知计算时间和传输时间随着M变大而减小，而计算负载和传输负载随着M变大而变大；
[0040]求解和
[0041]用(+1)
×
|t
nxt
‑
t
cur
|近似获得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种优化联邦学习训练系统开销的自动超参调整方法，其特征在于，包括如下步骤：S1.设置两个不同的联邦超参集合S1和S2，构建其联邦学习训练的系统开销比较函数I(S1，S2)；S2.给定当前的联邦学习超参集合S
cur
，构建下一回合的超参集合S
nxt
的最小化目标函数G(S
nxt
)；S3.优化每回合选择的用户数，计算G(S
nxt
)对用户数的偏导，求解最优用户数的变化趋势。2.根据权利要求1所述的方法，其特征在于，步骤S1具体包括：S11.构建系统开销比较函数I(S1，S2)其中，α、β、γ、δ分别为计算时间、计算负载、传输时间和传输负载的偏好系数，令α+β+γ+δ＝1；t1、q1、z1、v1分别表示在超参集合S1下该应用所需的计算时间、计算复载、传输时间和传输负载；t2、q2、z2、v2分别表示在超参集合S2下该应用所需的计算时间、计算负载、传输时间和传输负载；S12.如果超参集合S2比S1更优，即I(S1，S2)<0；如果一个超参集合加权的系统性能指标提升大于加权的其他系统性能指标下降，那么该超参集合更优。3.根据权利要求1所述的方法，其特征在于，步骤S2中，采用迭代方法，优化下一个回合的超参集合S
nxt
，具体步骤为，给定当前的联邦学习超参集合S
cur
，下一回合的超参集合S
nxt
可通过最小化以下目标函数获得其中，下标cur表示当前回合，下标nxt表示下一个回合；t
cur
、q
cur
、z
cur
、v
cur
分别表示在超参集合S
cur
下该应用所需的计算时间、计算负载、传输时间和传输负载；t
nxt
、q
nxt
、z
nxt
、v
nxt
分别表示在超参集合S
nxt
下该应用所需的计算时间、计算负载、传输时间、和传输负载。4.根据权利要求3所述的方法，其特征在于，步骤S3具体包括：S31.通过计算G(S
nxt
)对M的偏导，最优M的变化趋势ΔM可由以下公式表示S32.通过经验总结，可知计算时间和传输时间随着M变大而减小，而计算负载和传输负载随着M变大而变大；求解求解和和用(+1)
×
|t
nxt
‑
t
cur
|近似获得，用(+1)
×
|q
nxt
‑
q
cur
|近似获得，用(
‑
1)
×
|z
nxt
‑
z
cur
|近似获得，用(
‑
1)
×
|v
nxt
‑
v
cur
|近似获得；S33.引入当前决策参数θ，θ包括计算时间比率θ
t
、计算负载比率θ
q
、传输时间比率θ
z
、和传输负载比率θ
v
；利用线性回归θ
t
‑1×
|t
cur
‑
t
prv
|来预测|t
nxt
‑
t
cur
|，其中下标prv和
prvprv分别表示一回合前和二回合前的联邦学习训练；利用线性回归θ
q
...

【专利技术属性】
技术研发人员：付蕾，
申请(专利权)人：江苏银行股份有限公司，
类型：发明
国别省市：