基于面向联邦学习参与用户拍卖激励机制的任务部署方法技术

本发明专利技术公开了一种基于面向联邦学习参与用户拍卖激励机制的任务部署方法，能够在联邦学习任务通信次数未知的情况下，对预参与联邦学习任务训练的用户进行选择和部署，以达到总社会成本最小化目的同时尽可能减小联邦学习任务的通信次数。联邦学习平台运营商根据本发明专利技术可以进行挑选出合适的用户并进行部署，以谋得最小化成本。本发明专利技术结合了线性规划建模。经典的拍卖理论(Auction)和贪心算法等，从理论上证明了其有效性和合理性。本发明专利技术能够在不需要知道单个联邦学习任务的完成通信次数情况下，趋向最优地对用户进行选择和部署，达到让满足联邦学习任务训练地同时最小化总成本。满足联邦学习任务训练地同时最小化总成本。满足联邦学习任务训练地同时最小化总成本。

【技术实现步骤摘要】
基于面向联邦学习参与用户拍卖激励机制的任务部署方法


[0001]本专利技术涉及联邦学习
，具体涉及一种基于面向联邦学习参与用户拍卖激励机制的任务部署方法。

技术介绍

[0002]联邦学习需要选取一定数量移动设备(用户)作为计算节点来参与联邦学习任务训练。当下，联邦学习选取移动设备(用户)的方式一般为随机选取，完全是处于一种理想状态下进行对移动设备(用户)的选取。但是这种选择方式不适合于真正的联邦学习用户，原因如下：首先，不同移动设备(用户)参与联邦学习任务训练并非出于自愿。移动设备(用户)参与联邦学习训练需要消耗移动设备电量和占用移动设备一部分的时间。因此，移动设备(用户)会索要一定数量的金钱。其次，移动设备(用户)有自身的时间安排，即不一定能全程参与到联邦学习任务训练当中。这会影响联邦学习任务的训练。
[0003]从一个联邦学习平台运营商的角度出发，假设他有一个联邦学习任务需要训练。联邦学习平台运营商首先向所有的平台用户发布任务的信息。用户接收到任务信息并向联邦学习平台运营商提供竞价信息，以及指定的局部联邦学习任务训练精度、可参与的总训练次数和可参与执行任务的时间范围。即使是不考虑用户联邦学习训练精度的前提下，对用户进行选择和部署已经是一个NP
‑
hard问题。如果考虑一个更实际的情况，每个用户指定了联邦学习任务训练精度(现实中这些信息与移动设备相关，一般需要指定)，要求联邦学习平台运营商考虑联邦学习任务的通信成本和计算成本的平衡问题，问题将会变得更加复杂。
[0004]由此可知，现有技术中联邦学习任务部署的实现较为复杂。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种基于面向联邦学习参与用户拍卖激励机制的任务部署方法，用以解决或者至少部分解决现有技术中的联邦学习任务部署的实现较为复杂的技术问题。
[0006]本专利技术提供了一种基于面向联邦学习参与用户拍卖激励机制的任务部署方法，包括：
[0007]步骤S1：联邦学习平台运营商向所有的平台用户发布任务信息；
[0008]步骤S2：接收用户基于任务信息后提交的用户信息，用户信息包括竞价信息、指定的局部联邦学习任务训练精度、可参与的总训练次数以及可参与执行任务的时间范围；
[0009]步骤S3：联邦学习平台运营商采用整数规划对联邦学习任务部署进行建模，以最小化竞价价格为目标，并构建约束条件；
[0010]步骤S4：根据训练精度和通信次数的关系计算通信次数的范围，根据不同的通信次数，挑选出能满足联邦学习训练条件的竞价信息并将步骤S3中的整数规划问题分解成一系列的决定胜者问题，再依次计算不同固定的通信次数下的决定胜者问题的总社会成本，
其中，总社会成本为所有已选择用户竞价的竞价价格的总和，决定胜者问题中满足该问题的约束条件的集合为竞价候选集合；
[0011]步骤S5：将上述固定通信次数下的决定胜者问题重新构造，得到对应的松弛整数约束下的对偶问题，对偶问题包括决策变量；
[0012]步骤S6：计算每个用户竞价添加之后的有效增加的参与完成训练次数，基于有效增加的参与完成训练次数计算每个用户竞价的有效平均成本，基于经典的贪心算法框架从竞价候选集合选择当前最低有效平均成本的用户竞价，同时更新决策变量，更新已选胜者集合和剩余可选竞价集合，其中，已选胜者集合为记录有当前已选择的用户的竞价集合，剩余可选竞价集合为去除已选择的和不满足条件的用户竞价之后的剩余可以选择的用户竞价集合；
[0013]步骤S7：根据有效平均成本计算被选中的用户竞价的报酬；
[0014]步骤S8：判断目前已选的用户竞价是否满足联邦学习任务每个阶段的参与用户需求，如果没有满足，则返回步骤S6继续进行用户竞价的选择，如果已经满足，则执行步骤S9；
[0015]步骤S9：记录每个已选择的用户竞价的报酬和部署安排，并计算对应的决定胜者问题的总社会成本。
[0016]在一种实施方式中，在步骤S9之后，所述方法还包括：
[0017]判断通信次数的范围内所有通信次数的总社会成本是否都已获得；
[0018]如果不是都已获得，则返回步骤S5，否则对比所有已计算的通信次数下决定胜者问题的总社会成本，选择对应最小总社会成本的通信次数作为最终值，同时告知用户任务部署安排和报酬。
[0019]在一种实施方式中，步骤S3具体包括：
[0020]采用整数规划对联邦学习任务部署问题进行建模，其中目标函数为：
[0021][0022]约束条件包括(1a)～(1h)：
[0023][0024][0025][0026][0027][0028][0029][0030]T
g
∈{1，2，...，T}. (1h)
[0031]其中，约束(1a)用以保证所有需训练的通信阶段的参与训练用户个数不小于K，其
中未知变量y
i
(t)表示被选择的用户是否被安排在第t个通信阶段进行训练，即当y
it
为真时值为1，当y
i
(t)为假时值取0，表示{1，2，...，T
g
}范围内t的可选集合；约束条件(1b)用以保障所有已选择的用户竞价的训练精度能满足通信次数的要求，其中未知变量x
ij
表示用户竞价是否被选择，即当x
ij
为真时值为1，当x
ij
为假时值取0，表示{1，2，...，I}范围内所有用户i的可选集合，表示{1，2，...，J}范围内所有用户竞价j的可选集合；约束条件(1c)用以保障被选择用户的总安排训练次数等于可执行的总通信次数；约束条件(1d)用以保证当前选择的用户竞价单个通信阶段所需要的总时间不超过单个通信阶段的时隙t
max
，其中，表示总计算时间，T
l
(θ
ij
)表示训练精度为θ
ij
下的局部训练次数且与训练精度有如下关系：T
l
(θ
ij
)＝η
·
log(1/θ
ij
)，表示单个局部训练所需要的计算时间，表示单个通信阶段所需要的通信时间，η表示一个常数型系数；约束条件(1e)表示变量x
ij
和变量y
i
(t)之间的约束关系，即当且仅当用户竞价被选择时，才能被联邦学习平台运营商在其可执行通信阶段范围内部署训练；约束条件(1f)表示每个用户至多只能有一个竞价被选择；约束条件(1g)用以保障变量x
ij
、变量y
i
(t)的取值为0和1；(1h)用以保证变量T
g
的取值在1和T范围内。
[0032]在一种实施方式中，步骤S4具体包括：
[0033]S4.1：根据公式(2)计算出通信次数的具体范围，
[0034][0035]其中，表示固定全局训练精度ε的计算上界，θ
max...

【技术保护点】

【技术特征摘要】
1.基于面向联邦学习参与用户拍卖激励机制的任务部署方法，其特征在于，包括：步骤S1：联邦学习平台运营商向所有的平台用户发布任务信息；步骤S2：接收用户基于任务信息后提交的用户信息，用户信息包括竞价信息、指定的局部联邦学习任务训练精度、可参与的总训练次数以及可参与执行任务的时间范围；步骤S3：联邦学习平台运营商采用整数规划对联邦学习任务部署进行建模，以最小化竞价价格为目标，并构建约束条件；步骤S4：根据训练精度和通信次数的关系计算通信次数的范围，根据不同的通信次数，挑选出能满足联邦学习训练条件的竞价信息并将步骤S3中的整数规划问题分解成一系列的决定胜者问题，再依次计算不同固定的通信次数下的决定胜者问题的总社会成本，其中，总社会成本为所有已选择用户竞价的竞价价格的总和，决定胜者问题中满足该问题的约束条件的集合为竞价候选集合；步骤S5：将上述固定通信次数下的决定胜者问题重新构造，得到对应的松弛整数约束下的对偶问题，对偶问题包括决策变量；步骤S6：计算每个用户竞价添加之后的有效增加的参与完成训练次数，基于有效增加的参与完成训练次数计算每个用户竞价的有效平均成本，基于经典的贪心算法框架从竞价候选集合选择当前最低有效平均成本的用户竞价，同时更新决策变量，更新已选胜者集合和剩余可选竞价集合，其中，已选胜者集合为记录有当前已选择的用户的竞价集合，剩余可选竞价集合为去除已选择的和不满足条件的用户竞价之后的剩余可以选择的用户竞价；步骤S7：根据有效平均成本计算被选中的用户竞价的报酬；步骤S8：判断目前已选的用户竞价是否满足联邦学习任务每个阶段的参与用户需求，如果没有满足，则返回步骤S6继续进行用户竞价的选择，如果已经满足，则执行步骤S9；步骤S9：记录每个已选择的用户竞价的报酬和部署安排，并计算对应的决定胜者问题的总社会成本。2.如权利要求1所述的方法，其特征在于，在步骤S9之后，所述方法还包括：判断通信次数的范围内所有通信次数的总社会成本是否都已获得；如果不是都已获得，则返回步骤S5，否则对比所有已计算的通信次数下决定胜者问题的总社会成本，选择对应最小总社会成本的通信次数作为最终值，同时告知用户任务部署安排和报酬。3.如权利要求1所述的方法，其特征在于，步骤S3具体包括：采用整数规划对联邦学习任务部署问题进行建模，其中目标函数为：约束条件包括(1a)～(1h)：约束条件包括(1a)～(1h)：
T
g
∈{1，2，...，T}.
ꢀꢀꢀ
(1h)其中，约束(1a)用以保证所有需训练的通信阶段的参与训练用户个数不小于K，其中未知变量y
i
(t)表示被选择的用户是否被安排在第t个通信阶段进行训练，即当y
it
为真时值为1，当y
i
(t)为假时值取0，表示{1，2，...，T
g
}范围内t的可选集合；约束条件(1b)用以保障所有已选择的用户竞价的训练精度能满足通信次数的要求，其中未知变量x
ij
表示用户竞价是否被选择，即当x
ij
为真时值为1，当x
ij
为假时值取0，表示{1，2，...，I}范围内所有用户i的可选集合，表示{1，2，...，J}范围内所有用户竞价j的可选集合；约束条件(1c)用以保障被选择用户的总安排训练次数等于可执行的总通信次数；约束条件(1d)用以保证当前选择的用户竞价单个通信阶段所需要的总时间不超过单个通信阶段的时隙t
max
，其中，表示总计算时间，T
l
(θ
ij
)表示训练精度为θ
ij
下的局部训练次数且与训练精度有如下关系：T
l
(θ
ij
)＝η
·
log(1/θ
ij
)，表示单个局部训练所需要的计算时间，表示单个通信阶段所需要的通信时间，η表示一个常数型系数；约束条件(1e)表示变量x
ij
和变量y
i
(t)之间的约束关系，即当且仅当用户竞价被选择时，才能被联邦学习平台运营商在其可执行通信阶段范围内部署训...

【专利技术属性】
技术研发人员：周睿婷，庞金龙，
申请(专利权)人：武汉大学，
类型：发明
国别省市：