一种基于联邦学习的模型训练方法及联邦学习系统技术方案

本发明专利技术公开了一种基于联邦学习的模型训练方法及联邦学习系统，所述方法包括：客户向中央服务器提交一组投标，包括客户可参与训练的最大数据量和单位数据成本；中央服务器设立参数提交的截止时间T，收到投标后根据动态规划，以期望社会福利最大化为目的，在伪多项式时间内得出选择什么客户和选择客户的多少数据量，将客户选择方案下发；客户训练完成后向中央服务器上报更新参数；中央服务器收到客户更新的参数后基于VCG机制对其进行奖励。本发明专利技术考虑了客户训练时间的不确定性和中央服务器选择数据的机动性，激励方法并不会影响到模型的训练效率，还会达到公平的激励效果，最终提升模型的精确度。提升模型的精确度。提升模型的精确度。

【技术实现步骤摘要】
一种基于联邦学习的模型训练方法及联邦学习系统


[0001]本专利技术涉及大数据计算领域，具体涉及一种基于联邦学习的模型训练方法及联邦学习系统。

技术介绍

[0002]联邦学习(Federal Learning，FL)可在数据不共享的状况下完成联合建模。在联邦学习中，机器学习任务是由参与设备(也称之为客户端，或简称为客户)的松散联合体解决的，中央服务器对这些设备进行协调。其最重要的特性就是去除了传统的集中式机器学习的收集和存储数据的过程，降低机器学习带来的许多系统性隐私风险。联邦学习可以实现保证本地训练数据不公开的前提下，多个数据拥有者协同训练一个共享的机器学习的模型。它们只需迭代地将训练的本地模型更新发送到任务发布者，而无需将原始数据上传到外部，从而将机器学习的过程与在中央服务器中获取、存储和训练数据分离。
[0003]尽管联邦学习可以支持协作学习的同时保护数据隐私，但是所有客户不会无条件地贡献其资源，一方面拥有的数据本身具有价值性；另一方面，参与训练需要消耗自己设备的电量。因此，构建一种合适的奖励机制能够鼓励客户参与到学习中来具有重要意义。
[0004]为了使联邦学习可以长期有效地进行，很多应用也采用了不同的方法进行激励。针对客户自身方案，可以自行选择服务器提供的合同，或者主动报告自己的出价。中央服务器根据客户的方案，依据自己的目标制定客户的选择和奖励方案，从而在一定程度上解决联邦学习中的激励问题。
[0005]一般针对联邦学习中的激励方法主要集中在考虑所需的资源量、本地精度、信道冲突和相应的能源成本等等因素，且一般都在服务器会正常接收到所有目标客户更新参数的情况下。然而，根据当前署名专利技术人的工作发现，在联邦学习的现实情况中，因为各移动用户网络状况、训练能力的不同，客户训练的时间常常是不确定的且存在较大差异。中央服务器基于任务的时效性，不会无限期地等待所有的客户上传本轮参数后再进行模型聚合，客户也可能因为通信、自身故障等原因不能及时上传训练好的参数。如果激励方法中不对训练和截止时间提出要求，中央服务器的工作效率不但会下降，还会给并没有为本轮全局模型更新做出贡献的客户奖励，导致激励不均。

技术实现思路

[0006]专利技术目的：本专利技术的目的是提出一种基于联邦学习的模型训练方法及联邦学习系统，考虑客户训练时间的不确定性来建立激励机制，使得激励方法并不会影响到模型的训练效率，还会达到公平的激励效果，最终提升模型的精确度。
[0007]技术方案：为了实现以上专利技术目的，本专利技术的技术方案如下：
[0008]一种基于联邦学习的模型训练方法，包括以下步骤：
[0009]S1、客户i基于中央服务器发布的联邦学习的训练任务，收集自己可供本次联邦学习训练的本地数据量b
i
和单位数据成本c
i
，组成投标b
i
＝{d
i
,c
i
}并提交给中央服务器；
[0010]S2、中央服务器设立参数提交的截止时间T，根据收到的投标建立期望社会福利最大化表达式；
[0011]S3、中央服务器针对每轮训练设置预算B，根据动态规划求出每个预算B下的最优解，包括选中的客户和被选中客户的最优训练数据量，再根据每个预算B下的最优解计算期望社会福利最大化的最优值；
[0012]S4、中央服务器向选中的客户下发最优训练数据量和最大社会福利；
[0013]S5、客户根据下发的方案利用本地数据进行训练，训练完成后向中央服务器上报更新参数；
[0014]S6、每轮训练结束时，中央服务器利用VCG机制对成功上传更新参数的客户进行奖励。
[0015]一种联邦学习系统，包括：中央服务器以及n个客户；
[0016]每个所述客户，用于基于中央服务器发布的联邦学习的训练任务，收集自己可供本次联邦学习训练的本地数据量d
i
和单位数据成本c
i
，组成投标b
i
＝{d
i
,c
i
}并提交给中央服务器；
[0017]所述中央服务器，用于设立参数提交的截止时间T，根据收到的投标建立期望社会福利最大化表达式；并针对每轮训练设置预算B，根据动态规划求出每个预算B下的最优解，包括选中的客户和被选中客户的最优训练数据量，再根据每个预算B下的最优解计算期望社会福利最大化的最优值，向选中的客户下发最优训练数据量和最大社会福利；
[0018]每个所述客户，还用于根据下发的方案利用本地数据进行训练，训练完成后向中央服务器上报更新参数；
[0019]所述中央服务器，还用于在每轮训练结束时利用VCG机制对成功上传更新参数的客户进行奖励。
[0020]有益效果：本专利技术考虑客户训练时间的不确定性，提出一种基于拍卖的激励方法，应用于联邦学习的训练过程中，在伪多项式时间内求出了社会福利最大化问题的最优解，之后利用VCG(Vickery
‑
Clarke
‑
Grove)机制进行奖励，满足真实性和个人理性的性质，使得激励方法并不会影响到模型的训练效率，还会达到公平的激励效果，最终提升模型的精确度。
附图说明
[0021]图1是本专利技术的基于联邦学习的模型训练方法流程图。
[0022]图2是本专利技术方法下客户训练所需时间示意图。
具体实施方式
[0023]下面结合附图对本专利技术的实施方法作进一步说明。
[0024]联邦学习系统由一个中央服务器和包含n个客户的客户集C＝(1,2,...,n)组成，每个客户拥有自己的数据。中央服务器负责发布训练任务、选择客户以及完成模型聚合；客户集C中被选中的客户接收中央服务器下发的本轮参数，在本地数据上使用中央服务器选择的数据量进行训练，并将更新后的参数上传至中央服务器。
[0025]为了解决现有基于联邦学习的训练方法中不对训练和截止时间提出要求导致中
央服务器的工作效率下降且激励不均的问题，本专利技术基于反向拍卖，提出一种基于拍卖的激励机制，应用于基于联邦学习的模型训练过程中，提高训练效率，提高模型精度。如图1所示，基于联邦学习的模型训练方法包括以下步骤：
[0026]步骤1、中央服务器发布联邦学习的训练任务；
[0027]步骤2、客户自行评估自己目前数据资源的空闲状态给出投标。
[0028]客户收集自己可供本次联邦学习训练的本地数据量和单位数据成本组成投标。具体而言，客户评估自己目前空闲的数据状态，统计自己可供本次联邦学习训练的本地数据量；客户综合自己本地训练数据的收集成本、计算成本、通信成本给出自己可供本次训练的数据集的单位数据成本，将自己可参与训练的最大数据量和单位数据成本组成投标发送给中央服务器。
[0029]在本专利技术实施方式中，有意向的客户向中央服务器的一组投标为b
i
＝{d
i
,c
i
}，其中每个客户拥有d
i
...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的模型训练方法，其特征在于，包括以下步骤：S1、客户i基于中央服务器发布的联邦学习的训练任务，收集自己可供本次联邦学习训练的本地数据量d
i
和单位数据成本c
i
，组成投标b
i
＝{d
i
,c
i
}并提交给中央服务器；S2、中央服务器设立参数提交的截止时间T，根据收到的投标建立期望社会福利最大化表达式；S3、中央服务器针对每轮训练设置预算B，根据动态规划求出每个预算B下的最优解，包括选中的客户和被选中客户的最优训练数据量，再根据每个预算B下的最优解计算期望社会福利最大化的最优值；S4、中央服务器向选中的客户下发最优训练数据量和最大社会福利；S5、客户根据下发的方案利用本地数据进行训练，训练完成后向中央服务器上报更新参数；S6、每轮训练结束时，中央服务器利用VCG机制对成功上传更新参数的客户进行奖励。2.根据权利要求1所述的基于联邦学习的模型训练方法，其特征在于，所述步骤S1包括：S1
‑
1、客户i评估自己目前空闲的数据状态，统计自己可供本次联邦学习训练的本地数据量d
i
；S1
‑
2、客户i综合自己本地训练数据的收集成本、计算成本、通信成本给出自己可供本次训练的数据集的单位数据成本c
i
；S1
‑
3、客户i将自己可参与训练的最大数据量和单位数据成本组成投标b
i
＝{d
i
,c
i
}，发送给中央服务器。3.根据权利要求1所述的基于联邦学习的模型训练方法，其特征在于，所述步骤S2包括：S2
‑
1、中央服务器根据自己训练的要求设定截止时间T，根据过往经验获取客户开始训练时间和单个数据计算时间，客户使用m个数据完成本地模型训练并且将参数上传给中央服务器，这个过程所需的时间被表示为：T
i
(m)＝X
i
+τ
i
m，其中X
i
为服从参数为μ
i
的指数分布，τ
i
为正常数，用来表示客户单个数据的计算时间，为客户集合；S2
‑
2、整个训练的回报是一个关于训练总数据量的递增凹函数，训练总数据量为单个客户被选择的数据量与一个0
‑
1变量I
i
(x
i
)的积再求和，I
i
(x
i
)用来表示客户在该轮训练中是否能在规定的截止时间T内将结果返回给中央服务器，若返回则为1，反之则为0，中央服务器的效用等于服务器得到的回报减去给客户的奖励之和；S2
‑
3、各个客户的效用函数是收到的奖励减去付出的成本，期望的社会福利为中央服务器与各个客户的效用函数之和；S2
‑
4、根据期望的线性将回报函数近似为客户返回结果的概率与训练数据量的积再求和，客户返回结果的概率是关于客户训练时间的指数函数，由此得到期望社会福利最大化表达式，如下：s.t.x
i
≤d
i
式中，g(
·
)表示奖励函数，x
i
表示客户i的数据量。4.根据权利要求1所述的基于联邦学习的模型训练方法，其特征在于，所述步骤S3包括：S3
‑
1、中央服务器引入变量预算B，代表一轮训练中客户的总训练成本，它的范围是从0到所有客户使用全部数据量参加训练时的总成本；S3
‑
2、运用动态规划方法，输入为各客户所报告的投标b
i
＝{d
i
,c
i
}，当被替代为1,2,
…
,i，B被替代为b的条件下，定义f(i,b)为最优解，对每一个i和b求出最优解f(i,b)：首先求出f(i
‑
1,b
‑
c
i
x
i
)的值，它代表考虑(i
‑
1)个客户、预算为(b
‑
c
i
x
i
)时所求出的最优解，考虑所有在预算b下的情况：依次考虑第i个客户被选择的数据量为时的函数值，选择能使结果最大的x
i
作为f(i,b)的结果，构建出动态规划矩阵f[n,B]；S3
‑
3、计算所有预算b的情况下，将f(n,b)
0≤b≤B
带入期望社会福利最大化表达式的结果，比较得出最大值和该值下b的取值。5.根据权利要求4所述的基于联邦学习的模型训练方法，其特征在于，所述步骤S4包括：S4
‑
1、伴随着f[n,B]的构建记录了从f(i
‑
1,b
‑
c
i
x
i
)到f(i,b)选择的x
i
，构建出路径矩阵path(i,b)；S4
‑
2、在求...

【专利技术属性】
技术研发人员：唐斌，徐佳俐，叶保留，
申请(专利权)人：河海大学，
类型：发明
国别省市：