一种面向异构任务需求的联邦学习训练系统及方法技术方案

本发明专利技术公开了一种面向异构任务需求的联邦学习训练系统及方法，将需求偏好权衡加入训练的三个关键阶段，即超参数预估阶段、参与客户端选择阶段以及模型聚合阶段，同时在三个关键阶段提升训练质量，加快训练速度。本发明专利技术结合了线性规划和二次规划建模，线性化技术，多凸优化算法，取整算法，贪心算法等，从理论上证明了其有效性和合理性。本发明专利技术保证在完成FL任务时间和精度硬性需求的前提下高效地完成差异化定制的FL任务。异化定制的FL任务。异化定制的FL任务。

【技术实现步骤摘要】
一种面向异构任务需求的联邦学习训练系统及方法


[0001]本专利技术属于联邦学习
，涉及一种联邦学习训练系统及方法，具体涉及一种面向异构任务需求的联邦学习任务训练系统及方法。

技术介绍

[0002]联邦学习(FL)是一种保护隐私的分布式机器学习范式。它使得大量设备在不泄露数据隐私的前提下使用本地数据集共同训练一个全局联邦学习模型成为可能。FL最普遍的场景是，在每轮训练中，大量客户端的一个子集被选择来使用本地数据对全局联邦学习模型进行训练，并将本地联邦学习模型更新上传到云上的中心服务器中进行聚合，得到新的全局联邦学习模型。由于FL中的参与客户端是大量拥有异构数据并且具有异构资源能力的客户端，FL任务提高效率要克服的主要困难包括：统计异构性，即客户端之间的数据分布为非平衡的和非独立同分布的；客户端异构性，即客户端计算资源等能力各不相同，导致客户端在完成训练任务时的表现参差不齐。为了提高FL的训练效率，更高效地完成训练任务，需要在FL的训练框架中从客户端选择方法上做出优化。目前常用的选择机制包括随机选择机制等方法具有很大的优化空间。
[0003]进一步，从实际任务角度出发，很多FL任务需要在短时间内完成训练，例如谷歌键盘的文本预测等训练任务。FL任务一般是要求在规定时间内训练一个机器学习模型达到规定的精度，因此衡量FL任务完成的好坏有两个维度：完成时间和模型精度。而这两个维度又是相互制约的。这是因为对于一个FL模型的训练，提高精度通常是通过增加计算量来实现的，而增加计算量会消耗更多的能量和时间。完成时间和模型精度这两个任务需求之间存在微妙的平衡点，而每个特定的FL任务对这两个任务需求的侧重点各不相同，比如相对于需要更高精度的智能医生问诊任务，需要快速收集数据做出反应的谷歌键盘文本预测任务显然对训练完成时间需求的偏好更高。在训练过程中做出对完成时间和模型精度两方面需求的权衡，能够更好地优化资源配置，充分调动客户端高效完成差异化任务，避免资源浪费或任务失败。而目前的FL方法一般只选择完成时间和模型精度两个任务需求之一作为训练的优化目标，并没有将差异化的FL任务需求权衡作为前提整合到FL训练优化框架中。
[0004]考虑异构任务需求的高效FL训练框架需要将时间和精度平衡因子体现在整个训练过程的关键步骤中，并对关键步骤做出改进，包括控制参数的选择，每轮训练客户端的选择，以及每轮的聚合过程。考虑平衡问题的这些关键步骤的优化过程是难以建模的或者是NP
‑
hard的问题，解决每一个步骤都需要精心设计建模方法和求解算法。

技术实现思路

[0005]为了解决上述问题，本专利技术提供了一种高效的面向联邦学习异构任务需求的训练系统及方法。FL任务到达之后，首先根据FL任务的完成时间和训练精度硬性需求和任务对两者的偏好，通过将问题建模为线性规划问题，并设计相应求解算法，得到训练总轮数、每轮训练选择客户端个数、每轮训练迭代次数三个控制参数的最优值。在三个最优控制参数
的前提下，在每轮训练中，根据训练质量和数据质量两种训练质量衡量标准对客户端选择问题建模，并设计算法得到最优参与客户端集合。每轮本地训练结束后，设计聚合筛选规则进一步得到新一轮的最优全局联邦学习模型。
[0006]本专利技术的系统所采用的技术方案是：一种面向异构任务需求的联邦学习训练系统，包括中心服务器、客户端；
[0007]所述中心服务器，根据联邦学习的任务要求C、ε、α预估训练总轮数K、每轮训练选择客户端个数M、每轮训练迭代次数τ三个控制参数的最优值，其中，C为完成任务要求的最长时长，ε是联邦学习模型损失和最小损失之间的差值，α表示时间和精度重要性偏好的权重指标，α∈[0,1]；
[0008]所述中心服务器，从每轮的候选客户端集选出参与子集其中为0/1变量，表示本轮选择该客户端参与训练，反之则表示本轮不选择该客户端；
[0009]所述中心服务器，以多种选择准则作为优化目标，选择变量作为决策变量建模得到0
‑
1二次规划问题，得到每轮客户端选择结果；
[0010]被选择的客户端，进行τ次迭代，使用本地数据训练之后，将本地联邦学习模型的参数更新上传到中心服务器聚合，得到新一轮的全局联邦学习模型；训练过程持续K轮，最终达到差异化定制的任务目标。
[0011]本专利技术的方法所采用的技术方案是：一种面向异构任务需求的联邦学习训练方法，包括以下步骤：
[0012]步骤1：根据联邦学习的任务要求C、ε、α预估训练总轮数K、每轮训练选择客户端个数M、每轮训练迭代次数τ三个控制参数的最优值；
[0013]步骤2：根据多种选择准则从每轮的候选客户端集选出参与子集
[0014]所述多种选择准则，包括历史训练有效性准则和数据有效性准则；
[0015]步骤3：以多种选择准则作为优化目标，选择变量作为决策变量建模得到0
‑
1二次规划问题，得到每轮客户端选择结果；
[0016]步骤4：被选择的客户端进行本轮训练并上传本地联邦学习模型，在每轮训练的最后，中心服务器首先选择与当前全局联邦学习模型最相关的前M个本地联邦学习模型，然后在权重因子中加入精度因子进行聚合计算，得到新一轮的全局联邦学习模型；
[0017]步骤5：训练过程持续K轮，最终达到差异化定制的任务目标。
[0018]相对于现有技术，本专利技术的有益效果是：1)本专利技术考虑了异构训练任务对于训练完成时间和模型精度之间的个性化权衡需求，并将其融入训练的各个阶段，提出以个性化任务需求为目标的联邦学习训练框架，与现有联邦学习框架相比，在常规任务目标和个性化任务目标的完成上均有提升；2)本专利技术在客户端选择阶段提出隐私保护前提下的多重选择准则，从不同角度提升客户端选择质量，与现有选择算法相比达到更好的训练效果；3)本专利技术在聚合阶段做出改进，与现有聚合算法相比达到更好的训练效果。
附图说明
[0019]图1为本专利技术实施例的方法流程图；
[0020]图2为本专利技术实施例的实验结果图，其中2(a)为本专利技术实施例中任务需求偏好参数α对训练结果的影响；2(b)为本专利技术实施例的选择阶段和其他现有选择算法在不同的数据集下所得的模型测试精度对比图；2(c)为本专利技术实施例的聚合阶段和其他现有聚合算法在不同的数据集下所得的模型测试精度对比图；2(d)为本专利技术实施例总体训练框架和其他现有训练框架在不同的数据集下所得的模型测试精度对比图；
[0021]图3为本专利技术实施例的运行时间实验结果图，展示了本专利技术实施例和其他现有训练框架在不同任务需求偏好程度下完成任务的总时间对比；
[0022]图4为本专利技术实施例的训练过程实验结果图，其中4(a)为本专利技术实施例和其他现有训练框架对于逻辑回归训练任务在非独立同分布数据集上的精度随轮数变化的对比图；4(b)
‑
4(d)分别为本专利技术实施例和其他现有训练框架对于卷积神经网络训练任务在非独立同分布数据集MNIST、Fashion
‑
MNIS本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向异构任务需求的联邦学习训练系统，其特征在于：包括中心服务器、客户端；所述中心服务器，根据联邦学习的任务要求C、ε、α预估训练总轮数K、每轮训练选择客户端个数M、每轮训练迭代次数τ三个控制参数的最优值，其中，C为完成任务要求的最长时长，ε是联邦学习模型损失和最小损失之间的差值，α表示时间和精度重要性偏好的权重指标，α∈[0，1]；所述中心服务器，从每轮的候选客户端集IIk选出参与子集其中为0/1变量，表示本轮选择该客户端参与训练，反之则表示本轮不选择该客户端；所述中心服务器，以多种选择准则作为优化目标，选择变量作为决策变量建模得到0
‑
1二次规划问题，得到每轮客户端选择结果；被选择的客户端，进行τ次迭代，使用本地数据训练之后，将本地联邦学习模型的参数更新上传到中心服务器聚合，得到新一轮的全局联邦学习模型；训练过程持续K轮，最终达到差异化定制的任务目标。2.一种面向异构任务需求的联邦学习训练方法，采用权利要求1所述面向异构任务需求的联邦学习训练系统；其特征在于，包括以下步骤：步骤1：根据联邦学习的任务要求C、ε、α预估训练总轮数K、每轮训练选择客户端个数M、每轮训练迭代次数τ三个控制参数的最优值；步骤2：根据多种选择准则从每轮的候选客户端集II
k
选出参与子集所述多种选择准则，包括历史训练有效性准则和数据有效性准则；步骤3：以多种选择准则作为优化目标，选择变量作为决策变量建模得到0
‑
1二次规划问题，得到每轮客户端选择结果；步骤4：被选择的客户端进行本轮训练并上传本地联邦学习模型，在每轮训练的最后，中心服务器首先选择与当前全局联邦学习模型最相关的前M个本地联邦学习模型，然后在权重因子中加入精度因子进行聚合计算，得到新一轮的全局联邦学习模型；步骤5：训练过程持续K轮，最终达到差异化定制的任务目标。3.根据权利要求2所述的面向异构任务需求的联邦学习训练方法，其特征在于，步骤1的具体包括以下子步骤：步骤1.1：根据任务要求及要求偏好，建模得问题P1；P1：subject to：to：to：其中，表示K轮训练完成后总时长的期望，表示K轮训练完成后全局联邦学习模型损失的期望；F(w
*
)表示全局联邦学习模型的最小损失，为定值；步骤1.2：将问题P1重写为显示表达的整数优化问题P2；第k轮的总训练时间由计算时间和通信时间组成，用表示第k轮训练中每轮迭代的
计算时间，用表示第k轮训练中的通信时间，则总训练时间为：每轮的计算时间的近似表达为：其中N表示可用客户端总数，ΔC1表示所有客户端一轮迭代最长和最短计算时长之差，c1表示所有客户端中一轮迭代最短的计算时长，表示前K轮的平均通信时长；使用收敛上界来表示K轮训练之后全局联邦学习模型能够达到的精度水平：其中A1和A2是两个常数参数；将由于隐式表达而不可求解的P1转化为P2：P2：subject to：to：to：步骤1.3：求解原问题P1的最优解；将P2的整数约束(1c)放松为K，M，τ≥1，和M≤N，记放松后的问题为使用块坐标下降算法BCD得到的分数最优解(K
*
，M
*
，τ
*
)之后，将每个值分别向上向下取整，得到八种整数组合，再依次将八个解代入原问题P2即原问题P1中得出最优整数解(K
**
，M
**
，τ
**
)。4.根据权利要求2所述的面向异构任务需求的联邦学习训练方法，其特征在于，步骤2的具体实现包括以下子步骤：步骤2.1：每轮训练之...

【专利技术属性】
技术研发人员：周睿婷，王若贝，陈晶，
申请(专利权)人：武汉大学日照信息技术研究院，
类型：发明
国别省市：